¿Qué es la segmentación semántica? Explicación de la tecnología de la cámara del teléfono inteligente

Qualcomm anunció recientemente su última plataforma insignia para teléfonos inteligentes, el Snapdragon 8 Gen 2.

Una de las actualizaciones más importantes aquí fue el nuevo Cognitive ISP, un procesador de señal de imagen inteligente que ofrece imágenes de hasta 200 megapíxeles, una detección de rostros más inteligente de la cámara con detección constante y todos los beneficios de la segmentación semántica en tiempo real.

Pero, ¿qué es la segmentación semántica y qué significa para la cámara de tu teléfono?

¿Qué es la segmentación semántica?

La segmentación semántica es una tecnología de imagen que permite que una cámara reconozca aspectos individuales dentro de un marco, como caras, cabello, ropa, fondos, etc. Estos aspectos se pueden optimizar por separado, lo que significa que la cámara alterará el color, el tono, la nitidez y la cantidad de ruido en la imagen caso por caso.

Piense en la segmentación semántica como las capas de Photoshop en la cámara de su teléfono, lo que permite ajustar individualmente diferentes partes de una imagen en lugar de que la cámara edite la imagen como un todo.

La segmentación semántica en tiempo real es exactamente lo que parece: como se indicó anteriormente, pero todo sucede mientras usa la cámara, no después de tomar la foto o terminar de grabar el video.

Hay muchos casos en los que la segmentación semántica en tiempo real puede mejorar tu fotografía móvil.

La tecnología se puede usar para suavizar la piel, eliminar el brillo de los anteojos, afilar el cabello y el pelaje, traer más azul a los cielos y mejorar la legibilidad del texto en pantallas y libros, por nombrar algunos usos del mundo real.

Puedes ver la segmentación semántica en acción en el video de arriba.

¿Cuál es su precisión?

Tuvimos la oportunidad de probar la segmentación semántica en tiempo real en la cumbre Snapdragon de Qualcomm en Hawái este año y descubrimos que separaba la piel del cabello, la ropa y el fondo detrás de nosotros, pero esto no fue perfecto.

En la demostración, la cámara se configuró para convertir cualquier cosa que asumiera que era verde piel para darnos una idea de su precisión.

La cámara resaltó bien toda la piel en la imagen, a excepción de una pequeña sección que sobresale detrás de las gafas. Sin embargo, luchó mucho con elementos de colores similares, resaltando por error el vestido beige y el iPhone naranja como piel porque sus tonos coincidían demasiado con la cara y los brazos de la imagen.

En otra demostración, probamos la función de suavizado de piel y descubrimos que era muy sutil y natural, lo que resultó en algo un poco más convincente que algunos de los efectos de suavizado más entusiastas que se encuentran en TikTok, Instagram y algunos software de cámara Android OEM.

En última instancia, depende de cada OEM ajustar las funciones cognitivas habilitadas por ISP como mejor les parezca, nos dijo Judd Heape, vicepresidente de gestión de productos para la cámara, en la cumbre, lo que significa que tendremos que esperar el primer lote de 8 Teléfonos Gen 2 para ver cómo la segmentación semántica en tiempo real mejorará las imágenes con el uso en el mundo real.