Meta anunció el lanzamiento de SAM 2 (Segment Anything Model 2). Se trata de su herramienta de Inteligencia Artificial avanzada y diseñada para identificar y hacer segmentación de objetos en fotos y vídeos. En esta nueva versión de SAM, Meta propone revolucionar las alternativas para editar vídeos y crear contenido de forma automatizada. Apuntando a una segmentación precisa y en tiempo real.
La IA SAM 2 de Meta tiene distintas características innovadoras dentro de un sector que está en constante evolución. La propuesta puede llegar a tener un impacto potencial en numerosas industrias, así como en aplicaciones y herramientas de lo más variadas.
Cómo fue la evolución de SAM a SAM 2 de Meta
El modelo original SAM de Meta y su versión mejorada, SAM 2, estableció un nuevo estándar para segmentar imágenes y trabajar con Inteligencia Artificial. Esta segunda versión va más allá, integrando capacidades avanzadas que también funcionan segmentando vídeos. Así se puede hacer un seguimiento preciso de objetos en movimiento, identificarlos en tiempo real y unificar tanto el manejo de imágenes fijas cómo vídeos. La experiencia final no tiene interrupciones y es capaz de segmentar diferentes propuestas en cuestión de segundos.
¿Cuáles son las características principales de SAM 2?
Pensando en una descripción pormenorizada de SAM 2 y sus alcances, es necesario hablar de la segmentación en tiempo real, las opciones de generalización y el código abierto. Entre otras. Puntualmente, cada una de estas características implica aspectos diferentes de la IA en acción para trabajar sobre fotos y vídeos mediante Inteligencia Artificial. Meta quiere jugar fuerte en el sector y con SAM 2 hay elementos muy precisos que marcan el camino a seguir. La herramienta de Meta es ambiciosa, práctica y versátil, y sus principales características incluyen:
Segmentación en tiempo real
Con SAM 2 la segmentación en tiempo real de objetos en vídeo es más precisa y rápida. Reduce de manera significativa el tiempo de interacción necesaria para obtener los resultados buscados.
Código abierto
Meta lanzó SAM 2 cómo un código abierto bajo la licencia Apache 2.0. Los desarrolladores y empresas que así lo deseen, podrán construir sus apps de forma personalizada haciendo uso de Meta SAM 2.
Dataset SA-V
Para el entrenamiento de la Inteligencia Artificial se optó por el nuevo dataset SA-V. Se incluyen alrededor de 51.000 vídeos de todas partes del mundo y más de 600.000 más caras espacio-temporales (masklets). A través de este contenido de entrenamiento, SAM 2 de Meta puede seguir mejorando y trabajando en la rápida detección y segmentación de objetos en tiempo real, siendo ese su mayor beneficio respecto de otros modelos de trabajo con IA.
Generalización sin adaptación
A diferencia de otros modelos de IA, SAM 2 puede segmentar cualquier vídeo o imagen. Incluso en dominios visuales donde no ha estado previamente. Así se elimina la necesidad de una adaptación personalizada para cada elemento multimedia.
¿Cómo se aplica SAM 2 de Meta en el mundo IA actual?
El punto fuerte de SAM 2 es que se trata de un modelo de IA muy variado. Se puede aplicar tanto para generar efectos de vídeo hasta como una mejora para herramientas de visión en sistemas computarizados. Entre las propuestas más prometedoras y en desarrollo se destacan las siguientes:
Edición de vídeo precisa
El nuevo modelo de IA de Meta está pensado para ayudar a los creadores de contenido a aplicar efectos y ediciones más precisas, de manera eficiente y en menor tiempo.
Automatización y robótica
SAM 2 y su capacidad para la segmentación de objetos en tiempo real puede servir en vehículos autónomos y otros apartados de la robótica para mejorar de forma notable la percepción e interacción con el entorno.
Anotación de datos
Otra función interesante que puede cubrir SAM 2 es la de anotación de datos. Su integración en plataformas para el registro de información puede ser útil, reduciendo millones de horas de trabajo humano a través de la segmentación y agrupamiento de información, filtrada y organizada según parámetros específicos.
Ciencia y medicina
Mediante el modelo SAM 2 de Meta se puede hacer seguimiento de animales en peligro de extinción a través de drones; reconocimiento de regiones puntuales en vídeos médicos y mejoras en la laparoscopia en general. Son solamente algunas de las aplicaciones que uno puede empezar a pensar para este tipo de dispositivos.
El funcionamiento de SAM 2
El modelo de IA de Meta en su nueva versión actualizada toma entradas de puntos, cuadros o máscaras en cualquier fotograma y predice una máscara de segmentación. Este modelo refina las predicciones y se va acomodando para mejorar los resultados y brindar un proceso de identificación fluido y personalizado. Utiliza distintos mecanismos y arquitecturas para lograr este cometido, siendo los más relevantes:
- Segmentación Visual Promotable
- Memoria temporal
- Arquitectura Unificada en imágenes y vídeos
- Dataset SA-V
Con estos cuatro componentes cómo base principal, el modelo aborda la segmentación interactiva de vídeos e imágenes. La memoria temporal guarda los datos relevantes del objeto segmentado en fotogramas anteriores, y así la precisión y consistencia de las máscaras aumenta de forma considerable. A esto se le suma un decodificador de máscaras y todo el trabajo realizado por los desarrolladores de Meta para actualizar el modelo y mejorar los tiempos de respuesta.
SAM 2 y el futuro de la IA
Si bien el rendimiento que presenta SAM 2 es muy impresionante, todavía hay campos en los que se puede mejorar. La segmentación de objetos en vídeos largos o en escenarios de complejidad con múltiples cambios de enfoque todavía tiene espacio para mejorar. Desde Meta están trabajando en las capacidades y automatización del procedimiento para que los resultados sean aún más prometedores.
SAM 2 es un avance muy significativo en el sector de la Inteligencia Artificial para segmentar objetos tanto en fotos como en vídeos. Sus herramientas son mucho más versátiles y poderosas que en la primera versión, y a través de su enfoque de código abierto también se amplía la propuesta para innovar y seguir desarrollando aplicaciones en el campo IA. Resta ver cómo adopta la comunidad tecnológica esta nueva propuesta, y los alcances que puede llegar a tener. Meta por su parte le está poniendo muchas fichas porque confía en su versatilidad.