Los agentes médicos combinan tecnologías de IA conversacional con el análisis de datos médicos y encuentran casos de uso en casi todos los aspectos de la atención sanitaria, desde la generación de informes radiológicos hasta el control interactivo de sistemas robóticos quirúrgicos y la formación de estudiantes de medicina.

NVIDIA MONAI tiene una trayectoria probada en la IA de análisis de imágenes médicas, desde la clasificación de imágenes de rayos X de pulmón para la COVID hasta la victoria de desafíos en la segmentación de aorta abdominal en imágenes de TC, el etiquetado de células en imágenes de patología y el seguimiento de instrumentos en vídeos de laparoscopia asistida por robots.

Con VILA-M3, el marco de agentes de radiología multimodal de NVIDIA, los modelos de análisis de imágenes médicas entrenados contribuyen con anotaciones o clasificaciones al contexto de conversación de modelos de visión y lenguaje de gran tamaño como Llama3. VILA-M3 está disponible como parte de la plataforma MONAI de código abierto y se ha utilizado para mejorar el LLM VILA como un modelo de base preentrenado para la interpretación de imágenes de IRM de tumores cerebrales. VILA-M3 establece nuevos estándares de precisión y facilidad de ajuste entre los copilotos médicos.

Al combinar VILA-M3 con las plataformas de computación acelerada en la nube y el perímetro de NVIDIA, como Holoscan y NVAIE, los investigadores y desarrolladores de aplicaciones pueden:

• Evalúe la precisión mejorada integrando expertos en IA de imágenes médicas como recursos para un contexto adicional en las conversaciones de VLM.
• Refine o amplíe las capacidades de VILA-M3 ajustando VILA de base o añadiendo nuevos modelos de IA de imagen médica entrenados con MONAI como expertos adicionales que cubren otras modalidades o enfermedades.
• Explore paradigmas alternativos de LLM+expertos para el avance continuo de los VLM como copilotos de imágenes médicas.