Специально для медицины: NVIDIA выпустила конкурента GPT, но с возможностью локальной работы

NVIDIA представила новую мультимодальную модель NVLM-D-72B с 72 миллиардами параметров, которая может работать с текстом и изображениями. Разработчики считают, что модель обходит конкурентов, таких как GPT-4o и Claude 3.5, в тестах на распознавание текста и понимание изображений. Однако главное преимущество для медицинских специалистов — открытый код, возможность дообучения и локального использования без обращения к облачным сервисам. Это критически важно в случаях, когда работа связана с персональными данными и чувствительной информацией.

Модель уже способна решать сложные задачи:

- Преобразование рукописных заметок в структурированный текст или программный код;

- Анализ изображений и объяснение визуальных контекстов;

- Интерпретация сложных математических выражений или пояснение содержания изображений, таких как дорожные знаки или мемы.

Эти возможности открывают широкие перспективы для использования модели в исследовательских и образовательных проектах. В отличие от аналогов, которые теряют в качестве на текстовых задачах после мультимодальной тренировки, модель от NVIDIA даже улучшила свои результаты на 4,3% после обучения на мультизадачных данных.

Модель уже обучена на медицинских данных

Варианты применения модели:

- Обработка и анализ медицинских текстов: интерпретация клинических записей, выписок и медицинской документации. Модель может извлекать ключевую информацию из текстовых отчетов, создавать краткие резюме или обобщать истории болезни.

- Обработка медицинских изображений с текстовыми элементами: это не специализированная программа, способная распознавать патологии на снимках, но модель отлично справляется с интерпретацией текста на изображениях, извлечением данных анализов, графиков, обработкой сканов или фотографий документов.

- Помощь в исследовательских и образовательных задачах: объяснение сложных научных концепций, решение математических и логических задач, создание учебных материалов и кратких содержаний.

- Создание отчетов из неструктурированных данных: обработка больших объемов информации и создание структурированных отчетов на основе собранных данных.

Как это может повлиять на медицину?

Фактически, это подарок для  нас - разработчиков, которые создают локальные или адаптированные под задачи медицинских учреждений прикладные программы на основе AI. Локальное использование модели позволяет соблюдать самые жесткие правила хранения персональных данных (ничего не передается в облако), а открытый код - доучивать и адаптировать модель под конкретные задачи.