Перейти к содержимому

Специально для медицины: NVIDIA выпустила конкурента GPT, но с возможностью локальной работы

NVIDIA представила новую мультимодальную модель NVLM-D-72B с 72 миллиардами параметров, которая может работать с текстом и изображениями. Разработчики считают, что модель обходит конкурентов, таких как GPT-4o и Claude 3.5, в тестах на распознавание текста и понимание изображений. Однако главное преимущество для медицинских специалистов — открытый код, возможность дообучения и локального использования без обращения к облачным сервисам. Это критически важно в случаях, когда работа связана с персональными данными и чувствительной информацией.

Модель уже способна решать сложные задачи:

- Преобразование рукописных заметок в структурированный текст или программный код;

- Анализ изображений и объяснение визуальных контекстов;

- Интерпретация сложных математических выражений или пояснение содержания изображений, таких как дорожные знаки или мемы.

Эти возможности открывают широкие перспективы для использования модели в исследовательских и образовательных проектах. В отличие от аналогов, которые теряют в качестве на текстовых задачах после мультимодальной тренировки, модель от NVIDIA даже улучшила свои результаты на 4,3% после обучения на мультизадачных данных.

Модель уже обучена на медицинских данных

Варианты применения модели:

- Обработка и анализ медицинских текстов: интерпретация клинических записей, выписок и медицинской документации. Модель может извлекать ключевую информацию из текстовых отчетов, создавать краткие резюме или обобщать истории болезни.

- Обработка медицинских изображений с текстовыми элементами: это не специализированная программа, способная распознавать патологии на снимках, но модель отлично справляется с интерпретацией текста на изображениях, извлечением данных анализов, графиков, обработкой сканов или фотографий документов.

- Помощь в исследовательских и образовательных задачах: объяснение сложных научных концепций, решение математических и логических задач, создание учебных материалов и кратких содержаний.

- Создание отчетов из неструктурированных данных: обработка больших объемов информации и создание структурированных отчетов на основе собранных данных.

Как это может повлиять на медицину?

Фактически, это подарок для  нас - разработчиков, которые создают локальные или адаптированные под задачи медицинских учреждений прикладные программы на основе AI. Локальное использование модели позволяет соблюдать самые жесткие правила хранения персональных данных (ничего не передается в облако), а открытый код - доучивать и адаптировать модель под конкретные задачи.

  • Просмотров: 135

Нейросети экономят тысячи часов врачебного времени

Компания Amazon недавно заявила, что с помощью нейросети смогла сократить переход на новое программное обеспечение с 50 дней до нескольких часов. В итоге они сэкономили 4500 лет работы программистов.

Аналогичные чудеса происходят и в медицине. Искусственный интеллект не только экономит время врачей и исследователей, но и ускоряет научные открытия — будь то новые лекарства, их комбинации или методы анализа тканей.

Быстрая диагностика:

Система Viz.ai помогает врачам быстрее диагностировать инсульты. Раньше анализ снимков мозга занимал несколько минут, а теперь — всего секунды. Каждая диагностика экономит 5–10 минут врачебного времени, а в год это тысячи часов, которые можно потратить на пациентов.

Разработка лекарств:

Раньше создание нового препарата могло занимать до 10 лет, а поиск подходящих молекул — десятилетия. Сейчас ИИ сокращает это время в разы. Например, платформы на основе ИИ анализируют данные и предсказывают успешные комбинации молекул, экономя до 5 лет на каждом этапе.

Перепрофилирование препаратов:

Baricitinib, изначально созданный для лечения ревматоидного артрита, с помощью ИИ был предложен как средство против воспалений при COVID-19. Это сэкономило годы исследований.

Ускорение одобрения лекарств:

Capmatinib, препарат для лечения рака легких, был разработан с использованием ИИ. Благодаря точному анализу молекул, который занял месяцы вместо лет, его одобрили гораздо быстрее.

Полностью ИИ-разработанные препараты:

DSP-1181 — первый препарат, созданный искусственным интеллектом для лечения обсессивно-компульсивного расстройства. Весь процесс разработки занял меньше 12 месяцев, что позволило быстро перейти к клиническим испытаниям.

Автоматизация документов:

Такие системы, как Abridge, помогают врачам сократить время на заполнение медицинских документов. Врачи тратят около 10 часов в неделю на бумажную работу, но с ИИ это время можно сократить вдвое (а в будущем — в 10 раз). Это экономит около 500 докторо-часов в год — целых 20 рабочих дней, которые можно посвятить пациентам или творческой работе.

Как MislabMedAI помогает врачам?

В компании Мислаб мы тоже используем технологии ИИ, чтобы облегчить жизнь врачам. MislabMedAI автоматически обрабатывает бумажные документы пациентов, распознает текст, структурирует данные и передает их в медицинские информационные системы (МИС). Это экономит время врачей и снижает риск ошибок, которые могут возникнуть при ручном вводе информации.

ИИ это надежный помощник врачей,  который берет на себя рутину, чтобы медики могли сосредоточиться на самом важном — своих пациентах. И наши решения уже сегодня делают медицину более эффективной и человечной.

  • Просмотров: 135

Подписано первое Международное соглашение по регулированию ИИ: строгие правила, но пока без наказаний

США, Европейский Союз и Великобритания подписали первый международный договор о регулировании искусственного интеллекта. Главный акцент - на правах человека, демократических ценностях и верховенстве закона. «Рамочная конвенция по искусственному интеллекту» стала результатом двухлетней работы более 50 стран, включая Канаду, Израиль, Японию и Австралию.

Конвенция обязывает страны обеспечивать безопасность и прозрачность использования ИИ, а также защищать данные пользователей. Это приведет к более строгому контролю медицинских ИИ-приложений.

Несмотря на юридическую обязательность документа, в нем пока нет строгих санкций (штрафов или запретов). Основной механизм контроля — мониторинг — может быть недостаточно эффективным для предотвращения нарушений, особенно в критических областях.

Международное сотрудничество

Генеральный секретарь Совета Европы Мария Пейчинович-Бурич подчеркнула необходимость развития ИИ в соответствии с международными нормами прав человека и демократическими ценностями. «Мы должны быть уверены, что рост ИИ соответствует нашим стандартам», — сказала она.

В тексте документа подчеркивается, что конвенция - это шаг к совместному регулированию ИИ и создание единых стандартов, упрощающих внедрение инноваций и обеспечивающих безопасность пользователей (ну и пациентов, конечно). РФ в подписании не участвовала, но ведет параллельные процессы по созданию регулирующих документов внутри страны

Что дальше?

Соглашение вступит в силу через три месяца после ратификации пятью странами. Параллельно разрабатываются новые законы по контролю ИИ на национальных и региональных уровнях. Евросоюз утвердил свой первый региональный закон, а в Калифорнии рассматривается американский законопроект по безопасности ИИ (пока он вызывает только споры),

Вице-президент Европейской комиссии Вера Юрова отметила: «Новый договор служит примером для других стран, разрабатывающих свои законы в этой области».

  • Просмотров: 132

Google и Salcit Technologies научили ИИ распознавать болезни по звуку

Google завершила первый этап испытаний новой модели ИИ, которую обучили на основе 300 миллионов издаваемых пациентом звуков: кашель, хрипы, затрудненное дыхание. Задача модели - выявлять заболевания, который можно диагностировать с помощью аускультации (например, бронхит, пневмонию,  туберкулез и т.п.) на ранних стадиях.

Как это работает?

Алгоритм ИИ анализирует аудиофайлы, записанные пользователями (причем можно записывать с помощью цифровых фонендоскопов, для этого не нужен врач), и идентифицирует паттерны звуков, характерные для различных респираторных заболеваний, а модель определяет, какое заболевание можно предположить, и что делать с этим пациентом дальше.

Почему это важно?

Официально объявлено что технология имеет огромный потенциал для стран с низким уровнем доступа к медицинской помощи. Смартфоны, оснащенные такими приложениями, могут стать важным инструментом для мониторинга здоровья, особенно в отдаленных регионах.

Мы знаем, что современные технологии позволяют слушать пациентов в режиме реального времени, не спрашивая на то их согласия. И теоретически такая программа в случае эпидемии или пандемии, подобной недавнему ковиду, может выявлять очаги и помогать государствам и регионам принимать решения о мерах противодействия распространению болезни (что, конечно же, является ограничением прав и свобод тех, кого программа будет слушать, поэтому этические вопросы применения ИИ в медицине встают все острее)

Что дальше?

В планах Google не только «слышать» заболевания. Ведутся разработки, позволяющие «нюхать» болезни. Эта идея основана на том, что многие заболевания вызывают изменения в метаболических процессах организма, что, в свою очередь, влияет на состав летучих органических соединений (ЛОС), выделяемых телом. Эти молекулы выделяются через дыхание, пот, мочу и кал, поэтому каждого заболевания есть свой «запах». Но об этом мы чуть позже расскажем подробнее.

  • Просмотров: 131

Американские врачи просят не заменять их ИИ, а дать ИИ-помощников

В ряде клиник в США, Китае, Южной Корее и даже в Африке сейчас идут эксперименты по замене ряда функций врачей ИИ. При этом работающие с пациентами врачи часто не разделяют энтузиазма руководителей, и относятся к новшеству скептически. А уж когда ИИ ошибается, и врач это видит, случаются настоящие скандалы.

К компании DoorSpace (https://www.healthcareitnews.com/news/slow-down-ai-adoption-one-tech-ceo-cautions), которая занимается внедрением всевозможных IT-продуктов в бизнес-процессы (в том числе в медицинские) врачи обратились с просьбой сменить идею замены врача программами на основе ИИ на проект, который научит врачей и медсестер использовать уже имеющиеся на рынке инструменты, чтобы ускорить или упростить свою работу. Причем речь идет о рутинных повторяющихся действиях, научить которым программу достаточно просто, так как в клинике есть для этого прекрасные данные.

А врачам оставить больше времени для самого важного: общения с пациентами.

Один из примеров - проекты ИИ в радиологии, где программа ускоряет анализ снимков и помогает врачам ставить более точные диагнозы.

Еще один помощник, который оказался очень востребованным, это программа, которая в фоновом режиме "слушает" разговор врача с пациентом и "видит" все принесенные документы, мгновенно вносит в медицинскую систему все данные, которые были сказаны вслух или показаны камере, и формирует полноценный подробный протокол, который врачу остается только вычитать и валидировать - поставить свою подпись.

Поэтому главная просьба врачей, чтобы ИИ был их надежным партнером и помогал делать работу проще и эффективнее, а не становился конкурентом в борьбе за место у операционного стола.

Мы в целом согласны с такой установкой, и считаем, что именно развитие таких суперпомощников  - главный тренд ближайших лет.

Как показал разговор с фокус-группой, куда вошли 32 ведущих специалиста из крупных городов, проблема еще в том, что пока у врачей, медицинских сестер, администраторов и менеджеров клиник нет базового понимания о видах, возможностях и перспективах ИИ. А то, с чем ты недостаточно знаком, пугает еще больше. Поэтому самое важное для тех, кто хочет взять ИИ на вооружение, это базовый ликбез.

  • Просмотров: 140