Предсказывать движение глаз врача при анализе рентгеновских снимков может новая нейронная сеть, созданная учеными Университета Иннополис. По словам разработчиков, алгоритм может "научить" молодых рентгенологов не просто смотреть на снимки, но и замечать на них важные детали для постановки диагноза. Результаты работы представлены на Конференции по нейронным информационным системам NeurIPS.

В зависимости от задачи — например, поиска признаков пневмонии, сердечной недостаточности или контроля за заживлением переломов ребер — врачи должны обращать внимание на разные части рентгеновского снимка грудной клетки. Однако современные "диагностические" нейронные сети обращают внимание на слишком темные или наиболее яркие пиксели, которые могут появиться из-за засветки кабинета рентгенографии или поглощения излучения украшениями на теле пациента, рассказали ученые Университета Иннополис.

Специалисты вуза создали ИИ-помощника рентгенолога, который опирается не только на "картинку", но и на медицинские данные: анатомические, диагностические и другие сведения.

"Наша модель объединяет зрение, язык и медицинские знания для предсказания взгляда рентгенолога, изучающего медицинские снимки. Она связывает пиксели не просто с яркими областями, а с медицинским смыслом этих областей и с диагностической задачей. Особый подход к анализу данных помог заглянуть внутрь нейросети и извлечь из отдельных фрагментов снимка понятные человеку семантические описания: "кость", "сердце", "затемнение", — рассказал один из авторов работы, специалист Лаборатории искусственного интеллекта в медицине Университета Иннополис Дмитрий Львов.

Для обучения нейросети использовались три типа данных: визуальные признаки, полученные от специализированных медицинских алгоритмов; текстовые описания диагностических меток, например, "норма" или "пневмония"; и семантические данные — примеры описания данных для человека. В результате модель предсказывает не только тепловую карту внимания, но и последовательность фиксаций взгляда: координаты участков снимка и длительность внимания к ним — именно так, как врач-рентгенолог распределяет внимание при поиске ответа на поставленную медицинскую задачу.

По словам руководителя Лаборатории искусственного интеллекта Университета Иннополис Ильи Першина, новая система может на пять процентов точнее аналогов выявлять пневмонию и сердечную недостаточность. Но ценность модели — не в возможности быть "самостоятельным врачом", а в обучении новых кадров не только видеть снимки, но и правильно на них "смотреть".

"Разработанная модель может лечь в основу симуляторов для обучения будущих рентгенологов правильным паттернам визуального поиска. Кроме того, предсказание "траектории" взгляда делает работу медицинских ИИ-систем более понятной и обоснованной для врача, укрепляя доверие к технологиям. Конечно, внедрение и масштабирование модели потребует дополнительной валидации в разных медицинских учреждениях", — подчеркнул Першин.

Работа выполнена при поддержке Министерства экономического развития РФ.