Когда речь идет об искусственном интеллекте, неизбежно встает вопрос о безопасности. Мы привыкли доверять свое здоровье врачу, но не машине. Но если часть процессов берет на себя искусственный разум, то как гарантируется защита от ошибки? Об этом поговорим с Игорем Шулькиным.
— Что предпринимается для соблюдения безопасности применения сервисов искусственного интеллекта в здравоохранении?
— Мы делаем большой акцент на безопасности решений, которые допускаем к работе с данными столичных пациентов. Все сервисы, которые появляются в московском здравоохранении, сначала используются в экспериментальном режиме. В рамках эксперимента по внедрению компьютерного зрения в лучевую диагностику осуществляется жесткий отбор и последующий контроль работы всех решений на основе искусственного интеллекта (ИИ): тестирование на входе, при смене версий сервиса, при изменениях требований к результатам работы ИИ, а также постоянный мониторинг качества работы на потоке исследований. Сервис допускается к работе с реальными исследованиями только при удачных результатах тестов. В случае некорректной работы сервис направляется на доработку. Так, за 2023 год было проведено порядка 200 тестирований и более 500 мониторингов, что в 1,5 раза больше аналогичных показателей прошлого года. В итоге в 2023 году в 15 % случаев по результатам мониторинга сервисы искусственного интеллекта были направлены на доработку. Благодаря такому подходу врачам становятся доступны самые качественные и надежные решения из существующих.
— Центр диагностики и телемедицины Департамента здравоохранения города Москвы. Наши специалисты обладают большим опытом экспертизы в области медицины и информационных технологий. Для подготовки и сопровождения эксперимента на базе нашего центра была создана группа специалистов — это врачи, ученые, инженеры, аналитики, под их контролем осуществляется проект, это они анализируют результаты тестирований и показатели работы ИИ при обработке лучевых исследований. И главная цель, которая стоит перед группой, — не просто внедрить искусственный интеллект в лучевую диагностику, а сделать этот процесс безопасным для пациентов, это значит, что ИИ не должен пропускать признаки патологий у москвичей.
— Кто учит искусственный интеллект находить признаки заболеваний на медицинских изображениях?
— Этим занимаются компании-разработчики. Мы ставим перед ними клиническую задачу и определяем требования к техническому функционалу сервиса. Например, нужно решение, которое сможет находить на медицинских изображениях конкретную патологию или сразу несколько патологий, что умеют комплексные сервисы. Комплексный сервис — это наиболее перспективное направление развития сервисов ИИ для радиологии. По нашим требованиям разработчик создает соответствующее решение.
В 2021 году мы создали цифровую библиотеку данных, где представлены датасеты по всем основным модальностям лучевой диагностики. Библиотека постоянно пополняется и сегодня насчитывает более 300 датасетов, из них около 50 открытых, они опубликованы на платформе mosmed.ai. ИТ-компании могут воспользоваться открытыми датасетами для самотестирования.
— А медицинские специалисты как-то обучаются работе с нейросетями? Какими компетенциями должны обладать врачи в эпоху ИИ?
— Никаких специальных знаний при работе с нейросетями от врача-рентгенолога не требуется. Использование сервисов искусственного интеллекта — это как использование удобных приложений на телефоне. В привычном интерфейсе информационной системы, в которой врач работает постоянно, предусмотрена возможность получить результаты работы ИИ с конкретным исследованием. Мы работаем над тем, чтобы структура описания и интерпретации исследования искусственным интеллектом была максимально близка к тому, что формирует врач. В случае согласия с ИИ врач может использовать описание алгоритмом как основу для своего протокола. Таким образом, врач сам решает, воспользоваться подсказками алгоритмов или нет.
— Применяется ли ИИ для выявления редких заболеваний? Как определяются направления для работы сервисов?
— На первом этапе при открытии направления эксперимента мы определяем его востребованность в условиях государственной системы здравоохранения столицы. Мы анализируем количество проведенных за год в медицинских организациях Департамента здравоохранения города Москвы исследований, из них определяем наиболее часто выполняемые и самые выявляемые патологии. Далее объявляем на сайте https://mosmed.ai/ направления, по которым готовы принимать к участию в эксперименте интеллектуальные разработки, публикуем диагностические и функциональные требования к ним.
— В 2023 году появилась услуга в рамках территориальной программы ОМС — описание маммографических исследований с применением ИИ. Как здесь он показал свою безопасность?
— Да, уже год в профилактических маммографических исследованиях применяется искусственный интеллект. И в этом случае можно сказать, что искусственный интеллект вышел за рамки эксперимента при внедрении в практическое здравоохранение. К такой работе допускаются только сервисы, имеющие соответствующее удостоверение о государственной регистрации в качестве медицинского изделия. Мы контролируем весь поток исследований, обработанных ИИ, выявляем случаи расхождения с мнением врача-рентгенолога, осуществляем дополнительный экспертный пересмотр исследований с критически значимыми расхождениями. Процент таких расхождений крайне мал. Все кейсы мы передаем разработчикам, они в свою очередь используют эти данные для дообучения своих нейросетей.
— Сколько сегодня существует сервисов для врачей и как понять, какие из них более безопасны?
— Сегодня в Едином радиологическом информационном сервисе (ЕРИС) интегрировано более 50 сервисов ИИ по 29 клиническим направлениям. Постоянный контроль работы сервисов позволяет нам определять наиболее качественные и безопасные решения. Теперь у нас есть уникальный для российского рынка инструмент — матрица зрелости сервисов ИИ. Она позволяет разработчикам алгоритмов видеть свою конкурентную позицию, а пользователям — руководителям ведомств и медучреждений, врачам-рентгенологам — оценивать качество, стабильность работы нейросетей, сравнивать их между собой. Матрица зрелости учитывает технические показатели и клиническую оценку, она обновляется ежеквартально и доступна любому пользователю на сайте mosmed.ai.