Исследователи предложили инструкцию по безопасному применению медицинского ИИ
Learning Ensemble переносит в разработку ИИ подход из фармацевтики: заранее описывать, где модель надёжна, кому предназначена и в каких условиях её можно применять.
Инструкция для медицинского ИИ
Исследователи Университета Бристоля предложили Learning Ensemble — концепцию описания надёжности и безопасной области применения медицинских ИИ-систем.
Подход вдохновлён фармацевтикой: для лекарств задают дозировку, длительность и группы пациентов. Для модели предлагается фиксировать обучающие данные, предназначенных врачей и клиники, а также требуемое оборудование.
Обозначить границы
Такая документация помогает понять, где модель подходит и где её выводы нельзя переносить без проверки. В медицине важны условия получения метрик и область использования.
Learning Ensemble — концепция, а не обязательный стандарт; она не заменяет клиническую оценку и контроль специалистов.
Предложение включает три части: ограничения системы, надёжность на разных группах пациентов и проверку перед клиническим применением. Средняя точность недостаточна, если модель хорошо работает в целом, но ошибается для конкретной группы пациентов.
Авторы приводят пример системы распознавания COVID по рентгену, которая выучила случайные особенности снимков, связанные с диагнозом, и провалилась в другой клинике. Learning Ensemble предлагает описывать применимость и проверять устойчивость до использования на пациентах.
Источник приводит ещё один пример: система оценки риска смертности сочла пациентов с астмой и пневмонией группой низкого риска. В обучающих данных они чаще выживали благодаря интенсивному лечению в отделении неотложной помощи; для сортировки новых пациентов такой вывод был бесполезен, поскольку модель приняла следствие лечения за показатель исходного риска.