Проекты

Матрица зрелости сервисов искусственного интеллекта

Поделиться

Матрица зрелости сервисов искусственного интеллекта

Что такое «матрица зрелости» сервисов ИИ?

Матрица зрелости – это инструмент поддержки принятия управленческих решений в виде интерактивной информационной панели (дашборд). Позволяет не только оценивать решения на основе технологий искусственного интеллекта и сравнивать их между собой по величине диагностического и технического потенциала, но и отслеживать изменение этих параметров в динамике. 

 

Матрица зрелости учитывает показатели технической стабильности — удельный вес технологических дефектов и диагностическую составляющую — площадь под характеристической кривой. 


Матрица обновляется ежеквартально и доступна любому пользователю.

 


 

Перейти на сайт проекта

 

 

Кому интересен продукт?

 


Прежде всего, матрица зрелости представляет интерес для лиц и организаций, осуществляющих внедрение инновационных технологий в здравоохранение. Руководителям медицинских организаций, данный инструмент позволит осуществлять мониторинг работы программного обеспечения на основе технологии искусственный интеллект и принимать управленческие решения. 

 

Центр диагностики и телемедицины ДЗМ готов внедрить зрелые ИИ-сервисы в работу медицинских учреждений регионов РФ.

 

 

ИИ-сервисы для медицинских учреждений регионов РФ

 

 

На чем основано решение? 

 


Методология оценки зрелости сервисов искусственного интеллекта была разработана по результатам мониторинга качества работы программных продуктов в московском эксперименте по использованию технологий компьютерного зрения в здравоохранении.

Эксперимент проходит в столице с 2020 года, нейросети помогают рентгенологам находить на медицинских изображениях признаки различных заболеваний.

Ученые Центра диагностики и телемедицины Департамента здравоохранения Москвы разработали оригинальную методологию, которая объединяет информацию о качестве и эффективности ИИ-сервисов в динамике на одной информационной панели, которая и является матрицей зрелости. Качественная составляющая матрицы зрелости основана на показателях технической стабильности и диагностической точности ИИ-сервисов. Эффективная составляющая матрицы учитывает клиническую оценку работы ИИ-сервисов, а также разброс данных относительно среднего числа по клинической оценке.


На данный момент в эксперименте работают более 50 сервисов ИИ. 

 

Методология проведения оценки зрелости подробно изложена в методических рекомендациях: Оценка зрелости технологий искусственного интеллекта для здравоохранения: методические рекомендации/ сост. Ю. А. Васильев, А. В. Владзимирский, О. В. Омелянская [и др.] // Серия «Лучшие практики лучевой и инструментальной диагностики». – Вып. 123. – М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2023. – 28 с. 

 

 

Что показала методология оценки зрелости сервисов?

 


Методология оценки зрелости ИИ-сервисов показала, что по состоянию на III квартал 2023 г. уже 24 ИИ-сервиса достигли зрелости (почти половина из них – еще в конце 2022 года).

По шести из двенадцати модальностям более половины работающих ИИ уже являются зрелыми.

Благодаря этому, мы можем уверенно утверждать, что наиболее зрелые ИИ-сервисы по этим модальностям обладают потенциалом для начала их применения в практическом здравоохранении в рамках медицинских услуг с использованием искусственного интеллекта.
 

 

Подробнее об эксперименте в монографии: Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента / А. В. Владзимирский, Ю. А. Васильев, К. М. Арзамасов [и др.]. – Москва : Общество с ограниченной ответственностью «Издательские решения», 2022. – 388 с. – ISBN 978-5-0059-3043-9.