Точность ИИ в диагностике рака: чувствительность и ошибки
В метаанализе 23 исследований помощь ИИ при оценке онкологических изображений повысила объединённую чувствительность врачей с 0,67 до 0,79, а специфичность с 0,82 до 0,87. При этом различие общей диагностической точности не было статистически значимым.

Эти показатели описывают разные виды ошибок, а их значения зависят от опухоли, метода исследования и выбранного порога классификации.
Поэтому точность ИИ при диагностике рака нельзя свести к одному проценту. Чувствительность алгоритма показывает, как часто он распознаёт заболевание среди подтверждённых случаев. Специфичность отражает, как часто система правильно распознаёт отсутствие болезни. Для клинического решения нужны оба показателя, а ещё сведения о частоте заболевания среди обследуемых и о том, как результат алгоритма встроен в работу врача.
Чувствительность и специфичность: какие ошибки скрываются за двумя числами
Алгоритм обычно относит изображение или медицинскую запись к одной из двух категорий: подозрение на заболевание или отсутствие подозрения. Сравнение результата с установленным диагнозом позволяет посчитать четыре исхода. Истинно положительный результат означает, что подозрительный случай распознан правильно. Ложноотрицательный, что заболевание было, но система его пропустила. Ложноположительный результат означает тревожную отметку при отсутствии болезни. Истинно отрицательный, что алгоритм не обнаружил подозрительных признаков у человека без заболевания.
Чувствительность рассчитывают среди пациентов с подтверждённым заболеванием. Если она составляет 0,79, система выявила примерно 79 из каждых 100 таких случаев в условиях конкретного исследования. Остальные случаи алгоритм отнёс к отрицательным. Это не означает, что у человека с положительным результатом вероятность рака равна 79%.
Специфичность считают среди людей без заболевания. Значение 0,87 означает, что алгоритм правильно отнёс к отрицательной категории примерно 87 из 100 таких случаев. Оставшиеся 13 получили ложноположительную отметку. Чем ниже специфичность, тем больше подобных отметок может появиться в потоке обследований.
Оба показателя зависят от порога, по которому система принимает решение. Если порог снизить, алгоритм может чаще отмечать изображения как подозрительные. Чувствительность обычно растёт, но вместе с ней может увеличиться число ложных тревог. Если порог повысить, система может реже сигнализировать о риске, но пропускать больше случаев. Поэтому характеристики модели нельзя описать одной цифрой без указания режима её работы.
| Метрика | На какой группе рассчитывают | Что показывает | Чего сама по себе не показывает |
|---|---|---|---|
| Чувствительность | Случаи с подтверждённым заболеванием | Долю выявленных случаев | Долю ложных тревог среди людей без болезни |
| Специфичность | Случаи без заболевания | Долю правильно распознанных отрицательных случаев | Вероятность болезни при положительном результате |
| Прогностическая ценность положительного результата | Все положительные результаты теста | Долю случаев, где болезнь действительно есть | Результат для другой группы с иной частотой заболевания |
Последний показатель часто важен для пациента, но его нельзя получить из чувствительности и специфичности без дополнительных данных. Он зависит от того, насколько часто рак встречается в обследуемой группе. Эта частота может различаться для массового скрининга и для пациентов, которых уже направили на диагностику из-за симптомов или других результатов.
Чувствительность описывает пропуски среди заболевших. Специфичность, ложные тревоги среди тех, у кого заболевания нет.
Базовая частота рака и ложные тревоги
Даже хороший баланс чувствительности и специфичности может давать много ложноположительных результатов, если заболевание редко встречается в проверяемой группе. Для понимания масштаба полезен условный расчёт. Он не описывает конкретный онкологический алгоритм или реальную клинику.
Предположим, обследуют 1000 человек, а заболевание есть у 1% из них. Чувствительность алгоритма условно равна 90%, специфичность тоже 90%. Тогда среди 10 человек с заболеванием система выявит около 9. Среди 990 человек без заболевания она правильно отнесёт к отрицательным примерно 891, а около 99 отметит ошибочно.
В этой модели положительных результатов будет около 108: примерно 9 верных и 99 ложных. Значит, доля действительно заболевших среди людей с положительной отметкой составит около 8%. Расчёт показывает, почему даже высокие значения чувствительности и специфичности не превращают положительный ответ алгоритма в диагноз. При другой частоте болезни соотношение изменится.
На практике результат ИИ может стать сигналом для дополнительного чтения снимка, повторного исследования или консультации специалиста. У каждого действия свои последствия. Ложная тревога способна привести к дополнительным обследованиям и нагрузке на пациента и клинику. Пропуск подозрительного случая может отсрочить дальнейшую диагностику. Поэтому эффективность оценивают не только по качеству классификации, но и по маршруту пациента после результата.
Важно смотреть, что именно измеряли в исследовании. Чувствительность устройства, чувствительность врача с поддержкой ИИ и доля направлений на дополнительное обследование, разные показатели. Их нельзя подменять друг другом. Рост числа направлений, например, может повысить вероятность выявления подозрительных случаев и одновременно снизить специфичность маршрута.
КТ и рентген при раке лёгкого: метод визуализации меняет показатели
Для рака лёгкого результаты ИИ заметно различались в зависимости от способа визуализации. В метаанализе исследований с помощью ИИ объединённая чувствительность для КТ составила 0,89, для рентгенографии грудной клетки 0,62. Специфичность при этом была выше у рентгенографии: 0,91 против 0,77 для КТ.
Эти значения нельзя читать как рейтинг двух методов вне контекста. Высокая чувствительность КТ в этой совокупности исследований означает, что алгоритмы чаще выявляли рак среди подтверждённых случаев. Более высокая специфичность рентгенографии означает, что среди случаев без заболевания её оценки реже оказывались ложноположительными. Одна метрика не отменяет другую.
В отдельной подгруппе исследований, объединившей разные методы визуализации, чувствительность ИИ-помощи составила 0,75, специфичность 0,88. Для КТ объединённые значения равнялись 0,89 и 0,77, для рентгенографии 0,62 и 0,91 соответственно. Разница указывает на неоднородность данных, а не на универсальное свойство всех систем, работающих с КТ или рентгеном.
Результат зависит и от состава выборки, качества изображений, определения положительного случая и порога классификации. В большинстве исследований пороговые значения тестов не были явно указаны. Поэтому объединённые оценки сводят в одну картину исследования, проведённые в неодинаковых условиях. Они помогают обозначить возможности и ограничения, но не гарантируют аналогичный показатель в отдельном медицинском учреждении.
Что показывают исследования рака молочной железы и метаанализ ИИ-помощи врачам
Обзор систематических обзоров охватил 158 исследований по визуализационной диагностике разных видов рака. Для выявления рака молочной железы объединённая чувствительность в восьми обзорах находилась в диапазоне 75,4–92%, специфичность, 83–90,6%. Такой разброс отражает различия в исследованиях и выбранных условиях оценки. Авторы оценили общую доказательность как умеренную или низкую.
Диапазон здесь информативнее одиночного числа. Он показывает, что результаты опубликованных обзоров различались, а итоговая оценка зависела от того, какие исследования вошли в анализ и как они проводились. Переносить верхнюю границу диапазона на любую программу скрининга или клинику нельзя. Для практической оценки нужны данные о конкретном алгоритме, популяции и рабочем процессе.
Метаанализ 23 исследований, сравнивавших оценку врачей с ИИ и без него, дал объединённую чувствительность 0,79 при использовании ИИ и 0,67 без него. Специфичность составила соответственно 0,87 и 0,82. Для оценок сообщались 95-процентные доверительные интервалы: чувствительность с ИИ, 0,71–0,88, без ИИ, 0,58–0,74; специфичность с ИИ, 0,82–0,91. Для специфичности без ИИ источник не даёт надёжного интервала, поэтому приписывать этому показателю точные границы нельзя.
Здесь измерялась работа врачей с поддержкой алгоритма и без неё. Это не сравнение автономной нейросети с врачом. Кроме того, различие общей диагностической точности между двумя режимами не было статистически значимым. Рост отдельных объединённых метрик сам по себе не доказывает превосходство ИИ во всех задачах или клинических сценариях.
Методология ограничивает уверенность в обобщениях. Исследования различались по типам опухолей, визуализации и процедурам оценки. В половине включённых работ авторы обзора отметили опасения по поводу систематической ошибки по оценке QUADAS-C. Такая неоднородность снижает переносимость среднего результата на новую больницу, другое оборудование или иной состав пациентов.
DermaSensor как пример компромисса: высокая чувствительность и низкая специфичность
Отдельный пример, устройство DermaSensor для оценки подозрительных кожных образований. В исследовании 1579 образований у 1005 пациентов его чувствительность составила 95,5%, специфичность 20,7%. Эти цифры относятся к конкретному устройству и исследовательской выборке. Они не описывают точность медицинского ИИ в целом.
Высокая чувствительность означает, что в этой выборке устройство выявляло значительную долю образований, отнесённых к заболеванию. Специфичность 20,7% одновременно указывает на большое число ложноположительных результатов среди образований без заболевания. Для клинического маршрута это может означать дополнительную нагрузку: больше случаев получают рекомендацию пройти дальнейшее обследование.
В исследовании с врачами первичного звена чувствительность направлений на дальнейшее обследование выросла с 82,0% до 91,4%. Специфичность этих направлений снизилась с 44,2% до 32,4%. Это показатели решений о направлении пациентов, а не универсальная точность алгоритма. Они показывают компромисс конкретного рабочего процесса: больше подозрительных случаев попадает на следующий этап, но увеличивается и число направлений среди тех, у кого заболевание не подтверждается.
Для оценки устройства одного процента чувствительности недостаточно. Требуется знать, сколько пациентов обследуют, как часто заболевание встречается в этой группе, какие действия следуют за положительной отметкой и сколько дополнительных обследований она создаёт. Без этих данных нельзя оценить ни прогностическую ценность результата, ни общую пользу внедрения.
Неоднородность исследований и пробелы в отчётности
Данные о диагностической эффективности не всегда публикуются в удобном для сравнения виде. В обзоре разрешённых FDA медицинских устройств на основе ИИ и машинного обучения для 51,6% рассмотренных устройств не были указаны метрики клинической эффективности. Чувствительность сообщалась для 23,9%, специфичность для 21,7%. Эта выборка включала устройства разного назначения, поэтому её показатели нельзя представлять как статистику онкологических алгоритмов.
Для конкретной системы отчёт должен связывать цифры с задачей. Нужны вид опухоли, способ получения изображения, характеристики исследуемой группы, определение подтверждённого диагноза и порог классификации. Не менее существенен режим использования: алгоритм работает самостоятельно, сортирует снимки для врача или предлагает второе мнение. Результаты этих режимов отвечают на разные вопросы.
Практическое сравнение алгоритмов начинается с таблицы показателей, но ей не заканчивается. При чтении исследования полезно обратить внимание на несколько вещей:
- Чувствительность и специфичность представлены вместе. Одна метрика не показывает баланс между пропусками и ложными тревогами.
- Указаны условия исследования. Результат для КТ нельзя автоматически переносить на рентгенографию, а данные одной клинической группы на другую.
- Определён порог классификации. Без него цифры трудно сопоставить с работой алгоритма в реальном потоке.
- Разделены показатели модели и клинического процесса. Метрика устройства не равна доле выявленных случаев после внедрения, а доля направлений не равна точности диагностики.
- Описана неопределённость. Доверительные интервалы и оценка риска систематической ошибки показывают, насколько надёжно исследование поддерживает вывод.
- Показаны последствия положительной отметки. Число дополнительных обследований влияет на нагрузку, сроки и практическую пользу внедрения.
В опубликованных обобщениях остаются ограничения. Пороговые значения часто описаны неполно, а сами исследования заметно различаются. Для приведённых агрегированных показателей нельзя установить, насколько применение каждого алгоритма повлияло на сроки лечения, выживаемость или другие исходы пациентов. Чувствительность и специфичность характеризуют диагностическую классификацию, но не весь эффект технологии на здоровье.
Как читать точность ИИ без ложных выводов
У точности ИИ при диагностике рака нет единого значения, которое можно перенести на любую опухоль и клинику. Для интерпретации нужны как минимум чувствительность, специфичность, метод визуализации, порог классификации и описание выборки. Чтобы оценить результат для пациента, необходимо знать также частоту болезни в обследуемой группе и понимать, что происходит после положительной отметки.
Опубликованные показатели уже помогают сравнивать отдельные подходы и находить задачи, где алгоритм может поддержать врача. Но внедрение требует проверки в условиях конкретной системы здравоохранения. Польза технологии зависит от внешней валидации, полноты отчётности и того, подтверждается ли эффект не только для классификации снимков, но и для работы клинического процесса.