Искусственный интеллект научился определять расу человека по рентгену

Искусственный интеллект может определить расу человека только на основе анализа рентгеновского снимка. Такие результаты исследований публикует издание The Lancet Digital Health, пишут СМИ.
Группа исследователей из США, Тайваня и Канады провела эксперимент, суть которого заключается в попытке научить искусственный интеллект определять расу пациента, только на основе его рентгеновского снимка. Для этого они использовали базу данных, содержащую несколько сотен тысяч таких снимков.
Эксперимент показал, что ИИ способен определять расу пациента на основе снимков с точностью выше 90 процентов. Искусственный интеллект не ошибался даже в том случае, если на анализ предоставляли снимки пациентов с одинаковым возрастом и полом. Исследователи пока не смогли установить, каким образом ИИ распознаёт расу на основе снимков, которые не содержат подобную информацию.
В попытке разгадать и понять загадочное "как" все это исследователи провели множество экспериментов. Чтобы исследовать возможные механизмы определения расы, они рассмотрели такие переменные, как различия в анатомии, плотности костей., разрешение изображений и многое другое, и по-прежнему преобладали модели с высокой способностью определять расу по рентгенограммам грудной клетки. "Поначалу эти результаты сбивали с толку, потому что члены нашей исследовательской группы не смогли даже близко подобрать подходящее решение для этой задачи", — говорит соавтор статьи Марзие Гассеми, доцент кафедры электротехники и компьютерных наук Массачусетского технологического института. и Институт медицинской инженерии и науки (IMES), который является филиалом Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) и клиники Джамиля Массачусетского технологического института. "Даже когда вы отфильтровываете медицинские изображения после того, как изображения вообще распознаются как медицинские изображения, глубокие модели сохраняют очень высокую производительность. Это вызывает беспокойство, потому что сверхчеловеческие способности, как правило, гораздо сложнее контролировать, регулировать.
В клинических условиях алгоритмы могут помочь нам сказать, является ли пациент кандидатом на химиотерапию, диктовать сортировку пациентов или решить, необходим ли перевод в отделение интенсивной терапии. "Мы думаем, что алгоритмы смотрят только на показатели жизнедеятельности или лабораторные тесты ., но вполне возможно, что они также смотрят на вашу расу, этническую принадлежность, пол, находитесь ли вы в заключении или нет — даже если вся эта информация скрыта", — говорит соавтор статьи Лео Энтони Чели, главный научный сотрудник IMES в Массачусетского технологического института и доцент медицины Гарвардской медицинской школы: "Тот факт, что в ваших алгоритмах представлены различные группы, не гарантирует, что они не увековечат или не усугубят существующие различия и неравенства. Скармливание алгоритмам большего количества данных с представлением не является панацеей. Этот документ должен заставить нас задуматься и серьезно задуматься о том, готовы ли мы использовать ИИ у постели больного".