Не так давно мэр Москвы накануне жесткого карантина пообещал, что всего за неделю будет развернута система слежения за перемещениями граждан. «Коммерсантъ» сообщал, что «вскоре выходить из дома можно будет только по спецпропускам», а нарушителей будет отслеживать больше ста тысяч умных камер и их собственный мобильный телефон. Ожидалось, что люди даже не в каждый магазин смогут попасть, а лишь в ближайший. Однако, все мы помним, как ограничения выглядели на самом деле. Толпы не было, но вечерами на улицах гуляли подростки, днем — лица старше 65 лет с собачками, а спортсмены рассказывали в соцсетях, в каких парках не ловят велосипедистов.

Почти сразу же после громких заявлений последовали уточнения: система закуплена, но пока не может работать в полную силу, и нарушителей придется отслеживать вручную. К середине карантина стали появляться новости об ошибочных штрафах, когда система иногда штрафовала не тех, кто заболел и просто обязан сидеть дома, а похожих людей. О массовой же слежке за гражданами больше вообще не говорили.

Нельзя сказать, что какая-то конкретная система не работала. Похожие столкновения ожиданий с реальностью происходят и в других странах. В прошлом году система распознавания лиц на улицах была запрещена в Сан-Франциско, минувшим летом то же самое сделали в Бостоне.

ИИ не доверяют, ведь он призван вырабатывать суждения, строить предположения или даже предоставлять улики там, где решающее слово могут сыграть не факты, но понимание контекста — а это слабое место у искусственного интеллекта. Он часто затрудняется там, где люди с легкостью решают поставленную задачу. Так, согласно исследованию, опубликованному в 2018 г. Массачусетским технологическим и Стенфордским университетами, системы на основе ИИ чаще ошибаются, если нужно распознать лицо чернокожей женщины. В этом случае доля ошибки сразу же возрастает до 34,7%, тогда как ошибки в распознавании лиц белых мужчин составляют 0,8%.

Модный термин

Проблемы не в технологии. Проблема в том, что именно ждут люди от искусственного интеллекта. Похоже, что это самый неправильно используемый, ложно понятый и неверно присвоенный термин в современном мире информационных технологий. Новости формируют заблуждения вокруг способностей искусственного интеллекта, тогда как реальные достижения для широкой публики звучат скучно, порой банально, а иногда и вовсе не понятны.

Завышенные ожидания, зрелищная фантастика, слухи и домыслы — всё это формирует нездоровое отношение к технологии, в которой нет ничего скандального. Часть людей ею восхищены, другие — боятся. Компания SAS выпустила любопытное исследование, попытавшись определить, каким видится ИИ , и понять, чего опасаются и ждут. Респонденты были разделены на 12 фокус-групп по 4-5 человек. В группы входили студенты, изучавшие соответствующие темы в вузах и интересующиеся ИИ, исследователи данных, бизнес-лидеры, ИТ-директора и профессора из пула экспертов в области ИИ.

В ходе проведения исследования выяснилось: все респонденты, хотя и связаны напрямую со сферой технологий, определяют для себя искусственный интеллект по-разному. Они предлагают радикально различные интерпретации и описывают широкий спектр технологий, часть из которых вообще не подходит под описание «ИИ, заслуживающий доверия». Как и следовало предполагать, только участники из академической среды обращают внимание на то, что перед дискуссией прежде всего надо озаботиться вопросом терминологии. Но даже они не смогли договориться между собой и найти определение искусственного интеллекта, устраивающее всех. «Насколько я понимаю, ИИ — это просто красивенькое модное словцо, придуманное маркетологами», — заявил один профессор из фокус-группы.

«Податливость ИИ как концепции создает проблемы для разработчиков, организаций и даже для потребителей, — говорится в исследовании. — Без внятного объяснения, что же такое ИИ, он может быть абсолютно всем. Мы полагали, что исследователи данных, как люди, постоянно работающие с этой технологией, не затруднятся в объяснении. Но даже они спорили и не могли определиться».

Искусственный интеллект может создавать сложности

Кто-то считает, что искусственный интеллект изменит бизнес до неузнаваемости и поможет буквально во всем. Кто-то — что он просто отнимет наши рабочие места. Корпоративный сектор ожидаемо тревожится, что решения ИИ неподотчетны, непонятно, кто будет нести за них юридическую ответственность. «Такая проблема действительно есть. Вопрос ответственности за решения, принятые программным обеспечением, пока открыт. Важно помнить тот факт, что программное обеспечение выполняет алгоритмы, которые заложены человеком, — говорит Александр Тихонов, генеральный директор SAS Россия/СНГ. — На первых этапах для валидации решений, принятых программой, я бы поставил человека. Это позволило бы тестировать логику и результаты моделей, которые заложены в ПО». При этом, по словам Александра Тихонова, мы должны определить допустимые значения результатов и процент ошибок, которые будут приемлемы, периодически отсматривать результаты принятых решений и сравнивать с бенчмарками, с нашими ожиданиями или допустимыми показателями. Если мы увидим, что показатели не выполняются, то надо смотреть, где проблема, техническая она или методологическая. Скорее всего, модель нужно доработать, переобучить на новых данных. Тут многое зависит от причины ее неэффективности. Для контроля качества и актуальности моделей существуют отдельные инструменты класса model management. Они позволяют управлять всем жизненным циклом моделей».

«Есть опасения, которые связаны с трудностями интерпретации, к примеру, нейронных сетей. Проще говоря, не совсем понятно, как машина принимает решения, почему она решила так, как решила. Но здесь встречный вопрос: всегда ли нужно объяснять работу механизма, который работает с приемлемым для вас уровнем результативности?» — комментирует Александр Тихонов. Есть ситуации, когда это действительно нужно. Например, когда для применения моделей вы должны получить разрешение от регулятора рынка, а тот, в свою очередь, должен уметь их провалидировать, или, когда у вас резко возрастает количество аварий на производстве и важно понять, почему снизилось качество автоматических решений. С этим разбираются аналитики и математики, для них ИИ-модель вовсе не является «черным ящиком». Но есть ситуации, когда это и не нужно. Например, бизнес-пользователи, руководители ориентированы на то, чтобы достичь определенных бизнес-показателей, и если на каких-то участках работы и в каких-то процессах они доверились работе моделей, то им важнее результат, а не детальное понимание, как именно этот результат был получен.

Что касается инструментов, упрощающих пониманием ИИ, такие уже есть. SAS в рамках проектов на платформе SAS Viya активно занимается интерпретируемостью моделей. Даже в визуальном интерфейсе пользователя приложения SAS Visual Data Mining and Machine Learning есть специальная секция, посвященная интерпретируемости моделей. Более того, уже есть банки, которые применяют такие инструменты с учетом своей специфики. Они показали свои наработки регулятору, и он это одобрил. В частности, эта практика существует в США. Один из местных банков защитил свои модели даже не у одного, а сразу у шести регуляторов.

Еще один пример — банк в Бразилии, который внедрил огромное количество сложных алгоритмов: они оценивали сразу и кредитные риски, и вероятность отклика на предложение приобрести дополнительные банковские продукты, получив, в результате, огромный качественный прирост для своего кредитного портфеля. Модели также были защищены перед регулятором, и банк получил одобрение на их применение.

Судью на мыло

Согласно упомянутому опросу SAS, многие респонденты отмечали, что недовольны тем, как ИИ делает им персонализированные предложения. Однако проблемы персонализации — это не самая серьезная вещь. Люди высказывали опасения, что ИИ в принципе не распознает человека как индивидуума и не может высказывать о нем правильного суждения, потому что не понимает контекст. Даже те опрошенные, кто представлял группу специалистов по работе с данными, высказывали мысль, что технические ограничения ИИ могут привести к тому, что он будет давать неправильные советы или дискриминировать определенные группы пользователей. «Если говорить о дискриминации, то, во-первых, она не законна, а бизнес сейчас довольно щепетильно относится к соблюдению законов, а во-вторых, я не думаю, что изначально компании нацелены на то, чтобы по какому-то признаку ущемить права той или иной группы своих клиентов, — полагает Александр Тихонов. — Скорее мы видим, что их задача — определить, как повысить лояльность или какие дополнительные возможности дать клиенту и при соблюдении каких условий. И здесь качество работы с клиентами упирается в полноту данных о них».

Каким образом можно преодолеть сложности с персонализированными советами от ИИ? Это решается через обогащение профиля клиента. Вспомним опять про опыт банков. Первые модели были совсем простые, там было мало исходных данных: социально-демографические характеристики, движение средств по счетам, возможно, сведения об имуществе. Но для персонального предложения нужно больше параметров. Банки стали сотрудничать с телекомом, смогли, помимо движения средств по счетам, получать информацию о перемещениях клиента, активности в роуминге, частоте звонков. Потом объединились с ритейлом и смогли видеть платежное и потребительское поведение. Также в расчет можно принимать данные из профилей в социальных сетях: насколько активно человек путешествует, сколько времени проводит за границей, чем увлекается.

Кусочки интеллекта

Подробно исследовав все опасения, в SAS сделали вывод: возможно, стоит вообще прекратить поиски всеобъемлющего определения этого термина. ИИ может относиться к огромному диапазону различных технологий, иметь множество вариантов использования. Всё зависит от интерпретаций. Назвать технологию искусственным интеллектом без дальнейших объяснений — это путь к непониманию, к преградам между создателями ИИ и аудиторией. Вместо этого лучше определять каждое решение индивидуально, рассматривать, из каких компонентов оно состоит и сообщать аудитории именно это, причем со всей честностью и прозрачностью. В SAS полагают, что это единственный способ избежать нереалистичных ожиданий и страхов.