Зачем вдруг человечеству понадобилась новая методология, тем более сейчас, во времена, когда бизнесу не до жиру — быть бы живу? Виной тому искусственный интеллект. Методология нужна для того, чтобы с ним справится. ModelOps, или методология управления жизненным циклом моделей машинного обучения и аналитики, разрабатывает подходы и инструменты для того, чтобы получить, наконец, ощутимый эффект от внедрения моделей в производство.

В 2020 г. «Ростелеком» совместно с Tadviser провел исследование относительно эффектов внедрения решений на базе ИИ в российских компаниях. Это особенно интересно, так как обычно мы смотрим на результаты изучения компаний зарубежных, и всегда остается гадать, насколько их опыт релевантен для отечественного бизнеса. Здесь были опрошены 100 крупных российских организаций из ключевых отраслей российской экономики, включая добывающую и обрабатывающую промышленность, телеком, финансы, транспорт, торговлю и государственный сектор.

С одной стороны, кажется, что перспективы многообещающие: совокупный эффект от внедрения ИИ в 62 российских компаниях за 2019 г. составил 60 млрд руб. Большая часть крупных организаций перешла от этапа пилотирования к активному внедрению проектов с использованием технологий искусственного интеллекта, более 70% из них получают финансовые результаты от внедрения ИИ-решений. Более 90% респондентов не ожидают сокращения результативности от внедрения ИИ даже на фоне пандемии.

При этом последним ключевым выводом исследования указан интересный факт: лишь у 18% компаний экономические результаты от внедрения ИИ действительно подтверждены финансовыми службами. Сдерживающими факторами для использования ИИ-решений внутри компаний являются непонимание экономических выгод для бизнеса и низкая рентабельность таких проектов.

«Совокупный эффект от внедрения ИИ у компаний-респондентов составил, по итогам 2019 г., около 60 млрд руб. (более 27 млрд руб. составил дополнительный доход и более 32 млрд руб. — полученная экономия). При этом озвучиваемая респондентами оценка в большинстве случаев (79%) носит оценочный (субъективный) характер, — подчеркивают авторы. — Около трети опрошенных компаний затрудняются с оценкой результатов от внедрения ИИ-решений, либо еще не проводили ее».

При этом Gartner в своих прогнозах дает скромные цифры: до 2022 г. только 15% случаев использования методов ИИ (ML и DNNs) будут успешными. Кроме того, аналитики полагают, что к 2022 г. по крайней мере 50% проектов с использованием ML и AI не будет полноценно внедряться в промышленное исполнение.

Мы видим, что в России компании относятся к ИИ положительно, даже несмотря на мрачные прогнозы Gartner. Здесь будет нелишне вспомнить ещё один опрос, который в 2019 г. проводила компания Microsoft. В этом опросе приняло участие 800 менеджеров высшего звена из Франции, Германии, Италии, Нидерландов, России, Швейцарии, Великобритании, США (выборка – 100 респондентов на страну).

Выводы интересные: Россия опережает США и Европу по активному внедрению искусственного интеллекта. Исследователи отметили, что «российские руководители используют возможности искусственного интеллекта (ИИ) для бизнеса активнее, чем их иностранные коллеги. 30% российских руководителей активно внедряют искусственный интеллект. В среднем, по миру этот показатель равен 22,3%, а, к примеру, во Франции — только 10%».

Глаза боятся — руки делают

В действительности, цифры статистики, особенно по ИИ, можно приводить как доказательство в пользу любых мнений. К примеру, мы хотим считать, что инструменты ИИ не дают эффекта — вот вам цифра в 15%. Можно найти и другие. Например, согласно опросу Gartner 2020 CIO Agenda Survey, ведущие организации собираются удвоить количество проектов искусственного интеллекта (ИИ) в течение следующего года. И делают они это явно не потому, что очень хотят потратить деньги на нерабочую технологию.

Еще одно исследование проводила компания IDC в 2019 г. Целью было понять, что же не так с искусственным интеллектом, почему проекты не взлетают и не оправдывают надежд. Оказалось, что примерно две трети компаний испытывают серьезные проблемы с тем, чтобы встроить уже построенные модели в бизнес-процессы и вывести свои ИИ-инициативы в промышленную эксплуатацию.

Чтобы не попасть под магию цифр, которые могут загипнотизировать и склонить к действию в любую нужную сторону, была разработана методология ModelOps. Риски, связанные с внедрением искусственного интеллекта, следует взять под контроль, а модели, используемые для машинного обучения, проверять, сравнивать, переобучать, отслеживать вносимые в них изменения, оценивать модельные риски.

Почему возникает модельный риск?

Модель имеет обыкновение терять актуальность. Она принимает в расчет данные и алгоритмы, которые могут устареть, не учитывать изменившиеся условия и новые вводные. Что мы наблюдаем прямо сейчас, во время пандемии, когда некоторые модели поначалу вынуждены были работать на исторических данных, тогда как ситуация вокруг изменилась самым неожиданным образом. Актуальные же данные не всегда возможно начать использовать быстро.

Но и без кризисов за моделями нужно пристально следить, тем более с ростом интереса к ИИ, когда они становятся все сложнее и используют непрозрачные алгоритмы. Для удобства такого контроля разрабатываются специальные инструменты и платформы для управления модельными рисками. Одно из таких решений — Model Risk Management — представил SAS.

Платформа помогает оптимально выстраивать бизнес-процессы этого управления, осуществлять мониторинг, хранить все модели в одном месте, отслеживать взаимосвязи между ними, пересматривать качество, актуальность и автоматически их валидировать. Среди преимуществ платформы: модели могут разрабатываться на любом языке. «Мы готовы подгружать модели из самых разных источников и на самых разных языках, включая open source. Следим за инновациями, трендами и потребностями наших пользователей и видим, что интеграция open source и промышленных инструментов очень важна. Так что со своей стороны мы делаем максимум, чтобы обеспечить техническую возможность управления open source моделями и их использования», — рассказали представители SAS.

Модели выходят из-под контроля

Если в организации не контролируют модель на каждом этапе ее жизненного цикла, то становится понятно, почему аналитики дают такой низкий процент внедрения моделей в производство. Испорченные модели не просто не работают или снижают эффективность предприятия. Так, например, низкое качество системы валидации моделей повышает нагрузку на персонал подразделения управления рисками в среднем на 15 человеко-дней за месяц. Но если бы дело было только в этом! Плохие модели приводят к существенным денежным потерям. Вспомним, как в 2019 г. ИИ (на базе суперкомпьютера K1, разработанного австрийской компанией 42.cx) за один день потерял 20,5 млн долларов, торгуя на фондовой бирже и теперь его владелец — Саматур Ли Кин-кан — судится с создателями, утверждая, что интеллект постоянно терял деньги, мало работал, создавая только 1 заявку по утрам, а иногда вообще простаивая днями, и вообще был изначально основан на ущербных алгоритмах. Этот суд называют первым процессом над искусственным интеллектом. Пострадавший требует компенсацию в 23 млн долларов.

Всё в том же 2019 г. Герман Греф предупредил, что с ИИ нужно быть осторожнее. «Искусственный интеллект, как правило, принимает решение в больших системах. Маленькая ошибка, закравшаяся в алгоритм, может приводить к очень большим последствиям. В нашей практике мы теряли большие деньги на этом. Из-за того, что машина совершала маленькую ошибку на больших объемах, мы теряли миллиарды рублей», — сказал он.

Большой брат следит за тобой

Именно потому, что модели могут быть не просто бесполезны, но и опасны, ими начали пристально интересоваться регуляторы. Первые регуляторные указания по управлению модельным риском (SR 11-7) выпустили еще в 2011 г. надзорные органы США. Затем методические рекомендации, которые требовалось выполнять, были изданы в Европе. Ожидалось, что после этих документов Центральный банк РФ также издаст нечто подобное для отечественных финансовых компаний. Однако официальных требований пока нет. В 2018 г. Центробанк выпустил только доклад для общественных консультаций, в котором дан обзор практик применения регуляторных и надзорных технологий (RegTech и SupTech).

«Перед участниками финансового рынка и регуляторами стоят принципиально новые вызовы, обусловленные появлением новых бизнес-моделей и стремительным развитием цифровых технологий, в том числе технологий машинного обучения, — пишут авторы. — Данный доклад содержит описание RegTech и SupTech, основные сферы их применения, международный опыт и информацию о наиболее приоритетных направлениях их развития, а также текущие проекты и перспективные инициативы по внедрению этих решений на российском финансовом рынке. Вопросы, связанные с правовым регулированием в сфере цифровых финансовых технологий, не рассматриваются».

Несмотря на то, что российские регуляторы пока не торопятся с внедрением жестких требований в сфере моделей и их применения ИИ, почва, очевидно, уже подготавливается. Именно поэтому методология ModelOps и платформы по управлению жизненным циклом моделей появились вовремя. Пока на них можно обратить внимание и ознакомиться без спешки. Когда в спину начнут подталкивать принятые законы, будет уже поздно.