Кризис нейросетей
Технологии глубоких нейросетей и машинного обучения, с которыми связаны основные успехи искусственного интеллекта последнего времени, как оказалось не очень хорошо работают в условиях кризиса. Это и понятно – они используют статистику (точнее собранные наборы сырых данных – так называемые датасеты) для предсказания будущего. Однако эта технология хорошо работает только в случае неизменных законов. И если в моделировании физических процессов или распознавании образов даже в случае кризиса законы будут меняться, то в предсказании социального поведения людей во время кризиса у нейросетей могут возникнуть проблемы. В результате, если, например, банки или страховые компании будут слепо доверять выводам нейросетей в переломные моменты, то это может вызвать у них определенные проблемы.
Когда не работает нейросеть
Собственно технология машинного обучения хорошо работает в той области, где для нее собрали очень большое количество данных, но результаты ее предсказания сильно ухудшаются, если в зоне принятия решений всего несколько десятков результатов – контролируемая система редко попадала в это положение и ее поведение в ней не очень хорошо документировано. Если же результатов вообще нет, то «машинное обучение» очень быстро глупеет и выдает такие результаты, которые не предложил бы и начинающий специалист. Поэтому в систему искусственного интеллекта, основанную даже на глубоких нейросетях, необходимо встраивать системы контроля качества работы и предсказания. Если же нейросеть дает достаточно высокой уровень ошибок, то ее нужно как минимум переобучить на новых данных. При этом со временем качество работы предсказания всегда ухудшается, что связано не только с изменением законов, но для физических систем еще и со старением оборудования, появлением артефактов, например, на видеоизображениях или по другим причинам. Качество предсказания никогда не будет увеличиваться. Поэтому важно вовремя обнаружить момент, когда нейросеть начинает себя вести неадекватно и попытаться устранить возникшие проблемы.
Если вернуться к вопросу о том, в каких областях сейчас нейросети могут давать сильно худшие результаты, то очевидно, что после прилёта «Черного лебедя №2022», сильно изменилось социальное и финансовое поведение людей. В результате, такие данные как транспортная активность пользователей мобильных телефонов и их типовые маршруты, данные по покупательским предпочтениям, маршруты перемещения посетителей сайтов в Интернет и ещё множество собранных баз Больших данных могут сильно и качественно измениться. Причем, наколенные исторические данные и в дальнейшем вряд ли можно будет использовать – социальная и финансовая ситуация даже после разрешения конфликта будет, скорее всего, другой и никогда не вернется к докризисным показателям. А это значит, что доверять старым датасетам не стоит, а новые ещё слишком маленькие, чтобы давать адекватные результаты.
Это означает появление серьезных проблем в управлении рисками при использовании современных технологий искусственного интеллекта в таких отраслях как реклама, банковский скоринг, предсказание возврата кредитов, страхование, инвестиции и множество других. Компаниям, которые работали в этих отраслях, придется вернуться к экспертной модели оценки и поддержки принятия решений, а, главное, закладывать большие риски. Логично, что стоимость услуг в перечисленных сферах, скорее всего, увеличиться. Тем не менее, накопленный опыт анализа ситуации поможет экспертам и при работе в кризис. В частности, может сработать сценарный подход, когда делается неточное, но оценочное предсказание в зависимости от развития ситуации на рынке. Кроме того, стоит провести оценку влияния датасетов, поступающих от мобильных операторов, бюро кредитных историй, интернет-агрегаторов и других, на качество принимаемых нейросетью решений и отказаться от тех источников, которые влияют на результат неоднозначно.
Высшим же пилотажем будет переход от нейросетей к методами искусственного интеллекта, которые используют военные для моделирования боевой обстановки – технологий так называемого агентского моделирования. Здесь, в отличии от нейросетей, нет готового инструментария с открытыми кодами, поскольку это технологии двойного назначения, но математический аппарат и идеи достаточно простые: кластеризация поведения групп акторов, попытка понять интересы каждой из них и влияние их друг на друга, а дальше уже с помощью классических методов вычислительной математики моделировать их поведение в кризисной ситуации. Работа эта сложная, однако она позволяет смоделить поведенческие характеристики интересующих групп в кризисной ситуации при различных граничных условиях, а затем использовать накопленные наборы данных для переобучения нейросети. В результате, можно получить нейросеть, которая будет обобщать опыт моделирования и более точно предсказывать поведение людей в том числе и в кризисных ситуациях.
Если не верить нейросетям
В процессе цифровизации в России уже внедрено достаточно много решений, которые базируются на нейросетях и обработке больших данных из указанных выше источников. С конца февраля их вердикты вызывают определенные сомнения. У счастливых обладателей таких продуктов естественно возникает вопрос: что можно сделать, чтобы повысить качество работы уже внедренных систем? Первый шаг – проверка качества предсказания нейросети. Для этого стоит насколько раз поступить не так, как она предсказывает и оценить результат. Например, выдать несколько кредитов, которые решение нейросети заблокировало бы, и наоборот – заблокировать утвердительные вердикты. Для минимизации последствий лучше такие исключения согласовывать с экспертами. Если в новых условиях качество предсказания находится в рамках приемлемых бизнес-рисков, то такую нейросеть можно и дальше эксплуатировать, регулярно проверяя качество ее предсказания.
Если же тесты показывают сильное расхождение с реальностью, то нужно как минимум переобучить нейросеть на новых данных, а, возможно, и – только на новых без учёта исторического опыта. Тут важно правильно выбирать источники этих данных – возможно вам сейчас удастся найти качественные источники, которые помогут нейросети «разобраться» в сложившейся ситуации и всё-таки вернуть уровень предсказаний к докризисный норме. Возможно, в решении могут помочь нестандартные источники информации, которые с одной стороны поставляют качественные данные, а с другой – их ценность не будет зависеть от текущей ситуации. Важно только правильно оценить стоимость этой информации и встроить ее нейронную сеть.
Когда источники наиболее интересной информации определены и очищены от мусора, то можно переходить к сегментированию данных и формированию новых наборов признаков, чтобы понять какие из них не зависят от произошедших событий, какие изменяются предсказуемо, и, стало быть, могут быть использованы для дальнейших предсказаний, а какие просто стоит исключить из дальнейшей работы. В некоторых случаях можно применить для этого агентское моделирование и по возможным сценариями развития ситуации подготовить предварительные смоделированные набора данных. Такие искусственно сгенерированные датасеты можно также использовать для обучения и максимального расширения возможных моделей. Естественно, что дальше стоит оценить качество работы каждой модели и выбрать ту из них, которая максимально точно соответствует реальными результатам.
Заключение
Современные цифровые предприятия сейчас уже не готовы доверять интуитивным выводам, типа “Все пропало!!!” или “Да, шапками закидаем…” Они имеют технологии, которые позволяют реально моделировать рыночную ситуации, находить в ней наиболее интересные для предприятия возможности и давать руководству советы оптимального поведения в том числе и в кризисной ситуации. Важно, чтобы данные для подобных прогнозов были качественно выбраны и оценены, а также качественно проинтерпретированы. При этом в большинстве случаев можно произвести моделирование изменения ситуации и использовать полученные во время подобной имитации наборы данных для переобучения нейросетей – это позволит расширить их применение в том числе и на смоделированные в рамках экспериментов сценарии. Текущая ситуация – хорошая проверка тезиса о том, что выжить должны только цифровые предприятия.
Автор Валерий Коржов
