Очередная волна неистового ИИ хайпа

Рост рынка последний месяц связан прежде всего с анонсами ИИ моделей и ИИ-продуктов от ведущих ИТ компаний США.

Почти 1.5 года работы с различными ГИИ (ChatGPT, Gemini, Llama, Claude), есть ли в них польза и что они могут делать? Я не пишу сейчас полноценный обзор – это серия лонгридов, на которые сейчас нет времени, но попытаюсь выделить главное.

По сути, главное и самое основное предназначение ГИИ – это компрессия и декомпрессия информация, собственно, и все, а из этого уже «расщепляются» различные производные направления.

Компрессия информации - конспектирование, резюмирование, обобщение, «суммаризация» и так далее огромных массивов текстовой, аудио или видео информации по особым алгоритмам. Например, кратко пересказ YouTube ролик, книгу, инструкцию пользования или какие-либо события.

Декомпрессия информации – из ранее сжатой информации на основе логических цепочек и по заданным сценарным векторам генерировать аудио, видео или текстовый контент. Например, на основе краткой рецензии книги, сгенерированной ранее ИИ, написать похожие отзывы/рецензии или дать рекомендации по схожим литературным произведениям.

Основные сценарии использования ГИИ:

• Обобщение и интерпретация контента.

• Переводчик.

• Экспертная система / ответы на вопросы (что это означает, как это сделать, как это работает, как это исправить и т.д).

• Анализ, аналитика данных (пока самое слабое звено и хуже всего развито).

• Рерайт готовых текстов по заданным направлениям, стилям и тональности.

• Копирайтинг, написание резюме, отзывов, эссе, простых статей по заданным темам.

• Более эффективное распознавание цифрового контента (OCR документов, видео, аудио). Например, автоматическая стенограмма презентации с аудио в текст, автоматический таймкоды в видео, распознавание и структуризация документов.

• Более умный семантический поиск. Например, поиск в фото или видео определенных объектов, сюжетов и так далее. Пока все это не работает, но Google обещает интеграцию до конца года.

• Создание фото и видео с заданными условиями.

В перспективе года ГИИ модели позволяет сделать умный органайзер, структурировав документы, письма, фото и видео с заданными маркерами. Например, 30 тыс фото в библиотеке, нужно разбить по типам и сюжетам (люди, природа, города, культурные объекты и т.д.). Аналогично с документами, т.е. умная группировка и поиск по критериям. Структуризация и систематизация контента – это то, что способен делать ГИИ.

Потенциально может быть полезен, как персональный репетитор, создатель гида, проводника в различных неизведанных вопросах и направлениях, в том числе как туристический гид, неплохое пространство для роли консультанта по многим вопросам. Некая улучшенная комбинация Google + Wiki / онлайн библиотеки.

ГИИ может применяться для создания спектра идей для контента, применяться для автоматизации создания отчетов и шаблонных проектов, первичной аналитики данных.

В перспективе нескольких лет многие профессии под угрозой: переводчики, редакторы и корректоры, копирайтеры и контентмейкеры, секретари, маркетологи, работники службы поддержки и консультанты, дизайнеры, художники, аниматоры, программисты и аналитики начального уровня.

Тянет ли справочное бюро, переводчик, обобщение контента и умная группировка на 25 трлн долларов (кумулятивный ИИ хайп с начала 2023 по США и развитым странам) с пафосной претензией на «изменение мира ДО чатботов и ПОСЛЕ чатботов»? Крайне сомнительно.

Как это все работает на практике, удалось ли ГИИ интегрировать в проекты Spydell Technologies, есть ли в ГИИ достаточная глубина рынка и пространство для монетизации, чтобы оправдать приращение капитализации на триллионы долларов? Об этом позже.

О прикладном использовании больших языковых моделей…

Сразу к делу – есть ли положительный опыт интеграции в научно-исследовательские проекты в области экономики и финансов? Нет, ни одна модель не функциональна, ничего не работает.

Есть две критические и пока неразрешимые проблемы на архитектурном уровне самих моделей ГИИ.

Первое – нет вшитого контроля верификации выходных данных и корректности интерпретации. Другими словами, ГИИ не способен оценивать корректности и адекватность сгенерированного контента, нет встроенного критерия истинности.

Современные модели ГИИ не обладают критическим мышлением и верификатором результатов, что в контексте работы LLM означает: выявление логических связей и противоречий, оценка аргументов и доказательств, анализ данных и источников, адаптация выходного результата в контекст условий.

Доступные на сегодняшний день LLM:

• Не проверяют достоверность источников информации и не различают надежные данные от ненадежных.

• Не способны самостоятельно выявлять логические ошибки или противоречия в своих ответах.

• Не могут критически оценивать представленные аргументы и доказательства.

• Не могут адекватно адаптировать свои ответы к специфическим условиям или контексту задачи.

LLM обучаются на сверх больших массивах данных, изначальная достоверность которых под сомнением, и в этом наборе информационного мусора происходит компрессия данных и определение весов.

Те данные, на которых были обучены LLM изначально могут содержать ошибки, предвзятость и недостоверную информацию, а следовательно обучение часто строиться на ложных сведениях.

В некотором смысле веса в больших языковых моделях (LLM) определяют иерархию интерпретации информации, позволяя модели распознавать иерархические и контекстуальные зависимости в данных. Иначе говоря, веса определяют меру связанности информационных блоков, как одна часть информации влияет на другую часть информации.

Что это означает на практике? LLM крайне неэффективны в разработке инновационных смысловых конструкций и интерпретации изначально противоречивой информации, производя сложные многоуровневые оценки факторов, обстоятельств и зависимостей.

ГИИ могут быть эффективны в интерпретации общепризнанных наиболее популярных фактов регулярного характера, но не способы выстраивать иерархию приоритетов и многоуровневую композицию факторов риска в неоднозначном и неструктурированном наборе данных, вектор распределения которых не прогнозируем.

Следовательно, сложная аналитика процессов и событий не подвластна ГИИ, поэтому в ГИИ нет интеллекта в широком понимании. Это высоко эрудированная система, которая достаточно тупа в понимании связей и зависимостей сложных систем, а социология, психология, политология, экономика – это как раз те области, где нет жесткой структуризации данных и нет однозначности в интерпретации.

Можно формализовать математику или физику (здесь ГИИ в перспективе 3-5 лет может добиться успехов), но нельзя формализовать мотивы и действия социума, поэтому ГИИ не может управлять бизнес-процессами, не может прогнозировать и оценивать все те области, где задействован человек (финансы, экономика, социология, политика и т.д.).

К чему это приводит? ГИИ генерируют огромное количество контента, который на прикладных задачах практически невозможно применять из-за отсутствия достоверности.

В идеале система должна работать, как низко уровневая программа в процессоре, где повторение опытов всегда дает один и тот же результат – есть однозначность и прогнозируемость. В ГИИ слишком широкий диапазон допусков.

В итоге время и ресурсы на проверку результатов работы ГИИ превосходят любую потенциальную выгоду. Проще говоря, ГИИ слишком завораживающе фейкометят, чтобы использовать их в серьезных исследованиях и бизнес-процессах.

Низкая достоверность выходного контента вшита на уровне архитектуры LLM, поэтому проблема неисправима ни сейчас, ни в ближайшем будущем.

Вторая проблема – необучаемость и ограниченная длина контекстного окна. Эта тема требует отдельного обзора.

О прикладном использовании больших языковых моделей (часть 2).

Отсутствие встроенного контроля верификации выходных данных не позволяет использовать ГИИ для серьёзных научно-исследовательских работ и в рамках бизнес-операций. По умолчанию, любой сгенерированный контент от ГИИ рассматривается как фейковый, а следовательно, нет доверия к системе.

Время и ресурсы, затраченные на принудительную проверку фактов, превышают потенциальную выгоду от использования ГИИ в серьёзных задачах, которые оказывают влияние на систему принятия решений.

Вторая проблема — необучаемость и ограниченная длина контекстного окна*. Как это проявляется на практике в моих проектах?

*Контекстное окно обозначает максимальное количество токенов, которые модель может учитывать одновременно при обработке текста; грубо говоря, это глубина памяти ГИИ в рамках открытой сессии.

Не слишком сложная база данных с иерархической структурой данных требует примерно 6-7 страниц технического задания с описанием структуры данных, параметров, связей и постановки задач для анализа данных. Написание 6-7 страниц строго формализованного текста — большая работа на три часа.

Изначально ГИИ никогда не генерирует корректного результата, если постановка задачи предполагает глубину аналитики с множеством связанных переменных.

Соответственно, требуется доводка и калибровка способности ГИИ корректно интерпретировать базу данных и понимать поставленную задачу. Это ещё работа на три часа.

В итоге 6-7 часов уходит просто на то, чтобы попытаться обучить ГИИ адекватно интерпретировать структуру данных и понимать цель анализа. К этому моменту ширина контекстного окна заканчивается, но даже если удастся уложиться, происходит баг системы, который я назвал «ментальный сквиз».

В чём проявляется «ментальный сквиз»? Чем сложнее задача и чем больше количество правок вносится в интерпретатор ГИИ, тем быстрее наступает момент «глубоких галлюцинаций», когда модель полностью теряет способность к пониманию и начинает путаться в показаниях.

По мере правок качество выходного контента растёт, а потом наступает «ментальный сквиз», и качество резко обрушается, что означает — модель сломалась, несите новую, т.е. требуется новая открытая сессия и всё начинать сначала.

Я не связывался с OpenAI по данному багу и не могу сказать, связана ли эта проблема с программной составляющей или это внутренние архитектурные недостатки, однако правда в том, что разработка сложных проектов исключена полностью.

Те функции аналитики и анализа данных, которые демонстрируются в рекламных роликах ГИИ, показывают простейшие функции, которые реализуются штатным функционалом Excel за несколько секунд, тогда как написание запросов в ГИИ требует минут. Т.е. даже здесь эффективность под вопросом. Более сложные расчёты крайне неэффективны в рамках реализации через ГИИ — здесь сразу мимо.

Какая комбинация работает? То, что работало раньше: Excel + SQL + Python и теперь ГИИ, но не в рамках аналитики, а с точки зрения справочного бюро по документации/инструкциям + помощь в написании кода и формул. Причём процесс написания кода также не так однозначен.

В практическом применении ГИИ (использовал все, но остановился в итоге на ChatGPT-4 как наиболее сбалансированном) абсолютно не тянет работу с данными. Data Science, data mining, data analytics — это не про ГИИ. Текущая оценка — около 2 из 10, т.е. совсем плохо, по крайней мере, в той публичной версии, как это всё представлено.

Все надстройки в Excel на базе ChatGPT, в том числе официальная от Microsoft — полная туфта. Выглядят многообещающе, но на практике с большим набором данных и многоуровневыми зависимостями не работают так, как должны.

Сводные таблицы и автоматический структурный анализ можно делать и имеющимися ресурсами без использования ГИИ.

ГИИ не улучшает работу в рамках дата аналитики, а скорее ухудшает с точки зрения качества данных и скорости работы. В рамках анализа данных Excel + SQL + Python решают задачи на порядки быстрее, чем хвалёный ГИИ. На данном этапе ГИИ в контексте научно-исследовательской базы близок к пустому месту.

Общее впечатление от работы с большими языковыми моделями

Есть ли от них польза? Да, конечно, в рамках ограниченных задач.

Что работает хорошо (не в абстрактном измерении, а в контексте научно-исследовательских проектов в области экономики и финансов)? На самом деле, идеально сейчас не работает ничего, и везде есть ошибки, нерегулярные отклонения, неравномерное качество генерации и так далее.

Что работает достаточно хорошо, но с допущениями?

• Переводчик – понимание контекста стало лучше, технические термины переводятся лучше, но до профессиональных переводчиков все еще далеко.

• Транскрибация/расшифровка аудио/видео контента в текст и автоматические метки тайм-кодов. В последние пару месяцев начала внедряться технология разделения спикеров и более качественная интерпретация тональности.

• Корректор/редактор текста.

• Справочное бюро по технической документации / экспертная система – если локализовать фокус ГИИ на конкретном документе, - согласованность повышается.

• Написание кода и формул - не идеально, но, если разбить программу на мини модули - определенная польза будет, хотя ошибок изначально будет много. Однако, основная польза скорее в инструменте динамических подсказок и поиске ошибок в компиляции – подходит для опытных программистов.

• Обобщение/конспектирование документов – основе предназначение ГИИ пригодится для фильтрации и группировке мусорного контента по направлениям и темам, но не подходит для компрессии важных документов, т.к. практически всегда упускает важные нюансы.

• Дайджест новостей – на практике работает плохо, т.к. все ведущие информационные агентства запретили индексацию новостного контента со стороны ГИИ.

Я не занимаюсь фото и видео, хотя знаю, что основной прогресс был достигнут именно здесь — полезно для дизайнеров, маркетологов и художников. Помимо генерации изображений по запросам, можно модифицировать старые, разрушенные чёрно-белые фото в высоком качестве в цветном исполнении.

Что работает на практике?

Транскрибация аудио и видео контента производится очень редко в работе, дайджест новостей и анализ инфо-повестки не работают корректно из-за ограниченного набора СМИ, индексация по которым разрешена.

Обобщение видео практически никогда не использовал, конспектирование документов делаю редко. Например, в важном выступлении Пауэлла на пресс-конференции ФРС в начале мая все чатботы произвели неадекватную интерпретацию тональности выступления, сделав неверные акценты, предполагая жёсткость выступления, тогда как на самом деле оно было самым «мягким» за два года.

Чтобы правильно расставлять акценты, выстраивая адекватную иерархию приоритетов, необходим опыт в комбинации множества противоречивых факторов. Алгоритмы ГИИ это не могут делать, поэтому конспектирование текста лишь даёт общее представление о тематике, но практически всегда упускает важные нюансы.

По сути, на практике, казалось бы, безграничное пространство возможностей упирается лишь в переводчик, корректор текста, справочное бюро и помощник в написании кода.

Тянет ли это на революцию? Едва ли. Это некая более умная комбинация Google + Wiki с пониманием, что количество ошибок может быть неприемлемо высоким.

По работе с данными качество ГИИ ниже плинтуса, это же касается аналитики, причём на всех уровнях. В плане качественного и решительного усиления научно-исследовательского потенциала не тянет — возможно, даже больше вреда, чем пользы, если слишком сильно полагаться на ГИИ.

ГИИ — это пока некая надстройка/плагин в существующие ИТ-решения, которая не даёт решительного преимущества, но способна принести пользу при грамотном использовании. Ждать, что ГИИ по запросу «создай мне вундервафлю» начнёт творить чудеса — это верх наивности.

На бытовом уровне ГИИ очень неплох — можно попросить составить и проанализировать список фильмов, разобрать известные литературные произведения, сделать какие-нибудь рецепты или спросить, как починить что-то, и много других вариаций.

На уровне бизнес-решений и в науке публичные версии ГИИ пока очень слабы.

Экономика больших языковых моделей

Пока не существует достоверных исследовательских работ по рентабельности, потенциалу экспансии и по воздействию на экономику ГИИ.

Темпы развития настолько высоки, что любая аналитика устаревает в момент выхода и ни у кого, в том числе у разработчиков ГИИ, нет понимания, куда все это зайдет.

Тема очень интересная, но пока можно лишь выдвигать гипотезы.

Финансовое сообщество в США трещит от восторга, воображая «квантовый скачок» в новую ИИ-вселенную, где трансформация мира будет настолько фундаментальной, что изменит «правила игры» на всех уровнях.

Заявка неслабая – сразу на технологическую революцию, которая изменит мир и одна из важнейшей технологий из когда-либо созданных человечеством.

Достаточно посмотреть на капитализацию ведущих технологических компаний США, которые перебивают все возможные рекорды.

▪️Первое – на экономику влияет прежде всего способность к повышению производительности труда и способность к ускорению технологического прогресса, инноваций и научно-исследовательских проектов.

Способны ли публичные версии ускорять создание технологий и повышать качество существующих технологий? Исключено.

Однако, сама технология ГИИ способна влиять на технологический прогресс при условии доступа к архитектуре и весам LLM, позволяя реализовывать глубокую модернизацию моделей под специфические научные задачи. Эта привилегия доступна лишь избранным компаниям, которые разрабатывают ГИИ.

▪️Второе – все существующие LLM сильно убыточны, т.к. затраты на инфраструктуру и техническое обеспечение ГИИ настолько высоки, что практически лишают разработчиков шансов на окупаемость инвестиций в краткосрочной перспективе 1-3 лет. Что будет через три года не знает никто.

Порог входа в клуб разработчиков ГИИ начинается от 3 млрд долларов (ИТ инфраструктура с крайне дорогим оборудованием; исследования и разработки, где разработчиков в этом направлении очень мало, а стоят очень дорого; лицензирование в рамках доступа к данным).

Специфика функционирования ГИИ заключается в том, что для адекватной и конкурентной модели необходима разработка LLM и обучении минимум на 1 трлн токенов, а это как раз около 3 млрд долл.

▪️Третье – положительный экономический эффект сильно переоценен. Да, многие профессии под угрозой, но примерно это же говорили в начале 90-х, когда появились электронные таблицы, что по теории должно было снизить количество бухгалтеров на порядок, но в реальности спрос на бухгалтеров только вырос и ещё много примеров...

Нет никаких сомнений в том, что ГИИ – одно из самых важных технологических открытий в 21 веке, это очень интересная технология, которая принесет пользу, особенно на бытовом уровне.

При этом важность и значимость ГИИ с точки зрения воздействия на экономику пока сильно переоценена.

То, что представлено и может быть представлено в ближайшее время - не особо впечатляет и тянет лишь на уровень надстроек/плагинов в существующие ИТ решения, не меняя радикальным образом паттерны и механизмы взаимодействия общества с окружающим пространством.