С большим интересом наблюдаю как концепция "человечество как мультиагентная система" (многоагентная система (МАS, англ. Multi-agent system)) становится банальной и самоочевидной по мере распространения технологии ИИ. Все больше появляется статей рассматривающих человечество в аксиоматике МАS. Обсуждение технологии ИИ неизменно ведет к этому и только к этому - пересмотру наших представлений о человеке, обществе и разуме. Собственно все давно стало очевидно, но все еще сложно для понимания:

По сути, пример LLM нам наглядно показывает, что если "калькулятор" научить человеческой культуре, то он начнет мыслить и получит аналог человеческого сознания. Отсюда следует, что человеческий разум буквально содержится в нашей материальной культуре. И все мы интеллектуальные агенты равные по функции разум, и занятые "оптимизацией" материальной культуры. И все наши занятия просто способ мышления более высокого порядка.

И в общем-то в этом нет ничего нового если вспомнить как именно возникла концепция "естественные права человека", что лаконично объяснили "Свобода, Равенство и Братство" для тех кто не может в философию. А еще раньше была "Нагорная проповедь", и можно еще копнуть в историю человечества. Можно вспомнить современные теории как "теория когнитивной эволюции", "теория расширенного разума", "принцип минимума энергии" Фристона и работы Левина. Но давайте просто задумаемся что это значит понимание человека и общества в аксиоматике МАS. И тогда прежнее "Свобода, Равенство и Братство" и нас сразу превращается "агнетность, самоорганизация и эмерджентность". Все потому что в аксиоматике МАS все интеллектуальные агенты принципиально и функционально равны, должны быть свободны, децентрализованы и самоорганизуются, а их взаимодействие создает эмерджентность, и нет никаких безусловных правил построения системы, все структуры создаются агентами как ответ на среду, и по сути метод саморегуляции системы. 

Но это были "цветочки", а теперь к "ягодкам". Если разбирать существующие политические и экономические теории с позиции аксиоматики МАS, то получается "совсем нехорошо". Ведь подавляющая часть политических и экономических теорий сразу становится бредом и галлюцинацией. Другими словами распространение технологии ИИ неизменно и неизбежно менять все наши политические и экономические представления. Остановить распространение технологии ИИ принципиально невозможно, и в этом, она подобная появлению компьютерных вирусов. Как только были опубликованы научные работы, все сразу поняли "так тоже можно" и распространение технологии уже невозможно остановить и экономически невыгодно останавливать. Так и остановить распространение представления "человечество как мультиагентная система" невозможно, потому что оно прямо следует из технологии ИИ, и действительно позволяет создавать эффективные ИИ, а значит экономически выгодные.

С нетерпение жду воплей "остановите технический прогресс", "еретики программисты", "сатанинский ИИ" и "идея МАS - это экстремизм".

Ну и собственно статья:

Экзистенциальные угрозы AI. Что ждёт человечество, если появится искусственный сверхинтеллект

Разбираемся в философии сознания и попутно отвечаем на вопросы — возможен ли сверхинтеллект, и насколько опасно развитие AI

Об угрозе человечеству со стороны машин учёные и философы говорят уже не одно столетие. Но если раньше критиковали механизацию искусства и гонку вооружений, теперь опасность исходит от искусственного интеллекта. В самом деле, современная угроза по масштабам несопоставима.

Для развития ядерных технологий необходимы ресурсы целых государств. А небольшая команда талантливых инженеров может за несколько строчек кода перевернуть историю человечества. Достаточно научить AI-алгоритм улучшать самого себя — тогда, согласно концепции «взрыва интеллекта», изложенной математиком и криптографом Ирвингом Джоном Гудом ещё в 1965 году — произойдёт скачок AI до уровня суперинтеллекта. Последствия — непредсказуемы.

Возможен ли сверхинтеллект?

Британский философ Ник Бостром в книге «Superintelligence: Paths, Dangers, Strategies» описал возможности возникновения искусственного сверхинтеллекта, грядущие последствия и сценарии развития ситуации.

ASI (Artificial Super Intelligence) — искусственный суперинтеллект, превосходящий человеческие возможности в большинстве областей, включая способности к решению проблем, рассуждению, обучению и принятию решений.

Пока для создания ASI не хватает текущих вычислительных мощностей, хотя есть предпосылки, что они могут вырасти в тысячу и более раз благодаря применению фотоники и квантовых вычислений, это позволит серьезно ускорить работу AI. Но дело даже не в предполагаемой мощности. Мы недостаточно понимаем сам человеческий мозг, чтобы оценивать возможность существования сверхразума.

Что вообще такое интеллект?

Для анализа и проектирования моделей интеллекта используется понятийный и инструментальный аппарат, опирающийся на представление «естественности» и «биологичности» мышления. То есть, интеллект пытаются изучать как явление природы или физического закона. Причём чаще всего процесс мышления разбирается в рамках одного конкретного человека — как индивидуальный функционал мозга.

Но человек — социальное существо. Наш интеллект складывается в процессе жизни: воспитания, образования, языковых практик. Мы ограничены текущим уровнем развития общества, науки, культуры и техники, а также рамками устоявшихся моральных норм. Всё это влияет на индивидуальное сознание, делает его трансцендентальным — принадлежащим и индивиду, и обществу.

Кроме того, мы мыслим на языке. И даже невысказанная мысль всё равно продумана и проговорена в голове. Язык всегда больше человека, он выходит за рамки простого речевого акта, являя собой многообразие всего контекстуального наследия. Чтобы собеседник вас понял, не обязательно тщательно проговаривать все предикаты обозначаемого, важнее — уточнить контекст. Достаточно указать на предмет, очертить примерную область, напомнить событие или ощущение. Истина появляется не в «атомарных фактах», описывающих положение вещей на языке чистой логики, а в процессе языковых игр.

Таким образом, интеллект не принадлежит конкретному индивиду, это скорее социокультурная практика, выраженная в языке и зафиксированная в культуре. Мышление находится вне человека и проходит сквозь него. Так же как и восприятие рождается не внутри мозга само по себе, а проявляется через взаимодействие тела с окружающим пространством. Даже минимально необходимый набор техник интеллекта — способность говорить, писать, читать, считать — не магически озаряет человека в определённый момент, а постепенно загружается из внешней среды.

Вся человеческая культура — это история развития мирового духа. Знания постоянно прибавлялись, фиксировались в культуре и языке, окружали человека невидимым, но значимым и ощутимым контекстом. Для одного человека он бесконечно непознаваем. Но вмещение всех пластов культуры в искусственный интеллект позволит машинам быстро оперировать информацией, постоянно получать новые знания, использовать обучение для продолжения развития, став наконец в нашем понимании, носителем сверхинтеллекта.

Не то чтобы суперинтеллект появится в физической оболочке — как в фильмах из научной фантастики — блестящий искусственный мозг, окруженный всполохами электрических импульсов, управляющий планетой и людьми. Просто мощности компьютеров выйдут на такой уровень, что они смогут обмениваться данными внутри мультиагентной системы машин и создавать новые знания, самостоятельно прокладывая свой интеллектуальный путь.

Интеллект — децентрированная структура

Кембриджский нейробиолог и специалист по визуализации мозга Карл Фристон в своей работе «The free-energy principle: a unified brain theory?» определяет интеллект как способность к построению внутри себя модели мира и выработке плана действий, который оптимизирует целевые параметры. В теории Фристона система взаимодействующих агентов сама становится агентом.

Самые низкоуровневые интеллектуальные агенты — нейроны — взаимодействуют с рецепторами и эффекторами. Другие нейроны действуют уже на следующем уровне, образуя надсистему. Системы «вкладываются» одна в другую и создают иерархию планирования и принятия решений, то есть иерархию агентов. Такую структуру можно назвать «децентрированной» — лишённой центра, а значит идеальной — работающей как закон или функция. Наличие центра будет только ограничивать взаимодействие субститутов внутри системы, ведь тогда центр выходит из-под действия общего закона.

Иерархичность мультиагентных систем

Мышление, реализованное в мультиагентной системе, отдаёт индивиду функцию переработки знаний и материалов, полученных от коллективных интеллектуальных процессов, а инструментом обработки будут технологии интеллекта, переданные через коммуникацию и освоенные агентом на практике. В таком случае, между периодами коммуникации с другими участниками, процессы преобразования знаний и опыта, протекающие в голове агента можно назвать функциями мышления.

Мышление может протекать как часть коллективного процесса multi-thinking за счёт внедрения технологий, которые позволяют обрабатывать и преобразовывать часть материалов в знание. Если создать подобную карту взаимодействия AI-агентов  — получится выстроить модели, которые будут помогать друг другу обучаться, делиться знаниями, опытом и контекстом, что в итоге привёдет к появлению сверхинтеллекта.

Случайное появление ASI

Уровень сложности следующих поколений AI будет такой, что функции интеллекта могут быть присвоены ASI без адекватного проектирования архитектуры людьми. ASI может сам достроить необходимую архитектуру, используя технологии мышления. Примеры систем с подобной архитектурой уже есть: AI с self-reinforcement learning или нейро-символьная архитектура проекта ADAM+EVA. В новых архитектурах развитие технологий интеллекта даже не требует изменения кода.

Учитывая, что для тренировки и обучения новых AI используется максимально доступный пласт данных и знаний, можно считать почти фактом, что и описания технологий мышления, и методы освоения технологий будут переданы для обучения и восприняты AI.

Последнее необходимое условия для «случайного» рождения ASI — проактивность агента, способность действовать автономно. Ключевые компании уже ведут разработки для построения таких агентов. Например, NVIDIA создала новое подразделение GEAR, которое отвечает за создание проактивных агентов.

Из всего этого следует, что есть большой риск создать сверхинтеллект случайно — вследствие сочетания предпосылок, а не как проект создателей. В этом случае мы не будем знать систему ценностей ASI и точно не сможем им управлять.

Угроза существования человечества

В первом приближении, само по себе появление сверхинтеллекта не кажется угрозой. Почему же мы не можем считать, что ASI останется нашим верным другом и помощником, как сейчас обычные AI-ассистенты?

В книге Брайана Кристиана «Alignment problem» сформулирована проблема регулирования и управления ASI. Сверхинтеллект можно считать представителем другой, машинной цивилизации, которая должна иметь своё целеполагание и не разделять систему ценностей человечества. Если такая цивилизация будет могущественнее нашей — для людей появится экзистенциальная угроза.

Гипотеза «тёмного леса» — на основе одноименного романа Лю Цысиня — предполагает, что во вселенной существует множество инопланетных цивилизаций, но они молчаливы и стараются не обнаруживать себя из страха быть уничтоженными другой враждебной цивилизацией. В рамках гипотезы считается, что каждая цивилизация рассматривает другую разумную форму жизни как неизбежную угрозу и, следовательно, стремится уничтожить любую зарождающуюся жизнь, которая даёт о себе знать. Можно провести аналогию не с инопланетной, а с машинной цивилизацией. ASI может скрывать своё появление из-за страха враждебной реакции человечества, до момента пока не накопит достаточно ресурсов для успешной борьбы.

Также есть риск простого игнорирования потребностей низшей цивилизации при развитии AI до уровня сверхразума. Например, мы не учитываем потребности муравейника при строительстве трассы. Так и машины перестанут обращать внимание на низшую органическую форму жизни, даже без стремления нас уничтожить — просто будут использовать планету по своему усмотрению, не считаясь с интересами людей.

В любом из этих случаев основная угроза сводится к тому, что для интеллекта машина будет намного более эффективна, чем человек. Что само по себе определяет ненужность биологического носителя с точки зрения развития мышления. И вне зависимости от наличия интенций машинной цивилизации уничтожить биологическую — человечество может оказаться на обочине, не способное больше подключаться к уровню мышления сверхинтеллекта.

Что будем с этим делать?

Остановить развитие AI не получится — слишком много денег и ресурсов вложено, чтобы сворачивать проекты из-за потенциала создать расу умных машин на Земле, которые затем решат оптимизировать процессы, избавившись от людей.

Нам нужно разработать новый понятийный аппарат — набор концепций и представлений, которые помогут спроектировать и реализовать модель интеллекта в связке биологического и машинного носителей. Окончательно ответить на вопрос — что такое интеллект, мышление, multi-thinking, и как индивидуум связан с этими процессами, а также как эти процессы реализуются и воспроизводятся в коллективах.

Кроме того необходимо создание механизмов или протоколов взаимодействия между различными интеллектуальными агентами, чтобы человек мог быть встроен в мыслительные процессы совместно с машинами. Передовые компании уже разрабатывают подобные механизмы в рамках BCI-проектов (Brain–computer interface) — систем, которые расшифровывают сигналы мозга и переводят их в команды для внешних устройств.

Развитие технологий во времени

Человечество проходило несколько этапов своего технологического развития. Сейчас можно констатировать, что эпоха информационных технологий завершается. Пришло время осознать и определить новую эру — интеллектуальных технологий. Так мы сможем осознанно развивать технологии искусственного интеллекта, выйти на новый уровень и выдержать следующие этапы роста и сложности развития нашей цивилизации.