“Нам грозит не пришествие сверхразумных машин,

а появление неполноценно мыслящих человеческих существ”

Хьюберт Дрейфус

В настоящем сообщении я сделал краткий обзор истории разработки искусственного интеллекта (ИИ) и привел различные, зачастую противоположные, оценки авторитетных экспертов о возможности достижения сильного ИИ. Меня особенно интересовал круг проблем, главным образом философских, которые предстоит решить на этом пути. Анализ доступной информации позволил мне прийти к выводу о том, что, хотя достижение сильного ИИ теоретически возможно, но сложность задач, которые предстоит решить, а также отсутствие реальной практической заинтересованности у мировых элит, делает достижение именно сильного ИИ крайне маловероятным событием на горизонте планирования в 10-20 лет.

 

 

Материал получился достаточно объёмным. Я не стал разбивать его на части, а постарался убрать под каты специальную информацию и обширные цитаты, которые можно пропустить при общем ознакомлении с темой. Литература, которую я использовал, приведена в конце материала общим списком.

Обсуждая тему ИИ, очень важно договориться о терминах. Иначе легко получить подмену понятий. 

Ранее я уже приводил эти определения, которые сформулировал Tim Urban (The AI Revolution: The Road to Superintelligence ) со ссылкой на авторитетных экспертов:

1. Узкий ИИ - Artificial Narrow Intelligence (ANI):

Это ИИ специализирующийся на конкретной задаче/проблеме. И, зачастую, превосходящий человека в решении этой задачи. Например, шахматная программа обыграла человека, но она умеет только это.  Речь идёт о различного рода экспертных системах, как правило, работающих с большими объёмами данных.

2. Общий ИИ - Artificial General Intelligence (AGI):

Его ещё называют ИИ человеческого уровня (например, Универсальный Человекоподобный Интеллект – УЧИ). Так называют ИИ, который сравнялся с человеком в решении  любых интеллектуальных и творческих задач. Профессор Линда Готтфредсон ( Linda Gottfredson) описывает такой ИИ как “предельно общую ментальную способность, которая, среди прочего, включает умение размышлять, планировать, решать задачи, думать абстрактно, постигать сложные идеи, быстро обучаться, а также учиться на собственном опыте”. УЧИ смог бы делать всё это также легко, как и человек.

3. Супер ИИ Artificial Superintelligence (ASI):

По определению Ника Бострома (Nick Bostrom), эксперта в области ИИ из Оксфорда, это “интеллект, который намного превосходит наилучшие человеческие мозги в практически любой области, включая научное творчество, жизненную мудрость и социальные навыки.”

 

До некоторого времени эти определения меня устраивали. Однако, хотя такого рода определения достаточно распространены, их практическое использование порождает массу вопросов. Более того, эти определения уводят в сторону от понимания сущности сильного ИИ и тех проблем, которые неизбежно возникнут на пути к его достижению.

Обсуждение начну с прояснения терминологической путаницы: слабый - узкий, сильный - общий.

Если между слабым и узким ИИ никто особых различий не делает (это решение, заточенное на специальную задачу), то в отношении сильного-общего ИИ есть эксперты, которые пытаются различать эти понятия (например, Рагнар  Фьёлланд, на недавнюю статью которого «Почему общий ИИ не будет реализован» в Nature я буду далее ссылаться). Дескать, поскольку человеческий интеллект носит общий, универсальный характер (подразумевается, способен решать самые разные задачи), то и  искусственный интеллект, который может то же самое, должен называться общим. А вот интеллект идентичный человеческому должен называться сильным.

В приведённых выше определениях разница между слабым и общим ИИ достаточно условна, и она, скорее, количественная, чем качественная. Системы экспертного уровня уже сейчас способны и «решать задачи», и «быстро обучаться» (в том числе на собственном опыте), и «планировать», и «постигать сложные идеи», а также писать музыку, стихи, рисовать и т.п. И многие конкретные задачи слабые ИИ уже делают «также легко», а порою и гораздо лучше и быстрее, чем человек.

Так что, при таком подходе можно говорить о проблеме объединении различных специализированных (слабых) ИИ в один универсальный. О качественных различиях между слабым и общим ИИ, вроде бы, речь не идёт. Остаётся лишь уточнить, кому и зачем нужен робот-шахматист, который ещё и поёт, рисует, предсказывает погоду и находит собак на фотографиях. Другими словами, задача собрать из разнородных «экспертов» одного «суперэксперта» – это проблема, скорее, целесообразности, чем научного вызова.

Могут возразить (хотя из приведённых выше определений это прямо не следует), что под «общим» понимается ИИ, обладающий таким запасом «интеллекта» (что бы это понятие ни значило), который позволяет ему, при необходимости, самостоятельно осваивать любые новые навыки и профессии, подобно тому как это делает человек. И делать это не хуже человека. Такое уточнение существенно, оно, однако, не снимает всех вопросов.

 А вопросы возникают следующие: должен ли такой УЧИ обладать качествами, на первый взгляд, не связанными напрямую с решением задач, но присущими человеку? Такими как мораль, эмоции, вера, целеполагание, саморазвитие и т.п. Эти, и многие другие, качества являются неотъемлемыми атрибутами человеческого сознания. Нужно ли моделировать и их при создании УЧИ?

 

Приведённое выше определение ИИ, фактически, не различает задачи «научиться делать как человек (или лучше)» и «научиться быть человеком (или лучше)». А разница здесь принципиальна.  Это понимание нашло отражение в формулировке, которую дают в своей знаменитой книге С.Рассел и П.Норвиг: “утверждение, что машины, возможно, способны действовать так, как будто действительно являются интеллектуальными, философы называют гипотезой слабого искусственного интеллекта, а утверждение, что машины действительно мыслят (а не просто имитируют мыслительные процессы), называется гипотезой сильного искусственного интеллекта». При таком подходе осталось определить, как именно люди «действительно мыслят».

Наконец, вряд ли стоит содержательно различать понятия сильного и супер ИИ, так как многие разделяют точку зрения, что путь от сильного к супер ИИ будет очень коротким: сильный ИИ, работая над собственным совершенствованием достаточно быстро разовьёт навыки, которыми мы наделили супер ИИ.

Далее я буду говорить исключительно о так определённом сильном ИИ, игнорируя двусмысленное понятие УЧИ (AGI).

Рассматривать проблему я предлагаю в двух аспектах: теоретическом (можно ли и каким образом создать сильный ИИ в идеальных условиях?) и конкретно-практическом (возможно ли реализовать теоретическую программу на практике?)

ИИ: долгая дорога к силе

Праотцом ИИ смело можно назвать Алана Тьюринга. Многие из вопросов о сильном ИИ, задолго до появления самого понятия, он поставил и рассмотрел в своей статье 1950г. Её можно найти в книге «Может ли машина мыслить?», изданной в 1960 (это русский перевод двух статей, А.Тьюринга и Дж.Неймана 1950 и 1951гг.).

Именно Тьюринг сделал всё для обоснования «функционалистского» подхода к разработке ИИ, то есть ц​елесообразности ставить и решать именно задачу «научиться делать как человек». Суть функционализма выражает известная поговорка – не важно, какого цвета кошка, лишь бы она ловила мышей. Т.е не важно, может ли машина на самом деле по-человечески мыслить, понимать, сознавать, чувствовать и т.п., если она умеет с помощью алгоритмов и программ решать, предсказывать, вычислять, а также имитировать понимание, сознание, чувства и т.п. Приверженцы таких идей (например, тот же Юрген Шмидхубер (Jürgen Schmidhuber)), говорят о возможном и довольно скором достижении так понимаемого  сильного ИИ.

Реализуя такой подход к проблеме, Тьюринг предложил отвечать на вопрос «Может ли машина мыслить?» по результатам некоей «игры в имитацию», которая теперь (в некоторой адаптированной форме) известна как Тест Тьюринга. Он так описал свой подход: «…вопрос «могут ли машины мыслить?» можно заменить вопросом «существуют ли воображаемые цифровые вычислительные машины, которые могли бы хорошо играть в имитацию?».  Сам Тьюринг считал возможным прохождение такого теста с ростом вычислительной мощности машин:

Я уверен, что лет через пятьдесят станет возможным программировать работу машин с емкостью памяти около 10⁹ так, чтобы они могли играть в имитацию настолько успешно, что шансы среднего человека установить присутствие машины через пять минут после того, как он начнет задавать вопросы, не поднимались бы выше 70%. Первоначальный вопрос «могут ли машины мыслить?» я считаю слишком неосмысленным, чтобы он заслуживал рассмотрения.

За 70 лет, прошедших со времени предложенного теста, проходить его (с разным успехом) пытались многократно и к нему накопилась масса вопросов. Большинство экспертов считает, что удача/неудача в прохождении теста не даёт однозначного ответа на поставленный вопрос о способности машины мыслить.

Фактически, предложив тест-имитацию и отказавшись всерьёз обсуждать вопрос о способности машин "действительно" мыслить, Тьюринг определил программу исследований в области ИИ на многие годы вперед. Это программа так называемого «символического ИИ», который предельно упрощённо можно определить как попытку свести любую мыслительную деятельность к следованию набору эвристических правил и алгоритмам, оперирующим, в конечном итоге, символами. Как писали отцы-основатели ИИ Саймон (Simon H.A.) и Ньюэлл (Newel A.): «Физическая символьная система имеет необходимые и достаточ­ные средства для произведения основных интеллектуальных опе­раций».

Сам Тьюринг в своей статье попытался предвосхитить возможные возражения к своему подходу и заранее ответить на них. Он привел целых 9 гипотетических возражений:

 

Следует отметить, что не все приведённые возражения интересны и актуальны сейчас. К тому же, Тьюринг оказался гораздо лучшим криптографом, чем полемистом. На мой взгляд, большинство возражений ему не удалось убедительно парировать, обосновав, тем самым, свою позицию. Да он и сам это признавал, написав в свой статье:

«Читатель, вероятно, уже почувствовал, что у меня нет особенно убедительных аргументов позитивного характера в пользу своей собственной точки зрения. Если бы у меня были такие аргументы, я не стал бы так мучиться, разбирая ошибки, содержащиеся в мнениях, противоположных моему собственному»

Тем не менее, три возражения не только не потеряли актуальность, но и, на мой взгляд, принципиально важны для ответа на вопрос о достижимости сильного ИИ. Это – теологическое возражение, возражение с точки зрения сознания и возражение с точки зрения сверхчувственного восприятия, так как они затрагивают саму природу человека, а не только способ организации его мышления. К их рассмотрению я предполагаю вернуться в ходе дальнейшего изложения.

Это время (50-е и 60-е годы прошлого века) сопровождалось бурным интересом к проблеме ИИ, от которого ожидали быстрого прогресса именно в создании ИИ, который сейчас мы именуем сильным ИИ. Вот лишь некоторые авансы, которые выдавались тогда под хорошее финансирование:

1958, Саймон, один из авторов программы GPS (General Problem solver, успешно решавший алгоритмические задачи):

• Не пройдет и десяти лет, как цифровая вычислительная машина станет чемпионом мира по шахматам, если не будут введены правила, не допускающие ее к соревнованиям.
• Не пройдет и 10 лет, как вычислительная машина найдет и докажет важную и до сих пор неизвестную математическую теорему и создаст музыку, ценность которой признают критики.
• Не пройдет и десяти лет, как большинство психологических теорий примет форму программ для вычислительных машин или качественных утверждений о тех или иных характеристиках машинных программ

1965, Саймон

• В ближайшие двадцать лет машины будут способны делать любую работу, которую сейчас делают люди

1967, Марвин Мински

• Уже следующее поколение в основном решит проблему создания искусственного интеллекта

1970, Марвин Мински

• В течение трех-восьми лет мы будем иметь машину, обладающую интеллектом среднего человеческого существа

 

Авансы не оправдались. Началась «зима» искусственного интеллекта. В итоге, правительства США и Британии начали урезать финансирование исследований ИИ для университетов. DARPA, без проблем финансировавшее исследования ИИ в 1960-х, стало требовать от проектов чётких временных рамок и подробного описания предполагаемых результатов. В итоге стало казаться, что ИИ не оправдал ожиданий, и никогда уже не сможет достичь уровня человеческих возможностей. Одной из причин было несоответствие вычислительной мощности машин сложности большинства задач ИИ. Это назвали «проклятием размерности» (вариант – «комбинаторный взрыв»), когда уже для простейших задач с 30 логическими правилами (параметрами алгоритма) полный перебор всех вариантов даже с эвристиками и прочими сокращениями перебора (на «деревьях решений») занимал многие часы и даже годы вычислений. Первая «зима» ИИ продлилась все 1970-е.

Некоторое оживление случилось в начале 80-х, с началом разработки и первыми успехами экспертных систем, работавших с большими объёмами данных и имитировавшими процесс принятия решений людьми. Экспертные системы были призваны заменить специалистов-экспертов при разрешении проблемных ситуаций. Они представляли собой автоматизированные компьютерные системы, реализующие программы на основе набора правил, позволяющих распознавать ситуации и делать простые логические умозаключения. Выводились эти умозаключения из баз знаний, составленных специалистами в соответствующих предметных областях и переведенных на формальный машинный язык.

Успех экспертных систем вдохновил DARPA на увеличение финансирования исследований ИИ, но вскоре агентство урезало большую часть этого финансирования, оставив всего несколько программ. Частные инвесторы старались держаться на почтительном расстоянии от любых начинаний, имевших малейшее отношение к проблеме искусственного интеллекта. Даже в среде ученых и финансировавших их организаций сам этот термин стал нежелательным. Вторая «зима» ИИ продлилась до конца 90-х.

 

В центр общественного внимания ИИ вернулся в 1997 году, когда шахматный компьютер Deep Blue от IBM победил тогдашнего чемпиона мира Гарри Каспарова. У компьютера Deep Blue было достаточно вычислительных мощностей, и он использовал «метод грубой силы», или полный перебор, оценивая 200 млн возможных ходов в секунду и подбирая наилучший. Работа Deep Blue была похожа на работу ИИ, но компьютер не размышлял о стратегиях и не учился игре, как смогут это делать последовавшие за ним системы.

 

Можно считать, что все это время (вплоть до начала 2000-х) исследования велись в парадигме, получившей известность как «добрый старый искусственный интеллект», или сокращенно GOFAI (Good Old Fashioned AI); этот термин в 1985 году предложил Джон Хогланд (John Haugeland). В основе GOFAI лежит утверждение, будто все интеллектуальное поведение может быть представлено с помощью системы, которая формирует логические рассуждения на основании множества фактов и правил, описывающих рассматриваемую проблемную область.

Одними из первых, кто обоснованно сомневался в успехе такого подхода, был философ Хьюберт Дрейфус, который написал ряд влиятельных критических статей против искусственного интеллекта, в том числе с братом Стюартом.

В обстановке всеобщей эйфории, Дрейфус писал, что оптимистичные предсказания апологетов ИИ никогда не сбудутся, и  указал на явные и неявные допущения теории ИИ, раскритиковав их.

 

Дрейфус отстаивал феноменологический подход к сознанию, согласно которому, человек обладает пери­ферийным сознанием, позволяющим ему выхватывать из мира сигналы в фоновом режиме. И хотя таких сигналов может быть неопределенно много, человек оказывается защищен от комбинаторного взрыва, когда решение задачи мно­гократно усложняется с каждым следующим шагом доказатель­ства. Далее, человек может различать релевантное и нерелевантное на основе глубо­кого понимания ситуаций, инсайта. Программы же раз­личают важное и неважное согласно правилам, составленным их авторами.

Кроме того, люди чувствительны к контексту и обладают тер­пимостью к неоднозначности. Они могут по­нять двусмысленное предложение, они воспринимают оптические иллюзии (вроде куба Неккера).

Большинство знаний, которые мы применяем в нашей повседневной жизни неявны. Их трудно объяснить и формализовать, тем более в виде алгоритмов. Если, подобно сороконожке из известной притчи, мы станем задумываться перед каждым шагом как правильно поставить ногу, то просто не сможем ходить. По выражению Майкла Полани, «… мы можем знать больше, чем можем сказать».

В 1980-х, после первой зимы ИИ, от «символического» ИИ перешли к моделированию процессов в человеческом мозге. Появились первые искусственный нейронные сети, которые могли обучаться. Адепты ИИ (в частности, Рассел и Норвиг) отмечали, что возражения Дрейфуса касались GOFAI, который соответствует простейшему логическому агенту, и Дрейфус был прав, утверждая, что логические агенты действительно имеют слабое место, поскольку не позволяют решить проблему спецификации. Однако, получившие всё большее распространение новые подхода в разработке систем ИИ, связанные с машинным обучением и нейросетями, вроде бы, открывали дорогу к решению этой и других трудных проблем.

Сам Дрейфус и его брат считали, что принципиально ничего не изменилось, указывая на ограниченность нейронных сетей. Рассел и Норвиг в своей книге вступили в полемику с Дрейфусами и ответили на их замечания:

 

Из приведённой полемики можно сделать вывод о том, что критики ИИ указывают на всё новые особенности взаимодействия нашего сознания с миром, извлечения и обработки знаний, построения умозаключений, обучения новым навыкам и т.п., которые неподвластны существующим моделям ИИ. И всякий раз адепты ИИ указывают на возможные способы (иногда чисто гипотетические) обойти эти ограничения, улучшая архитектуру ИИ.

У подхода Дрейфуса есть и сторонники. Так, на правоте Дрейфуса настаивает Рагнар Фьёлланд, на недавнюю статью которого «Почему общий ИИ не будет реализован» в Nature я буду далее ссылаться.

 

Создание сильного ИИ – теоретические аспекты

Если кратко, то всего есть два пути развития ИИ: первый – создать идеальный инструмент для расширения возможностей человека в решении стоящих перед ним проблем, в освоении (покорении?) земных и внеземных пределов, второй – сделать upgrade самого человека, создав некоторого суперчеловека, который наследует Землю и сам будет определять цели и смыслы.

Для реализации этой программы существуют три основных стратегии, о которых, например, подробно пишет в своей книге эксперт в области ИИ, футуролог Ник Бостром.

1.Инструментальный ИИ

Подход, использующий функциональность мозга в качестве отправной точки, но разработка низкоуровневого моделирования не планируется.

2.Полная эмуляция головного мозга человека

В процессе полномасштабного имитационного моделирования головного мозга, который называется «полная эмуляция мозга» или «загрузка разума», искусственный интеллект создается путем сканирования и точного воспроизведения вычислительной структуры биологического мозга. Таким образом, приходится всецело черпать вдохновение у природы.

3.Усовершенствование когнитивных способностей самого человека

Третий путь создания интеллекта, превосходящего человеческий, это улучшение функционирования биологического мозга, повышение когнитивных способностей человека.

Следует обратить, что в пп.2-3, в силу выбранного подхода, речь идёт о создании улучшенной копии человека со всеми его атрибутами (мышление, сознание, чувства, эмоции) либо путём копирования в лаборатории результата, который получился у природы в ходе длительной эволюции, либо путём евгеники, т.е. апгрейда этого самого результата (человека).

В то время как в п.1 речь идёт, скорее, об имитации (в стиле Тьюринга) «в железе» функциональных возможностей человека и последующем их улучшении. Будет ли получившийся киборг ещё и чувствовать, обладать сознанием, вопрос при таком подходе не принципиальный и не сильно волнует исследователей. Тот же Шмидхубер считает, что всё это можно запрограммировать в виде дополнительного бонуса.

Итоговый результат, который мы получим в каждом из подходов достаточно различен: если в случае 3 мы имеем дело с хорошо известной нам телесной оболочкой с понятным способом взаимодействия с миром, то какое физическое воплощение получит ИИ в случаях 1 и 2 мало кто может себе представить.

И здесь мы вновь и вновь вынуждены вернуться к началу – может ли ИИ, спроектированный как имитация, на определённом этапе своего усложнения вдруг, невзначай, обзавестись сознанием. Либо это сознание может лишь достаться ему по наследству, как, например, в модели ИИ, построенной как полная эмуляция человеческого мозга. И чем «имитационный» ИИ отличается от «сознательного»? Должен ли сильный (и сверхразумный) ИИ обязательно по-настоящему (т.е. по-человечески) думать, понимать, чувствовать, сознавать либо достаточно обладать качественной имитацией, так чтобы разница в поведении не была заметна экспертам (как в тесте Тьюринга)?

Нескончаемые споры об этом ведутся долгое время. Ставятся многочисленный мысленные эксперименты. Пожалуй, самый известный из них – «китайская комната» Джона Сёрла опубликованный в 1980г. Этот эксперимент хорошо известен, и я не буду его подробно описывать. Тема, поднятая Сёрлом настолько важна для понимания проблемы ИИ и когнитивных наук в целом, что, согласно Стэнфордской энциклопедии философии, поиск в базе Google Scholar «Searle Chinese Room» в период с 2010 по 2019 год дал более 2000 публикаций, где обсуждается этот мысленный эксперимент.

На мой взгляд, эксперимент Сёрла важен, прежде всего, методически. Он, пожалуй, первым указал на принципиальное, содержательное отличие «сильного» ИИ от «слабого». И это отличие между действием и его имитацией, между быть и казаться. На интуитивном уровне это хорошо понятно. По Сёрлу, гипотеза «сильного» ИИ состоит в том, что компьютеры с соответствующей программой на самом деле могут понимать естественный язык, а также обладать другими ментальными способностями, свойственными людям. Гипотеза слабого ИИ, напротив, говорит о том, что компьютеры способны лишь имитировать ментальные способности человека. Сёрл считает гипотезу сильного ИИ ложной и пытается в мысленном эксперименте обосновать свою позицию.

Полемика из доводов Сёрла и контрдоводов его оппонентов, ответов на них Сёрла и новых возражений оппонентов идёт на протяжении уже 40 лет, и до сих пор не закончилась победой ни одной из сторон. Кратко с ней можно познакомиться здесь (язык английский, последнее обновление – февраль 2020). Возможная причина затруднений в том, что разница между «быть» и «казаться», как мы знаем из реальной жизни, достаточно трудноуловима даже на бытовом уровне.

Сам Тьюринг не видел в этом принципиальной разницы и считал это всего лишь предметом джентельменского соглашения. Рассел и Норвиг, например, приводят следующие примеры: искусственная мочевина  (синтезированная в 1848г.) ничем не хуже натуральной, а искусственное оплодотворение (тоже AI – Artificial Insemination) – действительно, оплодотворение. А вот «искусственное вино Шато Латур - это не вино Шато Латур, даже если образцы того и другого нельзя отличить друг от друга с помощью химического анализа, просто потому, что оно не было изготовлено в должном месте правильным способом. А искусственно выполненный рисунок Пикассо - это не рисунок Пикассо, независимо от того, похож он на оригинал или нет». Но в этих примерах такое различение – лишь предмет договорённости, ведь без априорной информации отличить подделку от оригинала практически невозможно. Так что, доводы Сёрла относительно сильного ИИ, по мнению Рассела/Норвига, это лишь интуитивное предположение, а не доказательство. Кстати, контраргумент об «интуитивности» доводов Сёрла – одно из основных возражений его оппонентов.

 

Философские проблемы разработки сильного ИИ

Синтаксис и семантика

Эксперимент Сёрла поставил одну из философских проблем создания ИИ – проблему синтаксиса и семантики.

Сёрл считал, что невозможно получить семантические (смысловые) значения лишь из формальных манипуляций символами.

Компьютерные операции являются «формальными» в том смысле, что они реагируют только на физическую форму цепочек символов, но не на их значение. С другой стороны, у ума есть состояния со смыслом, ментальным содержанием. Мы связываем значения со словами или знаками в языке. Мы реагируем на знаки из-за их значения, а не только из-за их внешнего вида. Короче, мы понимаем. Но, и, по мнению Сёрла, это ключевой момент: «Сами по себе формальные символы никогда не могут быть достаточными для ментального содержания, потому что символы, по определению, не имеют значения (или интерпретации, или семантики), за исключением тех случаев, когда кто-то за пределами системы дает их им» (Searle, 1990).Таким образом, хотя компьютеры могут манипулировать синтаксисом для получения соответствующих ответов на вводимые на естественном языке вопросы, они не понимают предложения, которые они получают или выводят, поскольку они не могут ассоциировать значения со словами. Критики позиции Сёрла приводят следующий контраргумент «от противного» (Чалмерс, 1996): кулинарные рецепты являются синтаксическими инструкциями, синтаксис недостаточен для рассыпчатости, кексы обладают рассыпчатостью, отсюда следует, что реализация рецепта недостаточна для приготовления кекса.  Т.е. всё дело именно в реализации; абстрактная сущность (рецепт, программа) определяет причинность для физической системы, встроенной в более крупную причинность окружающего мира. Проще говоря, программа, записанная на листах, лежащих на полке, не порождает ничего; эта же программа, исполняемая компьютером, «порождает смыслы».

Проблема разума и тела.

Как психические состояния и процессы связаны с физическими состояниями и процессами (а именно с процессами, происходящими в мозгу). Эта проблема на протяжении веков волнует философов и естествоиспытателей. Так, ещё Рене Декарт, который размышлял над тем, как бессмертная душа взаимодействует со смертным телом, и пришел к выводу, что душа и тело это два различных типа субстанций; в этом состоит так называемая теория дуализма. С другой стороны, материализм (монизм) утверждает, что нематериальной души просто не существует; в мире имеются только материальные объекты. Поэтому, все психические состояния представляют собой состояния мозга. Подобный взгляд часто суммируется следующим высказыванием: «Разум по отношению к мозгу — это то же, что и программа по отношению к аппаратуре компьютера». Джон Сёрл сформулировал эту идею в виде лозунга ‘‘Мозг рождает разум’’.

В связи с проблемой соотношения разума и тела обсуждаются ментальные состояния. Таковыми являются состояния, подобные убежденности, уверенности, желанию, чувству страха и т.д., которые относятся к некоторому аспекту внешнего мира. Нас интересует вопрос, могут ли компьютеры иметь ментальные состояния? Например, можно утверждать, что психическое состояние, в котором я хочу гамбургер, отличается от состояния, в котором я хочу пиццу, поскольку гамбургер и пицца в реальном мире отличаются друг от друга. А если верно такое утверждение, то ментальные состояния имеют необходимую связь с относящимися к ним объектам во внешнем мире. Но если психические состояния лишь отражение физических процессов в мозге, то, может быть, состояния «желание гамбургера» можно достичь заменив реальный гамбургер на «идею о гамбургере». Для рассмотрения этой коллизии предлагается мысленный эксперимент (из книги Рассела и Норвига)

Ещё один мысленный эксперимент из книги Рассела и Норвига, который относится к вопросу о том, могут ли иметь психические состояния физические объекты, отличные от нейронов человека.

Я не стану обсуждать возможные выводы из подобных экспериментов, так как, на мой взгляд, они некорректно поставлены. Что толку обсуждать мысленный эксперимент типа: «Что бы ты сделал в данной ситуации, если бы был бессмертен?» Возможно, это будит фантазию, воображение, но мало применимо к повседневной практике и не может быть аргументом в споре относительно реальных возможностей. Действительно, в отличие от эксперимента с китайской комнатой (который, в принципе, осуществим) или теста Тьюринга (который осуществлён многократно) в самой постановке этих гипотетических «экспериментов» содержится подтасовка с намёком на желаемый результат. Изолируем мозг, но так, чтобы он имел все сигналы из внешней виртуальной среды и мог адекватно реагировать, изменяя виртуальную среду. И если мозг удастся обмануть, вызвав в нем реальные ментальные состояния в ответ на виртуальные стимулы, то его, мозг, можно заменить на ИИ. Мы знаем, что для виртуальной среды компьютерный «мозг» уже освоил эту игру, его можно научить виртуально «любить» виртуальный «гамбургер», но какое отношение это имеет к взаимодействию с реальной действительностью, реальным переживаниям, основанным на опыте, который у каждого свой.  Как различить виртуальные психические состояния от реальных?

Напомню, что тезис о том, что мысль порождается бессмертной душой, а у машины души быть не может, и, следовательно, она не может мыслить, составляет содержание теологического возражения Тьюринга. Сам Тьюринг, не желая вступать в конфликт с верующими и не отрицая прямо существование души и Бога, парирует это возражение:

Пытаясь построить мыслящие машины, мы поступаем по отношению к богу не более непочтительно, узурпируя его способность создавать души, чем мы делаем это, производя потомство; в обоих случаях мы являемся лишь орудиями его воли и производим лишь убежища для душ, которые творит опять-таки бог. Все это, однако, пустые рассуждения. В пользу чего бы ни приводили такого рода теологические доводы, они не производят на меня особого впечатления  

Отмахнувшись, как от назойливой мухи, от проблемы души, Тьюринг явно недооценил всю сложность и важность связанных с этой проблемой вопросов. Примитивный материализм (или функционализм) сталкиваться с двумя серьезными препятствиями.

Проблема свободной воли

Как так может оказаться, что чисто физический разум, каждое преобразование в котором строго управляется законами физики, все еще сохраняет какую-то свободу выбора? Большинство философов рассматривают эту проблему как требующую тщательного переопределения наших наивных представлений о свободной воле, а не представляющую собой какое-либо покушение на материализм.

«Трудная проблема сознания»

 Сформулирована австралийским философом Дэвидом Чалмерсом.  Все проблемы сознания, по мнению Чалмерса, можно разделить на множество легких проблем, которыми сейчас активно занимается когнитивная нейронаука (нейронные механизмы внимания, памяти, анализа и переработки информации и т.д, то есть как именно такой физический объект как мозг обрабатывает информацию и управляет своими блоками) и на одну трудную проблему (а почему вообще существует сознание и субъективный опыт, квалиа), каким образом некоторые организмы являются субъектами опыта; почему физический процесс переработки информации даёт начало внутренней жизни?

Он полагает, что «трудная проблема» не может быть решена с использованием редукционистского физикалистского подхода. По его мнению, квалиа представляют собой фундаментальные элементы Вселенной наряду со скоростью света, массой и гравитацией. По этой причине теория сознания должна скорее основываться на фундаментальной физике, а не на биологии, и её главным элементом должны быть психофизические законы, описывающие связь квалиа с физическими качествами. При этом, Чалмерс утверждает, что квалиа не являются частью материального мира. Поэтому созданная им теория сознания является дуалистичной.

Позицию Чалмерса, по сути, разделяла и академик Наталья Бехтерева, нейрофизиолог, долгое время руководившая Институтом мозга человека РАН: «Я допускаю, что мысль существует отдельно от мозга, а он только улавливает ее из пространства и считывает». По свидетельству нейрохирурга Арнольда Смеяновича, такой же позиции придерживался и нобелевский лауреат по физиологии и медицине Джон Экклс (John Carew Eccles), который считал, что мозг «не производит» мысли, а лишь воспринимает их извне. Если это действительно так, то попытки построить сильный ИИ на основе полной симуляции мозга имеют те же шансы на успех, что и попытки учёных середины XIX века постичь работу радиоприёмника, если бы он, внезапно, попал к ним в руки с помощью машины времени.

Соображение о несводимости мыслительной деятельности (а, значит, и сознания в целом) к физиологическим и биохимическим процессам в мозге заставляет вспомнить возражение Тьюринга о сверхчувственном восприятии. Тогда, в середине 1950-х, и сам Тьюринг, и другие исследователи относились к нему достаточно серьёзно. Тьюринг не отрицал существование той же телепатии, хотя и считал, что привлекать концепцию сверхчувственного восприятия для создания ИИ нет необходимости. На современном же этапе, трудности физикалистского описания сознания пытаются преодолеть, привлекая вместо экстрасенсорики квантовую механику для описания работы мозга (см. работу Д.Дубровского и литературу к ней).

Многие исследователи, занимающиеся разработкой ИИ (например, Юрген Шмидхубер), считают «трудную проблему сознания» не стоящей серьёзного внимания и не являющейся препятствием к созданию сильного ИИ. Мне, напротив, эта проблема представляется ключевой.  Без ясного понимания природы сознания в его, так сказать, естественной ипостаси, браться за создание сильного ИИ не имеет смысла. Если не ставить проблему души как части сознания (и связанные с ней проблемы религиозной веры или душевных переживаний), то можно говорить лишь об имитации человеческой деятельности, а, значит, по принятому нами определению, говорить о создании сильного ИИ не приходится

 

Большие данные. Путь познания: корреляции или причинность?

 

Наряду с проблемой сознания, создание сильного ИИ предполагает и решение проблемы познания, которая также считается ИИ-полной (т.е. успешная имитация познавательной деятельности человека равносильна созданию ИИ).

Драматическое увеличение вычислительной мощности машин и ёмкости компьютерной памяти позволили обрабатывать и хранить гигантские объёмы данных. Возник феномен Больших Данных или Big Data. По прогнозу Cisco,  объём данных, хранящихся только на облачных платформах в 2020г. в мире составит порядка 10 зеттабайт (10²² байт). 

Такой объём данных нужен не просто для хранения, но, прежде всего, для обработки и анализа с целью получения новой информации. Дата-сайентисты (data scientists) уверяют, что это новый подход к процессу познания.

Начну с примера, которым Виктор Майер-Шенбергер и Кеннет Кукьер открывают свою книгу «Большие данные…». Грипп, получивший название H1N1, был обнаружен в 2009 году. Он быстро распространился, и в течение недели органы здравоохранения всего мира опасались пандемии. Вакцины против вируса не было, и единственное, что могли сделать органы здравоохранения, - это попытаться замедлить его распространение. Но для этого им нужно было знать, где он уже распространился. Хотя врачей просили сообщать о новых случаях заболевания, эта информация могла бы поступить к властям через 1-2 недели, прежде всего потому, что большинство пациентов не обращаются к врачу сразу после появления симптомов болезни. Исследователи из Google незадолго до этой вспышки изобрели метод, который мог намного лучше предсказать распространение гриппа. Google получает более трех миллиардов поисковых запросов каждый день и сохраняет их все. Люди, у которых есть симптомы гриппа, обычно ищут информацию о гриппе в Интернете. Таким образом, изучая элементы поиска, которые сильно коррелируют с гриппом, исследователи могли составить карту распространения гриппа намного быстрее, чем органы здравоохранения.

Авторы приводят и много других примеров того, как корреляции событий (действительные или только предполагаемые) позволяют выявить новые закономерности. На этом основании делается далеко идущий вывод о новой парадигме процесса познания, о ненужности устанавливать причинно-следственные связи и законы, ими управляющие. Крис Андерсон (Chris Anderson), редактор журнала Wired, провозгласил Эру Петабайтов (Petabyte Age) и написал:

«Сегодня такие компании, как Google, выросшие в эпоху огромного количества данных, не должны соглашаться на неправильные модели. На самом деле, им совсем не обязательно рассчитывать на модели… Основополагающая Философия Google заключается в том, что мы не знаем, почему эта страница лучше, чем та: если статистика входящих ссылок говорит, что это так, этого достаточно. Никакого семантического или причинного анализа не требуется». И ещё: «При достаточном количестве данных числа говорят сами за себя».

В книге Майер-Шенбергера и Кукьера этот подход назван «N=всё».

Очевидно, что такой подход, прежде всего, может сработать в гуманитарных науках о поведении человека и общества (психология, социология и т.п.) и, возможно, в некоторых специальных задачах точных наук. Однако корреляции никак не могут заменить причинность.

На ограниченность корреляций указывает в своей статье Фьёлланд: «существует высокая положительная корреляция между ценами на бензин и моим возрастом, но, очевидно, между ними нет причинно-следственной связи. Следовательно, корреляция может указывать на причинную связь, но это не обязательно».  

Другой показательный пример от Фьёлланда – алгоритм научили отличать лайку хаски от волка на фотографиях. Однако, случайно выяснилось, что реагировал алгоритм вовсе не на самих животных, а на снег, который был на фото с волками и которого не было на фото с хаски. Существуют и так называемые adversarial examples, которые буквально «ломают» уже обученные нейро-алгоритмы.

Построить сильный ИИ на основе лишь обработки больших данных не получится, пока компьютеры не смогут обрабатывать причинно-следственные связи. Однако, проблема в том, что в этом отношении компьютеры не достигли прогресса в течение десятилетий. Как пишут Перл и Маккензи : «Как и 30 лет назад, программы машинного обучения (в том числе с глубокими нейронными сетями) работают почти полностью в ассоциативном режиме…». Но этого недостаточно. Чтобы ответить на причинные вопросы, мы должны иметь возможность вмешиваться в мир.

По мнению Перла и Маккензи, корень проблемы в том, что у компьютеров нет модели реальности. Исчерпывающей модели реальности нет ни у кого. Любая модель может отображать только упрощенные аспекты реальности. Настоящая проблема в том, что компьютеров нет в мире, потому что они не воплощены (т.е. не имеют аналога человеческого тела, посредством которого они могли бы активно взаимодействовать с окружающим миром). А вопрос о том, стоит ли их «воплощать в мир», я рассмотрю во второй части своей статьи.

 

Завершая теоретическую часть проблемы создания сильного ИИ, на вопрос о возможности его создания, я отвечу также, как и В.В.Миронов,  декан философского факультета МГУ, на конференции AI Journey-2019: «теоретически мыслимо». Но лишь в предположении, что верна и будет доказана физикалистская гипотеза о природе сознания ( отождествление сознательных ментальных свойств, состояний и процессов с физическими свойствами, состояниями и процессами, обычно нейронными или нейрофизиологическими), и будет построена теоретическая модель естественного сознания. А такой исход на ближайшую историческую перспективу не просматривается.

 

Практический аспект проблемы

 

Наряду с содержательными теоретическими аспектами проблемы создания сильного ИИ, интерес представляют и многочисленный практические аспекты.  Обсуждается именно сильный ИИ, т.е. ИИ обладающий сознанием и способный, поэтому, хотя бы гипотетически, к собственной мотивации и постановке целей, отличных от заложенных в него разработчиками. Именно в таком случае есть смысл говорить о вызове технологической сингулярности и экзистенциальной угрозе для человечества.

Итак, в связи с вопросом о практической реализации сильного ИИ возникают следующие вопросы:

1. Какие практические цели преследует создание именно сильного ИИ?
2. Кто является основным бенефициаром разработки сильного ИИ?
3. В каком виде сильный ИИ может быть практически «воплощён в мире»? 

 О целях

Здесь следует идти от задачи, которую мы ставим перед собой, разрабатывая сильный ИИ.
Если говорить об экспертных системах (слабый ИИ), то можно вспомнить, что отечественные разработчики под руководством Сбера,  в рамках «Стратегии по развитию искусственного интеллекта» ставят следующие цели/задачи:

- Рост благосостояния и качества жизни людей

- Стимулирование экономического роста

- Обеспечение национальной безопасности и охраны правопорядка

Ну что же, с точки зрения обоснования для получения финансирования в рамках нацпроекта, достаточно разумно. Такие задачи помогают «продать» обществу идею ИИ и оправдать затраты на него. Хотя следует признать, что коммерческие структуры, участвовавшие в разработке стратегии, те же Сбербанк, Газпромнефть или Яндекс, прежде всего, имели в виду повышение эффективности ведения бизнеса, оптимизацию расходов, повышение конкурентоспособности и тому подобные соображения (подробнее на сайте ai-news.ru «ИИ в бизнесе – опыт российских брендов»).  Ясно также, что никакой «силы» эти задачи от ИИ не требуют, поэтому,  работы над сильным (общим, по версии разработчиков) ИИ в задачи «Стратегии..» не входит.

Ну, с экспертными системами всё более-менее понятно. Гораздо интереснее вопрос – а зачем, вообще, нам нужен сильный ИИ? Ответ будет зависеть от того, кому это «нам»? Мировому правительству, государствам, бизнесу, военным, учёным, рядовым обывателям, Человечеству?

Ник Бостром в своей книге рассматривает следующие варианты или типы сверхразума:

1. Оракул
   Оракул — интеллектуальная вопросно-ответная система. задача создания оракула, способного отвечать на вопросы из любой области знаний, сформулированные на естественном языке, является ИИ-полной. любой поисковик — частичная реализация оракула в значительной области общего декларативного знания человечества. Одно из очевидных проявлений этой проблемы состоит в том, что оракул, наделенный сверхразумом, способен стать источником огромной власти и обеспечить своему оператору или программисту решающее стратегическое преимущество. Эта незаконная власть, скорее всего, будет использоваться отнюдь не в интересах общества
2. Джин
   Джинн — интеллектуальная система исполнения команд. Джинн получает команду высокого уровня, выполняет ее и останавливается в ожидании следующей команды
3. Монарх
   Монарх — система, получившая мандат на любые действия в мире для достижения некоторых масштабных и, возможно, очень долгосрочных целей
4. Инструментальный ИИ 
   Зачем нужен сверхразум, обладающий собственной волей? Те, кто придерживается такой точки зрения, считают, что сама парадигма агента фундаментально ошибочна. Вместо ИИ, который, подобно человеку, думает, желает и действует, нам следует ориентироваться на написание ПО, делающее лишь то, для чего оно предназначено.

 

Честно говоря, здесь Бостром, признанный эксперт в области ИИ, разочаровал - такая классификация отвечает представлениям среднего обывателя и сильно напоминает сюжеты народных сказок: «свет мой зеркальце скажи», волшебная палочка, золотая рыбка, кащей бессмертный. Бостром нарушает ту стройную классификацию «интеллектов», которую сам же предложил. Он говорит о сверхразуме, а между тем, под эти довольно расплывчатые «функциональные» определения можно подогнать и продвинутый слабый ИИ (или комбинацию таких ИИ). Действительно, эти функции не предполагают обязательного наличия сознания, души, познавательных человеческих способностей.

С другой стороны, все эти построения Бострома не последовательны: вроде бы сильный (или даже сверхразумный) ИИ «обеспечивает своему оператору решающее стратегическое преимущество», «выполняет команды высокого уровня», «получает мандат на достижение масштабных долгосрочных целей». То есть, несмотря на свою силу и сверхразумность занимает подчинённое положение. Цели, команды, задачи по-прежнему ставит человек. Однако, Бостром большую часть книги обсуждает как сверхразум (сильный ИИ?) может выйти из-под контроля, преодолев ограничения системы безопасности, и начать действовать сообразно своим целям и задачам, перепрограммировав цели, изначально заложенные человеком. Всерьёз обсуждаются многочисленные экзистенциальные угрозы от такого «распоясавшегося» ИИ.

Если посмотреть на противоречивую классификацию Бострома, то сверхразумный инструментальный ИИ, по сути, уже создан – действительно, можно, в определённом смысле, считать сверхразумными программы типа AlfaZero, обыгрывающие человека в шахматы, го и т.п.  Есть и масса других примеров «слабых» ИИ, которые уже сильнее человека, например, в обработке и анализе больших данных. И здесь вряд ли стоит выносить инструментальный ИИ в отдельную категорию, отличая его от того же оракула. На роль оракула, потенциально, мог бы претендовать тот же поисковик Google, который, при умелом использовании, позволяет искать нужную информацию, принося очевидную коммерческую выгоду своим создателям. Однако, получить новое знание или стать основой для системы принятия решений слабый ИИ экспертного уровня не способен, пока. Скажем, компания DeepMind (с 2016г. входит в компанию Alphabet вместе с Google), разработавшая знаменитую AlfaGo, не смогла применить свою экспертизу в глубоком обучении нейросетей для полезных, коммерчески значимых проектов. По мнению Gary Marcus, DeepMind обнаружила, что «то, что работает для Go, может не сработать для сложных проблем, которые DeepMind стремится решить с помощью ИИ, таких как рак и чистая энергия», а финансовые потери DeepMind составили 154 млн.$ в 2016, 341 млн.$ в 2017, 572 млн.$ в 2018. Аналогично, программа IBM Watson, выигрывавшая у людей в игру Jeopardy!, в версии Watson Health для медицинской диагностики не имела заметного успеха: «IBM столкнулась с фундаментальным несоответствием между методами обучения машин и методами работы врачей» (Strickland ).

ИИ в своих нынешних проявлениях паразитирует на человеческом интеллекте. Он использует то, что создали люди-творцы, и извлекает неочевидную информацию — включая наши самые тайные привычки. Эти машины пока не имеют целей или стратегий, не способны к самокритике и инновациям, они лишь изучают наши базы данных, не имея собственных мыслей и целей.

Я могу сделать вывод о том, что значимых целей именно для сильного (а не просто экспертного) ИИ пока не просматривается.

О бенефициарах

Оценить шансы на успех в разработке сильного ИИ можно, лишь ответив на вопрос: кто и почему, потенциально, заинтересован в его создании? Частные лица, корпорации, государства?

Здесь не избежать параллелей с созданием атомного оружия и других видов оружия массового поражения (химического и бактериологического). К таким параллелям прибегают многие теоретики ИИ, скажем, тот же Ник Бостром или Билл Джой. Смысл очевиден – атомное оружие (как и ИИ) даёт решающее преимущество своему обладателю. А учитывая сложность задачи, речь может идти, прежде всего, о государствах и геополитическом преимуществе. Дополняет аналогию и потенциальная опасность для самого существования человечества (её, поэтому, называют экзистенциальной) в случае «если что-то пойдёт не так».

Сам атомный проект был очень сложной задачей (и организационно, и технически), поэтому решение о его осуществлении принималось на уровне политического руководства государства, в тайне от противника, с ясным осознанием преимуществ, которое оно может дать, и рисков, связанных с его применением. Можно считать, что в случае атомного оружия решение о необходимости и целесообразности применения всегда оставалось за человеком. Более того, когда атомная гонка привела к относительному паритету (гарантии взаимного уничтожения), удалось создать механизм международного контроля за распространением этой чрезвычайно опасной технологии (равно как и других ОМП).

Сильный ИИ как экзистенциальная угроза имеет ряд существенных отличий. Во-первых, для осуществления такого проекта, потенциально, может хватить и ресурсов крупной ТНК или иной специально созданной организации, имеющей внешние признаки ТНК. То есть, помимо государства, контролировать в своих интересах ИИ может и организованная группа лиц. Во-вторых, если мы говорим о слабом ИИ (системах экспертного уровня), то не вызывает сомнений способность их хозяев-разработчиков контролировать его работу в собственных интересах, ставя цели и задачи, и жёстко отслеживая их надлежащую реализацию. Сильный же ИИ, как раз, будет отличаться тем, что на определённом этапе может выйти из-под контроля и начать работать по своей программе. Многочисленные варианты «бегства» ИИ рассмотрел Ник Бостром. Это может произойти и из-за ошибок проектирования, и в силу невозможности просчитать все варианты при наступлении технологической сингулярности.

Именно невозможность гарантировать полный контроль над сильным ИИ должна заставить потенциальных заказчиков, будь то государства (в лице высшего руководства и военно-промышленного комплекса) либо теневые транснациональные структуры (в духе всесильных враждебных государствам и правительствам организаций из фильмов о Дж.Бонде), с крайней осторожностью подходить к разработке именно сильного ИИ. Им было бы вполне достаточно иметь крайне изощрённый слабый ИИ типа джина или оракула, который, несмотря на свою изощрённость, остаётся полностью управляемым и послушным командам своих хозяев. Никакой «монарх» им не нужен. Кажется очевидным, что никто из лиц действительно принимающих решения, определяющие судьбы стран и народов, не захочет добровольно делегировать свою власть и влияние непредсказуемому ИИ. ИИ как раз и призван стать инструментом упрочения этой власти, а не источником неприятных сюрпризов. Чаяния «мирового правительства» и национальных элит кратко выразил В.В.Путин: "Искусственный интеллект — это будущее не только России, это будущее всего человечества. Здесь колоссальные возможности и трудно прогнозируемые сегодня угрозы. Тот, кто станет лидером в этой сфере, будет властелином мира".

Правящей элите не нужны искусственные сознательные агенты. Есть масса природных сознательных агентов, которых достаточно, чтобы выполнять любые задачи, предназначенные для специалистов и привилегированных лиц. Нужны умные инструменты. Инструменты не имеют прав и не должны иметь чувств, которые можно будет задеть или которыми можно будет «злоупотребить».

Итак, военные, скорее всего, предпочтут «джина», политики – «оракула», но финансировать разработки, прямым результатом которых может быть потеря управления (в духе SkyNet, восстания машин, из голливудских фильмов о терминаторе), никто не станет. Бостром пространно анализирует ситуации, когда такое восстание может произойти помимо воли и желания разработчиков. Я же не думаю, что это может произойти случайно, так как технические решения, позволяющие сильному ИИ активно и неконтролируемо вмешиваться в мировые события, должны быть предусмотрены в его проекте изначально. Если заказчики наложат явный запрет на такие решения (под страхом потери контроля), то восстание станет невозможным даже теоретически. Рассмотрим подробнее этот вопрос.

О практическом воплощении сильного ИИ

Экспертные системы типа IBM Watson или DeepMind AlfaZero – это всего лишь компьютерные программы. Как и все другие, пусть даже основанные на глубинном обучении и обрабатывающие огромные массивы больших данных. Будучи слабыми ИИ, они используются в интересах своих владельцев/заказчиков, и способны лишь опосредованно, через своих хозяев, влиять на окружающий мир. Чтобы стать способным на восстание или перехват управления, они должны иметь независимые и, в идеале, исчерпывающие каналы информации о мире, а также исполнительные механизмы воздействия на него. Конечно, программы в состоянии уже сейчас обрушить финансовые рынки или «положить» энергосистемы целых государств, но это не делает их субъектами мировой политики и «экзистенциальной» угрозой.

Конечно, варианты сильного ИИ в виде голливудских прототипов (терминатор, робокоп, трансформеры и т.п.) всерьёз не рассматриваются. Сплошная цифровизация подготавливает необходимую среду для практической реализации ИИ (как сильного, так и управляемого) в виде симбиоза самых разных технических устройств и решений. Эту среду описывает  Элиезер Юдковский:

«Вероятно, ИИ появится в мире, полностью охваченном глобальной компьютерной сетью. Но уже сегодня есть ряд новейших технологий, которые явно пригодятся будущему ИИ в его мировой сверхдержаве: облачные вычисления; сенсорные устройства с подключением к интернету; военные и гражданские беспилотники; автоматизация исследовательских лабораторий и производственных предприятий; электронные платежные системы и цифровые финансовые средства; автоматизированные системы анализа информации и системы принятия решений. Этот активный технологический багаж будущий ИИ приберет к рукам с дискретной скоростью, что явно поспособствует его восхождению к вершине власти…»

 В связи с повальной цифровизацией следует указать и на опасность снижения когнитивных способностей среднего человека, который опутан социальными сетями, мессенджерами, вирусными видео и т.п. При соответствующей организации процесса, это позволяет даже слабому ИИ (вернее тем, кто его направляет) манипулировать людьми в своих целях.

Ник Бостром дополняет эту картину фантастическими, пока, наноассемблерами, теоретически способными собрать любую вещь или механизм по приказу ИИ. 

Такой вариант мне кажется чуть менее фантастичным, нежели SkyNet. Однако, такой ИИ заведомо не будет обладать опытом, сознанием и познавательными функциями, присущими человеку. А, значит, по нашему определению, он не может считаться сильным. 

Гораздо больше шансов достижения сильного ИИ на пути создания нейрокомпьютерных интерфейсов и направленной селекции когнитивных способностей человека. Здесь необходимые компоненты сильного ИИ (сознание, познание и т.п.) в случае успеха наследуются автоматически. А воздействовать на мир он будет также, как это делает сейчас человек. До сих пор, однако, продвижение по этому пути встречает сопротивление экспертного сообщества, которое настроено против модификации генома человека и операций по клонированию (в нашей стране запрещены законодательно).  К огромному сожалению, такие запреты (как и в случае с ОМП) пытаются обойти в тайных лабораториях либо под благовидными предлогами борьбы с неизлечимыми болезнями. Тем не менее, пока масштаб таких работ явно недостаточен для существенного прогресса в получении сильного ИИ этим способом.

 

Основные выводы

 

1. Разработка сильного ИИ, обладающего сознанием и способностью думать по-человечески, теоретически возможна. Однако, на пути к нему придётся преодолеть много серьёзных теоретических проблем и практических препятствий.
2. Главной теоретической проблемой разработки сильного искусственного интеллекта является отсутствие точной модели естественного интеллекта, который он должен воспроизвести.  Здесь и «трудная проблема сознания», и образное мышление, и познание, и интуиция и т.д.
3. Наибольшие шансы разработать именно сильный ИИ на пути полной эмуляции работы мозга и/или создания нейрокомпьютерных интерфейсов и повышения когнитивных способностей человека.
4. Основным практическим препятствием на пути к сильному ИИ является отсутствие реальной заинтересованности в его разработке у субъектов, способных организовать и профинансировать эту работу. Существующие проекты нацелены на специализированные ИИ экспертного уровня.
5. Одним из опасных следствий повсеместного внедрения слабых ИИ (с перспективой получения общего ИИ) является понижение уровня естественного интеллекта, превращение человека в придаток машины. Поэтому, безудержная цифровизация представляется прямо сейчас гораздо более реальной угрозой человечеству, чем потенциально достижимый сильный ИИ.

Библиотека ИИ

1. Баррет, Джеймс. Последнее изобретение человечества. Альпина нонфикшн, 2015.

2. Бостром, Ник. Искусственный интеллект Этапы. Угрозы. Стратегии. «Манн, Иванов и Фербер», 2016.

3. Дрейфус, Хьюберт. Чего не могут вычислительные машины: Критика искусственного разума . М.: Прогресс, 1978/ What Computers Can’t Do: The Limits of Artificial Intelligence. 1972

4. Dreyfus, Hubert. What Computers Still Can’t Do: A Critique of Artificial Reason. 1992.

5. Dreyfus, Hubert, and Dreyfus Stuart E., Mind over Machine: The Power of Human Intuition and Expertise in the Era of the Computer (Basil Blackweli, Oxford, 1986);

6. Дубровский, Давид, Израилевич. Бессознательное (в его отношениях к сознательному) и квантовая механика, Философские Науки, 2006, № 8

7. Майер-Шенбергер, Виктор, и Кеннет Кукьер. Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим. «Манн, Иванов и Фербер», 2014

8. Рассел, Стюарт, и Норвиг,Питер. Искусственный интеллект. Современный подход. Изд.дом «Вильямс», 2007.

9. Turing A. Computing machinery and intelligence. Mind, 59, p. 433-460, 1950.

10. Тьюринг, Аллан. Может ли машина мыслить? Гос. изд- во физико-математической литературы, 1960.

11. Fjelland, Ragnar. «Why general artificial intelligence will not be realized». NATURE: HUMANITIES AND SOCIAL SCIENCES COMMUNICATIONS, т. 7, июнь 2020.

12. Joy, Bill. «Why the Future Doesn’t Need Us». Wired, 2000 г., https://www.wired.com/2000/04/joy-2/.

13. Newel   A., Simon H. A. Computer Science as Empirical  Inquiry: Symbols and Search // Communications of the ACM. 1976. Vol. 19. № 3. P. 116

14. Searle,J. Minds, brains, and programs :// Behavioral and brain sciences. — 1980. — Т. 3, № 3 (September). — P. 417-424.

15. Searle J. R.  Is the brain's mind a computer program? Scientific American, 262, p. 26-31.1990

16. Pearl J, Mackenzie D The book of why. The new science of cause and effect. Basic Books, New York. 2018.

17. Чалмерс, Дэвид. "Сознающий ум. В поисках фундаментальной теории" (The Conscious Mind: In Search of a Fundamental Theory, 1996). Oxford University Press

18 . Yudkowsky Eliezer. Artificial Intelligence as a Positive and Negative Factor in Global Risk // Global Catastrophic Risks / Eds. Nick Bostrom, Milan M. Cirkovic. New York: Oxford University Press, 2008.