Поскольку данная статья прямо связана со множеством ранее мной написанных статьей, просто оставлю ссылку на статью здесь.
https://www.science.org/doi/10.1126/science.adt9819
Препринт: https://henryfarrell.net/wp-content/uploads/2025/03/Science-Accepted-Version.pdf
Дискуссии об искусственном интеллекте (ИИ) часто сосредоточены на вопросе, являются ли большие модели интеллектуальными автономными агентами. Некоторые исследователи и комментаторы предполагают, что мы находимся на пороге создания систем с искусственным общим интеллектом (AGI), что вызывает одновременно эйфорию и тревогу. Также ведутся обширные дискуссии о культурных и социальных последствиях больших моделей, сосредоточенные вокруг двух аспектов: непосредственного влияния этих систем в их текущем состоянии и гипотетических будущих сценариев, в которых они эволюционируют в AGI, а возможно, и в суперинтеллект. Однако такой взгляд на большие модели как на интеллектуальных агентов в корне ошибочен. Объединение идей из социальных и поведенческих наук с компьютерной наукой может помочь нам точнее понять системы ИИ. Большие модели не следует рассматривать прежде всего как интеллектуальных агентов, а скорее как новый тип культурной и социальной технологии, позволяющей людям использовать накопленные другими людьми знания.
Дискуссия об ИИ должна сосредоточиться на вызовах и возможностях, которые создают эти новые культурные и социальные технологии. Сегодня у нас есть технология, которая делает с письменной и визуальной культурой то, что рынки делают с экономикой, бюрократия — с обществом, а печать — с языком. Какие последствия нас ждут? Как и в случае с прошлыми экономическими, организационными и информационными "технологиями общего назначения", эти системы повлияют на производительность, дополняя человеческий труд, но также автоматизируя задачи, ранее выполняемые только людьми.
В то же время их культурные последствия могут быть ещё более масштабными. Мы пока не знаем, окажется ли их влияние столь же значительным, как влияние печати, рынков или бюрократии, но понимание их как культурных технологий лишь подчёркивает их трансформационный потенциал. Все эти технологии способствовали абстракции информации, что позволило проводить новые операции в больших масштабах. Все они вызывали опасения по поводу распространения дезинформации, культурной гомогенизации или фрагментации, а также изменений в распределении власти и ресурсов.
Другими словами "Я предупреждал".
Комментарии
Препринт можно открыть здесь:
https://henryfarrell.net/wp-content/uploads/2025/03/Science-Accepted-Version.pdf
Спасибо. Добавил.
А так ли всё страшно? Упрощённо, все эти модели всего лишь гигантский набор алгоритмов, физически расположенный где-то в вычислительном кластере.
Да его влияние уже сказывается. Но как он будет влиять? Если не брать глубокий поиск, виртуализацию и моделирование заданных ситуаций, то чего он такого опасного может?
Мошенничество в глобальном масштабе? Так можно отключиться.
Идет новая технологическая гонка, отстать в ней значит стать уязвимым и зависимым. Это страшнее атомного оружия, поскольку более избирательно и работает везде. Технический прогресс, наука, производительность труда, все здесь.
А страшилки про злой ИИ это да, несерьезно.
Влиять будет просто. Вся сумма накопленных технологий и культурных достижений будет постепенно запихана в ИИ. Людям станет очень комфортно жить-поживать, потребности выйдут на плато, развитие технологическое и культурное остановится. Потом каста жрецов - инженеров потихоньку вымрет и наступит идиократия.
Да хз. Я вот не знаю, какое воздействие ИИ окажет на социализацию. Но все, что мне видится, оно какое-то не слишком вдохновляющее... Появится куча людей, которым не нужны окружающие. В смысле, как общественные функции да а как люди нет. Общество отшельников. Зачем отшельнику например музыканты? Или украшения? Или общественное одобрение? Зачем ему лицо противоположного пола, ИИ выдаст все что надо и еще сверх того. Не знаю, будем посмотреть...
Да сейчас такие искуственные девахи на подходе, что еще немного и живые конкуренцию начнут проигрывать. Я тут на одной закрытой выставке был, так слегонца в шоке вообще от происходящего.
Ап чём и речь... Что может дать простое человеческое общение такого, чего не сможет дать ИИ?
Фотки есть?
Скажу свое может быть не экспертное мнение, но основанное на банальной логике и опыте.
Это будет одновременно обогащение "умами" и отупение всего населения. Радикально уменьшится число людей, которые умеют думать самостоятельно. Большинство будет основывать свои решения и заключения на основе ИИ, выдавая их за свои. Усилятся наведенные паттерны, типа моды и эта мода будет на всё, собственно что мы и видим уже сейчас в соцсетях, типа хайпа на чем угодно, вплоть до полной херни. Реклама выйдет на совершенно новый уровень одновременно с этими хайпами. Скорее всего в связи с полным отрывом населения от самостоятельного эти хайпы станут движущей силой и в политике. Для современного человека реклама будущего лет через 40 будет выглядеть как реклама для даунов, но им будет нормально. И да, большинство людей разучится думать самостоятельно. И это главная проблема. Они уже разучились, а потом будет еще хуже.
Могу рассказать, как ИИ оказал влияние на судьбу одного человека. Ирину Артемьеву выбрали Президентом EGU - Европейского геологического союза. В прошлом году отстранили от должности за связь с Китайской академией наук (CAS). Якобы консультировала создание ИИ GeoGPT, с помощью которого статьи китайских геологов забили все международные журналы. Официально за то, что она из России, а на Россию введены санкции. Она эмигрировала лет 20-30 назад.
Ну теперь то она эмигрировала в Китай ?
Не знаю. В Россию не вернулась.
Если у вас есть дети и вы хотите им благополучия , что учите их думать самостоятельно. Это значит имея базу хотябы элементарной физики и математики. Повторяю - хотя бы, а лучше нормальные знания на уровне 10 класса Советской школы. И учите думать, не учить, а понимать почему так устроен мир. Почему молекула водорода ведет себя так, а ракушка в Средиземном море совсем по другому.
Ознакомился с исходным текстом.
Впечатление - удручающее!
Со времён Ника Бострома, который уже поставил (Бостром, Ник. Искусственный интеллект Этапы. Угрозы. Стратегии. «Манн, Иванов и Фербер», 2016.) большинство из сформулированных в статье "вопросов", не произошло никакого прогресса в получении на них ответов!
Судите сами, авторы пишут:
Это лишь малая часть, действительно, серьёзных проблем, которые стоит обсуждать.
Я подробно рассматривал их в материале про "сильный" ИИ.
Проводятся конференции "обеспокоенных" учёных, публикуются открытые письма с требованием заморозить совершенствование LLM-моделей.
Но факт в том, что сколько бы "обеспокоенные" учёные не призывали к бдительности и не ставили "неудобные" вопросы, точка невозврата, похоже, пройдена.
И главный вопрос не про ИИ, а про смысл и перспективу существования человечества.
В текущих условиях попытки "поставить ИИ на службу обществу" просто смехотворны.
PS: Похоже, каждый сам за себя...
ИИ это технологический вирус, поразивший человеческую цивилизацию. Залогом его успешного распространения является гонка вооружений и безудержная тяга капиталистов к наживе. Имхо, единственный путь к обузданию этой хрени - построение коммунизма с культом человека - творца, альтернатива - потребительская идиократия
Ну, есть ещё, конечно, вариант со вторым пришествием Христа...
Я как бы чисто мирские варианты решения проблемки рассматриваю. С христианской точки зрения все путем - добро победит зло. Главное не попасть в лагерь проигравших
Есть мнение что на этот раз он не воплотится в человека, а загрузится в датацентр
Тут нет никаких вопросов. Все предельно ясно и давно уже объяснено. Текущая версия человечества прекращает свое существование. Дальнейшее существование человечества "как есть" принципиально невозможно и исключается.
Так что тут нет никаких вопросов. Все уже случилось.
Успокоили!
Не о чем переживать!
Расходимся...
Пожалуйста.
А разве ИИ может заблокировать, исказить, подчинить информационное пространство?
Пытливое человечество вновь обратится к книгам))
Откуда это человечество возьмет книги? Напишет по википедии, которую википедики пишут с использованием чатгпт, который обучался на прошлой версии википедии, которую заполняли с использование прошлой версии чатгпт и с помощью толпы украинских википедиков работавших на гранты usa id?
Библиотеки никуда не делись. Плюс просто начнет печатать новые. Да и оцифровки тоже можно уберечь от ИИ.
Вспоминаю как кто-то тут рассказывал про эти библиотеки, когда в них завозили столько соросовского книжного яда, что чтобы это всё физически там разместить - приходилось всё остальное на переработку сдавать...
Оцифровки скачиваемые в интернете тоже не панацея, тут только блок-чейном каким-нибудь можно защититься, чтобы быть уверенным, что то что ты скачал пять минут назад не подредактировали. Чтобы прикинуть как оно будет - наверное можно поискать в американских библиотеках Тома Соера и посмотреть, насколько он похож на оригинал
Ну хорошо, просто начнут печатать новые книги вплоть до самиздата.
С другой стороны, если люди будут продуктом такой деградировавшей среды, то будут ли они способны что-то стоящее писать? Сейчас много появилось аутор-тудеев и прочих самиздатов, но там уже задача найти что-то стоящее в пучине графомании. А если учесть, что ИИ тебе за один день легко напишет одним левым манипулятором очередную такую графоманию, то...
Но вообще да, те кто спохватились - уже учат детей по адаптированным "сталинским учебникам" из самиздата.
И, кстати, ну пусть ИИ начнет господствовать в культурной среде в мировом масштабе. Хорошо, захватил информационное пространство. Но ведь это прекрасная возможность проверить, а существует ли ноосфера и мир идей как самостоятельный и изолированный от ИИ источник информации.)) Будем медитировать и получать информацию .... как получали ее древние, и безо всякого ИИ))
Нужно будет придумать технологию 25 кадра для подключения к ноосфере и встроить ее в тик-ток. А если учесть что современные экранчики телефонов могут и 200 кадров в секунду давать... Можно будет развернуться как следует...
А вот когда ИИ сам доберется до ноосферы, например, через чипированных медитирующих, нам станет совсем интересно))
Древние матан сочиняли , а не медитировали для готовых знаний. Все нужно приготавливать в нашем мире, халявы из нябес божьих - нету.
Существует. Факт существования ИИ прямо это доказывает, как и доказывает существования бога. Но есть "нюанс". Все оказалось значительно сложнее наших наивных фантазий. Наши концепции ноосферы, мира идей Канта и все концепции бога, оказались опять наивными антропоморфизмами. На уровне веры в духи леса, рек и озер. Именно такой уровень, крайне далекий от реальной действительности.
До сих пор не сталкивался с появлением нового знания от ИИ. Даже в новостях с радостными гиканием в лучшем случае пишут о том, что ИИ успешно решил задачу по обработке большого объема информации, но не спродуцировал новые знания.
Помню позицию автора о том, что не так страшен AI, как AGI. Ну так он пока что-то не просматривается в том концептуальном виде, как он описан. Даже "рассуждающие" модели пока не продвинулись дальше того, чтобы задать сам себе вопрос "а не чушь ли я написал". Это уже хорошо и мощно, но до полноценного разума несколько далековато.
И да, понятие технологической или цивилизационной сингулярности - само по себе противоречит эволюционной модели мироздания. Переход на новый уровень - возможен и реален, а вот коллапс вряд ли. Коллапс это всегда результат внешнего фактора, т.е. в планетарном масштабе - явлений космического порядка. Добиться коллапса внутренними факторами в сложной диссипативной системе невозможно.
Сингулярность не противоречит эволюции. Вообще сам этот термин применяется "по аналогии" в том смысле что после некоторой точки невозможно предсказать траекторию эволюции.
В таком виде - безусловно можно принять. Как точку обнуления прогнозов.
Не верно понимаете. Много раз и подробно объяснял, что это не существенно и все уже произошло. Есть вещи и процесс сложнее AGI, и объективные законы которым будет подчиняться даже AGI или ASI который мы не можем вообразить.
Нисколько. Под технологической понимается тот самый момент когда развитие технологий выходят из под контроля человечества. Это был тот самый момент. И он уже миновал.
Легко! В этом весь смысл! Все сложные диссипативные системы всегда эволюционируют. Самом время существование есть движущая сила эволюции системы.
А еще я помню, что Вы любите даже не спорить, а стоять на своем мнении, независимо от фактов и мнений, которые высказывает собеседник. :)
Основная проблема Вашей концепции мира в том, что Вы, как большинство техногиков, игнорируете факты объективной реальности. В данном случае, по отношению к диссипативной системе человечества, Вы игнорируете объем энергии, который необходим человечеству, чтобы превратить эту энергию в информацию. Игнорируете низкую энергоэффективность подобных моделей в исполнении ИИ. Если я не ошибаюсь, сейчас искусственный интеллект тратит в сотни раз больше энергии на выполнение тех же операций, что и человеческий мозг.
Само понятие технологической сингулярности, игнорирует ограничивающие факторы внешней среды, катастрофические факторы эволюционного процесса. ИИ банально ограничен объемом доступной ему энергии. Тогда, как человечество, через биологические механизмы, имеет гораздо более широкий доступ к солнечной энергии в принципе.
Так что я скорее склоняюсь к тому, что при приближении к технологической сингулярности произойдет фазовый переход. И это будет фазовый переход для человечества, но не для ИИ.
И вы снова меня неверно поняли. На самом деле, я раз за разом объясняю про человечество и общество, а совсем не про ИИ. Технология ИИ просто продемонстрировала нам чем мы на самом деле являемся. И доказало существование законов природы которым в равной степени подчиняемся мы и ИИ. Включая все теоретические возможные варианты ИИ. Как и подсказывает, что есть силы гораздо более серьезные чем гипотетический сверх-ИИ.
И как выясняется вопрос совсем не в ИИ, а в том что саморегулирующаяся диссипативная система человечества переживает очередную трансформацию. И это никак не результат "внешнего воздействия". Поскольку это воздействие еще не наступило. А результат сложной саморегуляции сложной диссипативной системы человечества. Но происходящее для нас это новый этап когнитивной эволюции, как дальнейшее развитие механизма саморегуляции сложной системы. И для нас это выглядит как ретропричинность.
Но все это тоже самое что технологическая сингулярность и цивилизационный коллапс. Когда прежняя версия человечества прекращает существование. Потому что нет такого будущего где нынешняя версия человечества может существовать.
Так что вопрос совсем не в ИИ. Само появление технологии ИИ это только следствие. Эмерджентность технологического развития. Но это меняет все. И сносит все исторические формации. Меняет культуру. Меняет антропологию.
И человечество не паровоз. И про современную экономику и социально-экономические отношения уже объяснял на примере "паровоза":
Вот и вы когда говорите про человечество как диссипативную систему, прежде всего уравниваете человечество и паровоз.