Как LLM и человеческий мозг обрабатывают язык

Аватар пользователя Tegucigalpa

У Google вышло очень занятное исследование: они сравнили, как LLM и человеческий мозг обрабатывают язык

В качестве LM взяли Whisper, а нейронную активность человека записывали с помощью интракраниальных электродов во время спонтанных разговоров. Затем векторы эмбеддингов модельки наложили на векторы паттернов мозга и оценили линейную зависимость. Вот что получилось:

➖ Соответствие удивительно четкое и геометрия эмбеддингов в LLM (то есть отношения между словами в embedding-пространстве) соотносится с представлениями в мозге.

➖ Во время слушания Speech-эмбеддинги явно коррелируют с активностью в слуховой коре (верхняя височная извилина), затем language-эмбеддинги коррелируют с активностью в зоне Брока (нижняя лобная извилина).

➖ Во время говорения – наоборот. Language-эмбеддинги сначала "активируются" в зоне Брока (планирование высказывания), затем speech-эмбеддинги активируются в моторной коре (непосредственно говорение), и в конце снова в слуховой коре при восприятии собственной речи.

Это удивительно, потому что технически мозг и LLM используют разные подходы. Да, и там и там нейроны, но в науке принято считать, что мозг "использует" символьный подход, то есть полагается на четкие семанические структуры, синтаксис и иерархию слов. В модельках такого нет, они понимают язык статистически.

И все-таки получается, что обычный next token prediction оказывается очень похож на реальный нейронный код, и мы неожиданно близко подобрались к моделированию мозга.

Авторство: 
Копия чужих материалов

Комментарии

Аватар пользователя shepgot
shepgot(3 года 4 месяца)

Вы сами не замечаете, как переводите тему с мышления на непонятно что, но у меня фраза про правила была не самоцелью, а для иллюстрации.

Ладно, пусть будет собака, тогда вопрос: по-вашему, собака мыслит? "Легко научив" играть собаку в футбол, дальше, видимо, можно ожидать от нее планирования своих игровых действий, пассов мяча другим игрокам, забивания пенальти и т.д.? Или нет?

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

тогда вопрос: по-вашему, собака мыслит?

по-моему (по-моему) ответ да, собака способна мыслить

однако с т.з. науки ответа пока нет, пока даже нет определений, что такое "мышление", что такое "сознание", что такое "разум", в науке есть "brain", но нет "mind", никто не может сказать что такое "mind", есть ли он у собаки, есть ли он у богомола

то есть наука такой вопрос ставит, но ответа пока дать не может, поэтому:

переводите тему с мышления на непонятно что

не удивительно, мышление это и есть "непонятно что"

можно ожидать от нее планирования своих игровых действий, пассов мяча другим игрокам, забивания пенальти и т.д.? Или нет?

ожидать можно, но в меру её собачьих умственных способностей, например пытливые учёные выяснили, что собаки могут считать до 20 (если я правильно путаю), поэтому можно ожидать, что собака может научиться решать примеры типа 5+7, но ожидать знание таблицы умножения мы от неё не можем, у неё столько мозгов нет просто

ну либо, если у вас есть свободное время, ну хотя бы тысячу лет, можно думаю поставить более масштабные и интересные эксперименты над собаками, вывести породу футбол-терьеров например и например посмотреть, может собаки сами как-то адаптируют футбольные правила под свои собачьи реалии?

Аватар пользователя shepgot
shepgot(3 года 4 месяца)

мышление это и есть "непонятно что"

А по-моему, с мышлением как раз все более-менее понятно. Это способность планирования действий без самих действий. В этом, думаю, и отличие человека от животных. Животные реактивны: поступил сигнал (внешний или внутренний - позыв голодного желудка, боль, звук, запах, приказ хозяина и т.д.) и его мозг начинает решать, каким действием на сигнал ответить. Нет сигналов, животное бездействует. Мышление человека активно - оно работает постоянно. Реакция на сигналы у человека тоже никуда не делась, но есть способность создавать внутренний (виртуальный) полигон, на котором человек производит виртуальные же действия, не выводя их вовне.

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

А по-моему, с мышлением как раз все более-менее понятно.

да всем более-менее понятно, но когда "все" собираются вместе, чтобы наконец то дать общее для всех определение, то оказывается, что никакой твёрдой почвы под ногами нет, только лишь смутные чувства в головах собравшихся академиков

ничего не поделать, но именно так обстоят дела на сегодняшний день

Животные реактивны: поступил сигнал (внешний или внутренний - позыв голодного желудка, боль, звук, запах, приказ хозяина и т.д.) и его мозг начинает решать, каким действием на сигнал ответить. Нет сигналов, животное бездействует.

ну я же не просто так предложил собаку, играющую в футбол: "игра абстрактна, не связана ни с выживанием ни с размножением"

собаки любят играть, если им "поступил сигнал о голоде, боли или команда хозяина", то тут как бы не до игры, да?

и когда "нет сигналов", то собака не "бездействует", как выключенный пылесос, наоборот она будет играть, ну или отдыхать, если например нет настроения или нет мячика

Мышление человека активно - оно работает постоянно.

постоянно 24/7 работает мозг, причём что у человека, что у собаки, а вот "мышление" не работает постоянно это совершенно точно установлено, банально по энергозатратам не получается, большую часть времени человек действует  как раз на подсознании, в то время как "мышление", "разум" скорее связаны с сознанием, чем с подсознательным

но есть способность создавать внутренний (виртуальный) полигон, на котором человек производит виртуальные же действия, не выводя их вовне.

посмотрите на то, как кошка готовится к сложному прыжку, она тоже сначала моделирует прыжок на "внутреннем полигоне", так что способность "производит виртуальные же действия, не выводя их вовне" никак не тянет на чисто человеческую отличительную характеристику

люди просто решают когнитивные задачи лучше, чем например собаки, но что такого может делать человек, чего собака не умеет делать совсем? варить борщ? но даже ворона умеет размачивать сухари в луже, по вкусу это конечно не борщ, но функционально это тот же борщ правда в разрешении 80x60 вместо 4K у человека

тогда что?

Аватар пользователя shepgot
shepgot(3 года 4 месяца)

ну я же не просто так предложил собаку, играющую в футбол: "игра абстрактна, не связана ни с выживанием ни с размножением"

Хорошо. Давайте возьмем такое хобби, как выращивание кактусов. Оно не связано ни с выживанием, ни с размножением. И что получается? Разве выращивание кактусов - абстрактное занятие? Нет, вполне житейское.

Футбол также ни разу не абстрактен. Надо затолкать материальный мячик в материальные ворота, всё! Где здесь хотя бы намек на абстракцию? Его нет. Поэтому такая игра на минималках доступна и собакам, и мышам.

когда "нет сигналов", то собака не "бездействует", как выключенный пылесос, наоборот она будет играть

Активная физическая игра это не про мышление, это реализация физических возможностей организма, его потенциала. Есть у организма нос, он испытывает потребность нюхать, есть глаза - потребность высматривать, есть ноги - потребность бегать... Если животное социальное, то сюда добавляется конкурентные отношения. Футбол все эти потребности реализует в комплексе. Мяч это добыча, которую надо отнять у соперников и спрятать в выкопанную ямку затолкать в ворота. Где здесь мышление? Достаточно правильно подобранных активаций инстинктов, чем и занимаются дрессировщики, давая те или иные стимулы и поощрения. (Ну вот честно, они же не сидят на лавочке и не объясняют собаке устно правила игры, они ее натаскивают физическими действиями)

собака не "бездействует" ... она будет отдыхать

Отдых и есть бездействие, это должно было быть понятно.

посмотрите на то, как кошка готовится к сложному прыжку, она тоже сначала моделирует прыжок на "внутреннем полигоне"

Это реализация ее врожденных инстинктов, она такой родилась, чтобы уметь прыгать и не промахиваться. Мышления здесь также нет, прыжок это врожденное умение, а не самостоятельно придуманный кошкой тип действия.

Пауки плетут паутину сложнейшей конструкции на самых разных опорах, муравьи создают свои муравьиные мегаполисы с вариативно меняющимися ходами и камерами. Это не паучино-муравьиное мышление, это сложные, но врожденные умения, которые выработывались миллионы лет.

люди просто решают когнитивные задачи лучше, чем например собаки, но что такого может делать человек, чего собака не умеет делать совсем?

Люди не просто решают когнитивные задачи лучше, они способны решать принципиально другие задачи. Они  умеют оперировать символами. И вот символы это уже абстракции. Попробуйте объяснить собаке, что такое сфера. Покажете мяч? Мяч это мяч, это материальный вариант сферы, но не сфера. Как вы эту тонкость объясните собаке?

Человеку объяснить это просто - через другие символы, роль которых играют слова. В словах закодированы абстракции, объяснить которые можно только выучив много слов и способов их сопряжения между собой, тем самым освоив символический способ мышления, недоступный животным.

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

они способны решать принципиально другие задачи

вот именно это и есть центральный вопрос, на который ответа нет (пока, в всяком случае): есть ли такие задачи или нет?

Они  умеют оперировать символами.

собака вполне может выполнять команды, подаваемые с помощью минимальных жестов, чем жесты не символы?

например я показываю собаке фигу, а она приносит мячик, где фига и где мячик? связь чисто символическая

Попробуйте объяснить собаке, что такое сфера.

попробуйте то же самое объяснить трёх-летнему человеку (емним собачий ум где-то примерно этому возрасту соответствует) или трёх-летний человек это не человек?

можете попробовать объяснить что такое сфера 30-летнему крепостному мужику XVII века, думаете сможете? что, выходит он тоже не человек?

Человеку объяснить это просто - через другие символы, роль которых играют слова.

ответ не верный, человеку невозможно ничего объяснить, вы можете:

-- указать на что-то, что ему уже известно: "мне батон и полбутылки чёрного", тут есть известные батон и "оговорка по фрейду" на счёт полбутылки;

-- собрать новую комбинацию что-то из уже известного: "вставь в электродрель пропеллер и будет у тебя вентилятор";

-- побудить человека через практику (и больше никак) самому развить его личную модель мира, например добавив в неё понятие "сфера".

по последнему пункту можете вспомнить школьные годы: много вы видели случаев, когда школьник понимал что-то новое  через определение? вспомните, сначала всегда идёт некая побудительная часть, потом определение, потом примеры, потом домашние задание, потом вызывают к доске, потом контрольная и только через какое-то время практики в голове школьника складывается новое знание, новое расширение в его личной модели мира

а многие так и заканчивают школу с такой моделью, где на месте синуса-косинуса "записано" только глупое хихиканье и гордое "мне это в жизни не пригодится", попробуйте такому человеку (или это не человек?) объяснить что такое синус, ничего не выйдет, потому что ему лень заниматься "практикой синуса" и все ваши объяснения уйдут как песок сквозь пальцы

и к чему мы приходим? мы приходим к тому, что большой, мощный, развитый мозг может оперировать с большой развитой моделью мира, а маленький скромный умишко может оперировать с ограниченной, скромной моделькой мирка

но и большой трактор и ребёнок в детской лопаткой принципиально ничем  не отличаются с точки зрения вспашки поля

есть ещё идеи, чем человек (как вид) принципиально отличается от других видов?

Аватар пользователя shepgot
shepgot(3 года 4 месяца)

собака вполне может выполнять команды, подаваемые с помощью минимальных жестов, чем жесты не символы?

Жесты здесь это обычные физические знаки, метки, прямо и однозначно связаннные с будущим действием - триггеры для запуска условного рефлекса. Показал фигу - собака принесла мяч, свистнул - собака гавкнула. Здесь нет акта мышления, это обычные пары стимул-реакция. 

Вот если вы покажете серию фиг в режиме азбуки Морзе, давая задание принести тапочки, хотя этого номера вы с собакой не разучивали, здесь без мышления уже не обойтись, но собака такое уже не осилит.

попробуйте то же самое объяснить трёх-летнему человеку (емним собачий ум где-то примерно этому возрасту соответствует) или трёх-летний человек это не человек?

можете попробовать объяснить что такое сфера 30-летнему крепостному мужику XVII века, думаете сможете? что, выходит он тоже не человек?

Это необученные люди. Абстрактное мышление - это потенциальная способность, а не врожденное умение. Человека можно обучить сначала бытовой речи, затем абстрактным понятиям - и он поймет, что такое сфера.

ответ не верный, человеку невозможно ничего объяснить

Опять: чтобы человеку что-то объяснить, его можно учить и научить. Научить понимать то, что он до этого не понимал. Это реализация потенциала мышления. 

Да, не всякого научишь всякому - да, способности и потенциал у всех разные, но бракованные изделия бывают при любом производстве, не надо делать на их примере вывод, что брак это норма.

есть ещё идеи, чем человек (как вид) принципиально отличается от других видов?

Нельзя убедить человека в том, в чем он упрямо отказывается убеждаться. Да и надо ли?

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

Да, не всякого научишь всякому - да, способности и потенциал у всех разные,

от, золотые слова! :-)

потенциалы у собаки и у человека разные, но и там и там это одно и то же электричество, просто у собаки маленькое, а у человека большое, как вы сами и отмечаете.

Здесь нет акта мышления, это обычные пары стимул-реакция. 

хорошо, предположим так, а с чего вы решили, у вас есть что-то большее? что вы устроены как-то сложнее, чем стимул-реакция? об этом написаны тонны романтической литературы, а вот с диссертациями что-то не задалось...

Вот если вы покажете серию фиг в режиме азбуки Морзе, давая задание принести тапочки, хотя этого номера вы с собакой не разучивали

азбука Морзе для собаки слишком сложная, она ей не по силам, но собака вполне может знать несколько десятков слов и в пределах этого "разговорника" понимать, что от неё хотят

а горилл например обучают языку жестов, с гориллой вполне можно поддерживать беседу, с ней можно смотреть фильмы и потом обсуждать их... на уровне гориллы естественно, а не киноведа

я вам ещё раз говорю, вы не со мной спорите, вы пытаетесь опровергнуть текущий уровень научного знания в этой области, опираясь на мифическое "мышление", которого просто нет, как только вы дадите определение того, что такое "разум"  и как он "мыслит", то это будет гига-прорыв в науке и ваше имя впишут редкоземельными буквами в историю человечества

Опять: чтобы человеку что-то объяснить, его можно учить и научить. Научить понимать то, что он до этого не понимал. Это реализация потенциала мышления. 

да с чего вы это взяли? ни объяснить ни научить ничему не возможно, можно только побудить к практике чего-либо, то ли личным примером, то ли кнутом, то ли пряником, то ли любопытством, но только лишь побудить, дальше человек (или собака, в этом разницы нет) практикуя [например] умножение может изменить свою внутреннюю модель мира, так, что бы там появилось умножение

никаким другим способом внутреннюю модель изменить нельзя, вы можете влиять на поведение, бесить, хвалить, пугать и т.п., но вести себя будет человек (или собака) строго в рамках своей внутренней модели

и вот в этом между нами нет разницы, и собачий и человечий мозг принципиально устроены одинаково

но бракованные изделия бывают при любом производстве

ну вы по факту договорились до теории унтерменшей и уберменшей, которая как раз и постулирует наличие некого принципиального отличия  между людьми первого сорта и людьми второго сорта (бракованными экземплярами)

Человека можно обучить сначала бытовой речи, затем абстрактным понятиям - и он поймет, что такое сфера.

а пока его не обучили он кто? человек, недо-человек, полу-человек? а если он не хочет понимать, что такое сфера?

вы можете себе представить такое абстрактное понятие, как шестимерный куб? если не можете, дак что же вы от собаки требуете понять что такое сфера? это ей не по силам, так же как вам не по силам шестимерный куб

и в чём же тогда принципиальная разница, где тут инаковость человека?

Нельзя убедить человека в том, в чем он упрямо отказывается убеждаться. Да и надо ли?

о чём я кстати вам и толкую уже который раз -- никого ни в чём убедить невозможно, просто потому что тупо голова устроена не так, как вы себе думаете

Аватар пользователя shepgot
shepgot(3 года 4 месяца)

вы можете себе представить такое абстрактное понятие, как шестимерный куб?

Так о том и речь. Человеку не обязательно представлять, воображать себе шестимерный куб для того, чтобы уметь разбираться с его свойствами. Понимаете или все равно нет? Вы говорите об образном (конкретном) мышлении, которое есть у человека и (возможно) у некоторых животных. 

А я вам всю дорогу говорю о другом мышлении, абстрактном, мышлении без необходимости представлять понятие как физический объект, эмоцию, чувство или отношения между всем этим. То есть абстрактное мышление это мышление о несуществующем в наглядном виде. Человек так может, животное нет. Вы можете нарисовать в виде образа "мораль", "бессознательное", "совесть", "науку", "бесконечно малую величину"? Беретесь объяснить эти понятия "собаке, считающей до 20"?

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

Вы можете нарисовать в виде образа "мораль", "бессознательное", "совесть", "науку", "бесконечно малую величину"

нарисовать? в виде образа? ну вам и самому понятно, что ни рисунка ни образа например для понятия "мораль" нет, то есть вы мне [снова и о5] как бы предлагаете что-то самому додумать из каких-то "общечеловеческих" соображений, я вынужден вам в очередной раз отказать, ибо это не научное "понимающее подмигивание"

давайте вы сформулируете свою вот эту свою мысль предельно конкретно, как можно ближе к реальному положению дел в реальных мозгах и вот тогда у нас появятся общие точки во взглядах

Беретесь объяснить эти понятия "собаке, считающей до 20"?

я уже устал вам объяснять, что ничего никому объяснить невозможно

что само по себе довольно иронично

Аватар пользователя shepgot
shepgot(3 года 4 месяца)

Все уже предельно разжевано. Осталось только взять и понять. Почему это у вас не получается, мне неведомо. Вижу одну причину - установку на непонимание. Попробуйте эту установку себе отменить (кроме вас это никто не сделает) и посмотреть на данные вам объяснения непредвзято.

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

Все уже предельно разжевано. Осталось только взять и понять. Почему это у вас не получается, мне неведомо.

Зато мне ведомо, почему вы не пытаетесь найти контр-аргументы к моим, а вместо этого просто повторяете на разный лад свои.

В моей модели ваше поведение учтено и имеет практически полезное и практически применимое объяснение, а в вашей только смешная "установка на непонимание", хотя там понимать то нечего по сути, один единственный тезис, который вы не можете обосновать, причём я вам несколько раз писал, что его вообще никто обосновать не может.

на данные вам объяснения непредвзято.

а чём и речь, именно что непредвзято, то есть либо вы даёте определение "мышлению" и "разуму", либо перечитайте мои аргументы  непредвзято, с учётом того, что вы не знаете, что ни что такое мышление, ни что такое разум

Аватар пользователя DjSens
DjSens(6 лет 8 месяцев)

И там и там нейроны, принцип работы одинаковый.    Программисты скопировали принцип работы человеческого мозга.

Аватар пользователя Tegucigalpa
Tegucigalpa(1 год 1 месяц)

Тут еще дело в том, что специально это никто не копировал.
Да и как оно в мозгу на самом деле все работает, тут лес темный.

Аватар пользователя Ден_Боб
Ден_Боб(4 года 8 месяцев)

а вот это верно

Аватар пользователя DjSens
DjSens(6 лет 8 месяцев)

Всё там изучено.  Нейроны, связи между ними.  Больше в мозгу ничего нет.

Аватар пользователя mr.Midas
mr.Midas(7 лет 8 месяцев)

Да ладно!smile8.gif Знаете что такое тест телевизора? Это который Карлсон Малышу задал. Можете привести признак который однозначно дает ответ о природе нашего разума? Наш мозг это телеприемник или источник? И как француз с гидроцефалией 90% мозга может не просто существовать а вести полноценную жизнь со своей семьей и ходить на работу. Боюсь быть оптимистичным, но мы изучили дай бог если треть.

Аватар пользователя DjSens
DjSens(6 лет 8 месяцев)

Учитывая, что число нейронов в chatgpt 3.5 во много раз меньше чем число нейронов здорового мозга,  становится понятно что человеку и 10% мозга хватает чтоб жить как нормальный человек 

Аватар пользователя Tegucigalpa
Tegucigalpa(1 год 1 месяц)

Казалось бы...(мне даже мысль сейчас оформить сложно будет, потому что я до конца не знаю и никто не знает, так что не судите строго).
Я лично считаю что там работает некая очень высокая и крайне сложная система зарядовых балансов свойственных материи и энергии. Крайне сложная математика которая работает на предрасположенности вещества к созданию таких структур . Т.е. сама суть вещества и энергии неизбежно приводит к появлению именно таких структур и именно таких их способов взаимодействия.(сказано много и ничего, ага).
Нейроны и связи и ничего кроме этого. Это чертов факт! А вот что есть суть нейроны и связи, вот тут начинается самое интересное...
Можем ли мы говорить что понимаем работу нейрона, если не знаем до конца из чего состоит атом и все его запчасти, которые как вы знаете все открываются новые и открываются. Понятна ли до конца суть заряда и электричества? Ну нет же?

И наконец "Животных на планете всего около 7,8 млн. видов", всего за историю вроде ~2 миллиарда было. ВИДОВ.
Почему только один стал разумным? С точки зрения эволюции это баг, а не фича. И мы самая настоящая аномалия

Аватар пользователя DjSens
DjSens(6 лет 8 месяцев)

Первые - не значит единственные.   Убери людей - может ещё кто эволюционирует, медведи например 

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

Всё там изучено.  Нейроны, связи между ними.

ну да, а процессор это транзисторы и связи между ними, проще некуда, ага

Больше в мозгу ничего нет.

ответ не верный, причём уже в 1920-x годах он был не верный, даже Нобелевскую премию приcудили за "лишние запчасти", которые ещё есть кроме "нейронов и связей"

Аватар пользователя DjSens
DjSens(6 лет 8 месяцев)

где пруфы, билли ?

и почему искусственные нейросети работают так же без лишних сущностей ?   например обрабатывающие изображения 

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

где пруфы, билли ?

вот прямо пруфы... ну вот вам пруф

Otto Loewi

Аватар пользователя DjSens
DjSens(6 лет 8 месяцев)

там ничего нет про МОЗГ,  про работу нейронов, про связи между нейронами (по которым, кстати передаются ЭЛЕКТРИЧЕСКИЕ ИМПУЛЬСЫ).

В статье обсуждается открытие химической передачи нервного импульса. Основные моменты:

  1. До 1921 года было неизвестно, как именно нервная стимуляция влияет на работу эффекторных органов.

  2. В 1921 году автор доказал, что при стимуляции нервов в сердце лягушки выделяются вещества, которые попадают в сердечную жидкость и вызывают реакцию в тестовом сердце, аналогичную стимуляции соответствующих нервов.

  3. Было установлено, что нервы действуют не напрямую на сердце, а через выделение химических веществ (ацетилхолина и адреналина).

  4. Этот механизм получил название "химическая передача" нервного импульса.

  5. Исследования показали, что этот механизм характерен не только для сердца, но и для других органов и систем:

  • В парасимпатической системе основным передатчиком является ацетилхолин
  • В симпатической системе - адреналин
  1. Автор подробно описывает механизмы действия этих веществ, их локализацию в нервных окончаниях и процесс высвобождения при стимуляции.

  2. Открытие химической передачи нервного импульса дало ответ на давний вопрос о природе передачи сигнала от нерва к эффекторному органу и позволило лучше понять механизмы ингибирования и активации функций органов.

  3. Подчеркивается, что это открытие показало специфическое химическое влияние нервной системы на процессы в организме, что является важным шагом в понимании работы нервной системы и ее взаимодействия с другими органами.

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

про связи между нейронами (по которым, кстати передаются ЭЛЕКТРИЧЕСКИЕ ИМПУЛЬСЫ).

В статье обсуждается открытие химической передачи нервного импульса.

верно, всё именно так

теперь сравним ваше заявление: "в мозгу есть только нейроны + связи" (связи явно подразумевались электрические)

с полной картиной на 1920-е годы: "в мозгу есть нейроны + связи (электрические) + химия" и все они вместе участвуют в работе мозга

Этот механизм получил название "химическая передача" нервного импульса.

вы год видели? открытие сделано в 1922 году, "пруф", который вы просили это лекция при вручении премии в 1936г

сегодня на дворе 2025г с за прошедшие 100 (прописью: сто) лет по данной теме проведены тысячи исследований, получена не одна Нобелевская премия, а за последние 20 лет сделано ещё на порядки больше, чем за предыдущие 80

например: как организована долговременная память? как возможен процесс потеря памяти -> восстановление памяти, например при травмах (ранениях) головы с утратой части коры? как передаются (а они передаются) сигналы между нейронами на большие (сантиметры) линейные расстояния? ну итд 

без химии на эти вопросы ответов нет (не у меня нет, Академики за 100 лет их не нашли), зато с химией есть

если хотите в вопросе разобраться глубже, то теперь вы знаете куда копать, но отрицать факт столетней давности, что кроме нейронов и их связей в работе мозга участвует ещё что-то... зачем?

Аватар пользователя DjSens
DjSens(6 лет 8 месяцев)

Я вникал в эту тему,ничего там больше не нашли - только нейроны (веса) и связи.

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

вы под связями вообще любые связи понимаете?

есть электрические связи, есть химические, вы про них читали и спорить тут не о чем

на основе упрощенной электрической модели построена цифровая модель нейрона, основа ИИ (взвесить, сложить, пороговая функция)

однако химические связи никак не учтены в цифровой модели ни на практике ни в теории, хотя на любой современной картинке будут обе связи -- электр. и химическая:

 

в этом "мешочке" на конце аксона находятся нейротрансмиттеры, причём разные, формируя "коктейль", который сам по себе является уникальным "сообщением", которое может быть передано, образуя таким образом  параллельные меж-нейронные связи наряду с  обычными электрическими связями

более того, это химическое "сообщение" может там оставаться в течении длительного времени, то есть это параллельная память, наряду с "синапсовой" памятью

а вы говорите "ничего нет, кроме весов"

ну вот первая же ссылка в гугле по теме: Changes in Neurotransmitter Extracellular Levels during Memory Formation

Я вникал в эту тему,ничего там больше не нашли - только нейроны (веса) и связи.

хм, в самом начале первой же книге по нейро-сетям, которую я открыл лет 20++ назад, было написано, что цифровая модель нейрона сильно упрощена по сравнению с живым оригиналом и не учитывает "химию", которая в живом нейроне присутствует, но механизм того, как она участвует в работе не ясен

Аватар пользователя DjSens
DjSens(6 лет 8 месяцев)

в нейронных сетях мозга сигналы передаются двумя основными способами — электрическим и химическим. Эти механизмы работают вместе, обеспечивая сложные процессы обработки информации.

1. Электрическая передача сигнала

Электрическая передача происходит внутри самого нейрона посредством потенциала действия (или нервного импульса). Потенциал действия генерируется за счет изменения проницаемости мембраны нейрона для ионов натрия (Na⁺) и калия (K⁺), что создает быстрое распространение электрического сигнала вдоль аксона.

  • Скорость передачи потенциала действия может варьироваться от 0,5 до 120 метров в секунду , в зависимости от наличия миелиновой оболочки и диаметра аксона.
  • Миелинизированные аксоны (покрытые изоляцией) обеспечивают более быструю передачу благодаря "скачкообразному" проведению потенциала действия (сальтаторное проведение).

2. Химическая передача сигнала

Когда сигнал достигает конца аксона (пресинаптического окончания), он передается другому нейрону через синапс . В синапсе электрический сигнал преобразуется в химический: нейромедиаторы высвобождаются в синаптическую щель и связываются с рецепторами на постсинаптической мембране следующего нейрона. Это вызывает изменение потенциала мембраны постсинаптического нейрона, что может запустить новый потенциал действия.

  • Процесс химической передачи сигнала занимает больше времени, чем электрическая передача, поскольку включает несколько этапов:
    1. Высвобождение нейромедиаторов.
    2. Диффузия нейромедиаторов через синаптическую щель.
    3. Взаимодействие нейромедиаторов с рецепторами.
    4. Генерация постсинаптического потенциала.

3. Сравнение скоростей

  • Электрическая передача сигнала внутри нейрона происходит почти мгновенно (за миллисекунды).
  • Химическая передача сигнала через синапс занимает значительно больше времени. В среднем этот процесс длится около 0,5–2 миллисекунд , но может увеличиваться до 10–20 миллисекунд в некоторых случаях (например, при сложной модуляции синаптической передачи).
Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

нейромедиаторы высвобождаются в синаптическую щель и связываются с рецепторами на постсинаптической мембране следующего нейрона.

вот, в этом месте есть пропуск: нейротрансмиттеры бывают разные, и соответственно по разному влияют на передаваемый сигнал + нейротрансмиттеры не "одноразовые", как электрический импульс, который есть, а потом его сразу нет, нейротрансмиттеры остаются в "мешочке" после прохождения импульса и могут как модулировать целую последовательность импульсов, так и напрямую работать как "ячейка памяти"

или можете сходить по ссылке, которую давал выше и прочитать там:

Currently, measuring the changes in neurotransmitter extracellular levels in discrete brain areas is considered an important tool for identifying the neuronal systems involved in specific memory processes. Several neurotransmitters including acetylcholine (ACh), glutamate, γ-amino-butyric acid (GABA), and catecholamines have been investigated in a variety of memory models, with considerable evidence of extracellular level variations that correlated with changes in neuronal activity during memory formation.

где это всё в цифровой модели нейрона, где только веса и связи?

это мы ещё не касается например таких механизмов, что можно влиять на работу всего мозга выбросом различных нейромедиаторов в кровоток

да, в химии нейронов много неясного, потому что одно дело получить осциллограмму напряжения, а другое дело получить "осциллограмму" химического состава, поэтому электрическая активность  мозга может быть исследована в динамике, а вот химическая только качественно, плюс-минус трамвайная остановка.

но я не понимаю, как можно оспаривать тот факт, что цифровая модель нейрона неполное, упрощенное представление живого оригинала и что, соответственно, в живом мозге есть ещё что-то сверх того, что учтено в цифровой модели?

ну вы же сами пишите: есть эл. передача сигнала и хим. передача сигнала и это разные сигналы, а в цифре есть только один тип сигнала и только одна скорость распространения

Аватар пользователя DjSens
DjSens(6 лет 8 месяцев)

Живому мозгу вся эта лабуда нужна чтобы постоянно обучаться и чтобы помнить.   Электронному ИИ это не требуется - его один раз обучили и всё, веса намертво прописаны на винте сервера и не меняются никогда.   Их можно только стереть и обучить ИИ полностью заново.

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

Электронному ИИ это не требуется - его один раз обучили и всё, веса намертво прописаны

отнюдь

например: нейрон или группа нейронов распознают нечто, что можно назвать "радость", выбрасывают "радостную" химию, теперь все нейроны в округе получают дополнительных входной сигнал: "мы радуемся", особенность в том, что "радуются" не только связанные нейроны, а вообще все нейронные окончания в некоторой окрестности

либо так: кору сегодня принято делить на области сильно связанных нейронов ("columns") просто потому что их видно на томографии, на вход поступает некая обстановка, некоторые columns распознают её как хорошую, другие как опасную, вырабатывают соответствующие нейротрансмиттеры, дальше химическая "волна" распространяется по коре, заставляя другие columns уже не просто взвесить-и-сравнить, а взвесить-и-сравнить в контексте в результате одни и те же [электрические] сигналы на входе одной и той же под-сети могут вырабатывать диаметрально противоположные результаты, в зависимости от химического "контекста"

нам в цифре точно не требуются такие возможности? как минимум у живого мозга стоит поучится энергосберегающим технологиям, учитывая то, сколько электричества оно сегодня жрет

Живому мозгу вся эта лабуда нужна чтобы постоянно обучаться и чтобы помнить.

а вы бы какой ИИ купили, при сопоставимой цене, тот который может обучаться и помнить или тот который нужно каждый раз стирать и обучать заново?

Аватар пользователя DjSens
DjSens(6 лет 8 месяцев)

мне нужен ИИ который обучен на отобранных проверенных текстах и которого никто не портит своими глупыми разговорами,   т.е. как раз такой, какой есть,     причём есть он бесплатно,   нафиг мне ваше барыжье "купили" ?

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

нафиг мне ваше барыжье "купили" ?

ну одно дело теоретизировать, а другое дело отдавать кровно заработанное, порой это единственный способ выяснить, что лучше сяоми или самсунг

ИИ который обучен на отобранных проверенных текстах

может быть "тестах", а не "текстах"? потому что я лично вижу ИИ в первую очередь  в головках самонаведения, в системах целеобнаружения, целераспределения и т.п.

если говорить о LLM, то там должны быть не отобранные проверенные тексты, а просто все тексты ну например по полимерам, чтобы можно было выяснить что там у нас с полимерами, рядом другая система, например со всеми значимыми соц.сетями, что бы можно было например быстро выяснить не начал ли противник какую-то компанию с дочерьми офицеров или типа того, другими словами ИИ должен быть актуальным отображением какого реального процесса, реального текущего положения вещей

а вот LLM, который обучен на отобранных проверенных текстах... в нём смысл какой? переливать из пустого в порожнее? ну журналистов, хомячков ещё можно поражать каким-нибудь особо заковыристым ответом такого ИИ... а тратить мегаваты на то что вам любой профессор за среднюю зарплату и так расскажет? дак профессор то ещё может подпись поставить, какую ответственность принять, а с ИИ какой спрос?

Аватар пользователя DjSens
DjSens(6 лет 8 месяцев)

мне помогает писать софт и в науке

Аватар пользователя Fvwm
Fvwm(13 лет 3 месяца)

как оно в мозгу на самом деле все работает, тут лес темный.

был... лет 30 назад

сегодня в этом "лесу" уверенно орудуют уже не отдельные робкие бригады "дровосеков" энтузиастов, а целые лесопромышленные управления с тяжёлой техникой, 

которые кстати делиться своими открытиями с конкурентами отнюдь не рвутся, но кое-что долетает и до широкой (в узком смысле) общественности

Аватар пользователя Brasil_Proftel
Brasil_Proftel(2 года 7 месяцев)

Товарищи:
Если бы они посмотрели несколько видеороликов о воспроизводстве человека на политически некорректных (с низкой социальной ответственностью) сайтах, возможно, они бы обнаружили что-то более точное.
Какие фразы произносят сладкая парочка в каждой культуре, когда они достигают «вершины» (или «пика»).

smile13.gifsmile7.gif

Аватар пользователя АнТюр
АнТюр(12 лет 6 месяцев)

А профессионалинье лингвисты занакомы с этой темой? Или на фашисте фасмере застряли. 

Аватар пользователя Tegucigalpa
Tegucigalpa(1 год 1 месяц)

Какое отношение лингвисты имеют к нейробилогии и большим языковым моделям?

Аватар пользователя alvl
alvl(6 лет 4 месяца)

Лингвисты имеют отношение ко всей науке, а особенно к большим ЯЗЫКОВЫМ моделям. Вся математика это по сути лингвистика в виде семиотики и изучения существования искусственного языка у естественных носителей языков )

Аватар пользователя Tegucigalpa
Tegucigalpa(1 год 1 месяц)

а ничего что эта система оперирует не словами, а наборами букв ~3штуки(1 токен) и предугадывает наиболее вероятные следующие ~3 буквы? И наметьте. Приблизительно 3

ЯЗЫКОВЫМ

Говорят в машине 100 лошадей под капотом бывает, но позвольте! там даже половина лошади не поместится)

Аватар пользователя АнТюр
АнТюр(12 лет 6 месяцев)

Та это же прямое нарушение запрета фашиста Фасмера на расчленение слов на их составные части. А лингвисты свято ему следуют.  

Аватар пользователя Vintik
Vintik(1 год 1 месяц)

И все-​таки получается, что обычный next token prediction оказывается очень похож на реальный нейронный код, и мы неожиданно близко подобрались к моделированию мозга.

Ничего похожего по сути. А имитация может внешне выглядеть похожей. 

Не может сложный набор алгоритмов и машинный  анализ самых популярных  текстов  быть действительно похожим на работу мозга.

Может быть  значительно позже нечто подобное получится. С компьютерами на других физических принципах.

Аватар пользователя Гриша Овнюк
Гриша Овнюк(1 год 10 месяцев)

Не может сложный набор алгоритмов и машинный  анализ самых популярных  текстов  быть действительно похожим на работу мозга.

А мы уже точно знаем, как работает мозг? Может он внутри себя то же самое и делает, что и LLM.

Аватар пользователя Vintik
Vintik(1 год 1 месяц)

Отсылаю вас к работам профессора Савельева. Впрочем есть другие учёные. Нейронные связи постоянно меняются. Ни один современный компьютер со всеми облаками этого не может плюс сложные понятийные  ассоциации и иносказания.

Но  в точности, думаю никто пока не знает. Савельев не бог.

Аватар пользователя Гриша Овнюк
Гриша Овнюк(1 год 10 месяцев)

Профессор Савельев часто выдаёт свои домыслы за некую истину. Да и, когда он писал свои работы, никакого LLM ещё не было. Любопытно, что он скажет сейчас, когда нейронка обойдёт его по любым тестам, хоть на логику, хоть на математику, хоть на медицину. 

Аватар пользователя Vintik
Vintik(1 год 1 месяц)

Мы же о моделировании работы мозга, а не о тестах. Да, нейронка работает быстро и грамотно. Но не всегда.

Даже я, редко к ней обращающийся, это хорошо вижу.  Нейро хороша как помощник, но скажем ссылки на материалы, приводимые ей часто  ошибочны или  тенденциозны.

Скажем по ззапросу теории Шипова- Акимова,  ответ исключительно негативный. А это, мягко говоря, обструкция  научной мысли.

Аватар пользователя Tegucigalpa
Tegucigalpa(1 год 1 месяц)

Теория Шипова-Акимова, также известная как теория торсионных полейsmile26.gif, представляет собой концепцию, разработанную российскими физиками Геннадием Шиповым и Анатолием Акимовым в 1980-х и 1990-х годах. Я расскажу о её основных положениях:

Основные идеи теории:

1. Торсионные поля - согласно теории, помимо известных фундаментальных взаимодействий (гравитационного, электромагнитного, сильного и слабого), существует пятое взаимодействие, основанное на торсионных полях (полях кручения пространства-времени).

2. Физический вакуум - теория предполагает, что физический вакуум является не пустотой, а структурированной средой с определёнными свойствами, которая может хранить и передавать информацию.

3. Информационное взаимодействие - торсионные поля, согласно этой теории, могут переносить информацию со скоростью, превышающей скорость света, и не ослабевают с расстоянием.

4. Связь с сознанием - авторы теории предполагали, что торсионные поля могут объяснить некоторые феномены сознания и якобы паранормальные явления.

Важно отметить, что научное сообщество в основном не признаёт теорию Шипова-Акимова как обоснованную научную теорию. Её основные положения не получили экспериментального подтверждения методами, признанными в современной физике, и многие аспекты теории противоречат установленным физическим законам.

Исследования, которые проводились в рамках этой теории, не были опубликованы в рецензируемых научных журналах, что является важным критерием для признания научных работ. Теория часто относится к области так называемой "альтернативной физики" или псевдонауки.

Аватар пользователя Tegucigalpa
Tegucigalpa(1 год 1 месяц)

Ничего похожего по сути. А имитация может внешне выглядеть похожей. 

Как же ничего если она оказалась невероятно похожа?
И это было уставлено в лаборатории методом считывания сигналов мозга. Т.е. прямым опытом! Прямой опыт и болтология "мне кажется" очень сильно отличаются.

Имитацию никто не делал!

Аватар пользователя Vintik
Vintik(1 год 1 месяц)

«Теория торсионных полей» Шипова и Акимова — псевдонаучная концепция, которая не признана научным сообществом. 

Критики утверждают, что ни один из заявленных эффектов воздействия торсионных полей на вещество не получил экспериментального подтверждения, а некоторые из них были экспериментально опровергнуты.  1

В 1991 году, после скандала, инициированного обвинениями в фальсификации результатов и растрате государственных средств, Комитет по науке и технологиям охарактеризовал исследования как лженаучные и антинаучные. 2"

Вот, извольте, по запросу с нейро в яндексе. Суть теории тоже изложена, но вот с такими комментариями в начале и в конце. Тенденцию не видите?

Аватар пользователя Tegucigalpa
Tegucigalpa(1 год 1 месяц)

Хорошо, я утверждаю что никаких торсионных полей нет, а есть  Космические Эманации Великого Джугурды. Они делают тоже самое что и ваши торсионные поля.  И в отличии от никем и никогда не найденных торсионных полей у моей, только что придуманной теории, есть неоспоримое преимущество. Джугурда существует.
Ваш ход!

Страницы