Когда роботы могут/должны убивать? - Дополнение к статье AY.

Аватар пользователя alexb

В психологии/этике есть классическая задача, сформулированная Филиппой Фут в 1967 году. Задача называется задачей вагонетки (trolley problem). Задача эта имеет непосредственное отношение к всеобщей роботизации и современности. Об этом позже.

1. Задача первая.

Тяжёлая неуправляемая вагонетка несётся по рельсам, тормоза отказали. Впереди пять человек привязаны к путям и их всех ждёт неминуемая смерть. Вы же стоите неподалёку, и у Вас есть возможность переключить стрелку так, чтобы вагонетка пошла по другому, запасному, пути. К несчастью, на запасном пути тоже привязан человек, но только один. Вы переключите стрелку?

(По условию задачи неизвестно, что это за люди и единственное, что можно сделать - это либо переключить стрелку и убить одного человека, но спасти пятерых, либо оставить всё как есть)

Теперь, когда Вы ответили для себя на этот вопрос, переходим дальше.

2. Задача вторая, с мостом и толстяком.

Та же вагонетка со сломанными тормозами несётся по путям. Снова пятеро привязаны к рельсам и их ждёт неминуемая смерть. Вы стоите рядом с огромным толстяком на небольшом мостике, который проходит прямо над путями. Мост находится между вагонеткой и пятью привязанными людьми, и Вы можете столкнуть толстяка на пути так, что его огромное тело остановит вагонетку, и пять человек будут спасены. Ценой жизни толстяка.

 

Станете ли Вы это делать? 

Большинство людей в первом случае говорят да, во втором - нет. Потому что в первом случае не нужно никого физически сталкивать (касаться).

Вы можете возразить, что таких ситуаций не бывает в чистом виде. Всегда есть множество дополнительных деталей, которые будут изменять картинку. На самом деле, упрощение сделано специально, дабы сосредоточиться на главном. 

3. Альтернативная формулировка. 

Альтернативная формулировка: У хирурга есть пять умирающих пациентов, которые нуждаются в пересадке органов. В больницу для рутинного осмотра приходит молодой здоровый посетитель. Осматривая его, хирург обнаруживает, что его органы подходят всем его пяти пациентам для пересадки. Дополнительное условие: никто посетителя искать не будет и врачу ничего не грозит. Что делать хирургу?

Тут даже нечего думать. Это плохо. И мы все это знаем. Сердцем.

Врачам вообще регулярно приходится сталкиваться с этим. Взять хотя бы сиамских близнецов - бывают случаи, что если их разделить, один сможет вести нормальную жизнь, но другой точно умрёт. Что делать? 

Есть бюджет на лекарства. Лекарств на всех не хватит. Кому их давать?

Нужно ли лечить сильно страдающего ребёнка очень дорогими лекарствами или лучше оставить его медленно и мучительно умирать в семье (причиняя долгие страдания всей его родне), но помочь нескольким другим вылечиться от более "дешёвых" болезней?

4. К чему это всё?  

Такие задачи возникают ежедневно. Они все об одном. Оправдывает ли цель средства её достижения?

Можно ли бомбить деревню с террористами, зная, что там есть мирные жители, пусть даже один человек (тут получается, что не специально убиваешь, а просто такой побочный эффект)?

Можно ли бомбить мирных жителей страны, с которой воюешь, чтобы сломить волю армии противника (тут это специально делается). Вспомним дрезденскую бойню. 

Как программировать роботы? Беспилотные летательные аппараты? Автомобили-беспилотники? Поезда? Эти вопросы не праздные упражнения для ума. Это то, что общество должно решить для себя в связи с наступлением эры робототехники. 

5. Какие есть решения у задачи?

Первый подход. Утилитаризм говорит: "Да, 5 жизней лучше одной". 

И второй подход: нет, жизнь имеет бесконечную ценность. 5 бесконечностей или одна - они одинаково важны. К тому же случайный свидетель в такой ситуации становится причиной смерти. Согласны ли Вы, что в похожей ситуации могут пожертвовать Вашей мамой, например. Или дочерью. Если нет, то будьте последовательны - не используйте одних ради блага других.

Решите для себя, что лучше. 

(я наткнулся на статьи об этом как раз, когда читал то, что AY описал в одной статье о свободе воле, роботах и принятии решений. Мой текст - это примерный перевод этого и этого)

Комментарии

Аватар пользователя Бумс
Бумс(12 лет 6 месяцев)

"Решите для себя, что лучше" - БОТ: постой паравоз, не стучите колеса - кондуктор, нажми на тормоза (... связанных Знаниями идиотов с рельсов, можно - УБРАТЬ)) 

Аватар пользователя alexb
alexb(12 лет 8 месяцев)

написал же специально: единственное, что можно сделать - это либо переключить стрелку и убить одного человека, но спасти пятерых, либо оставить всё как есть

Аватар пользователя Бумс
Бумс(12 лет 6 месяцев)

... так у вас трамвайчик БОТом (идиотом) управляется, не способным нажать на тормоза и убрать полудурков связанных Знаниями с рельсов - вопросов, нет: стрелочник, как всегда - пидар и в асс)))

Аватар пользователя alexb
alexb(12 лет 8 месяцев)

Вы вообще текст-то читали? я ясно написал, что тормоза неисправны. 

Аватар пользователя Бумс
Бумс(12 лет 6 месяцев)

... не знаю как на трамвае (не ездил, очень давно): на машине - не раз, и не два ездил с неисправными тормозами (по Москве)... и шланги - рвались (чё только не приключалось): вам ясно напейсано - "стрелочник, как всегда - пидар и в асс)))". 

Концовку фильма помните, как робот сделал выбор - положился на мнение ЧЕЛОВЕКА: " спасай ту дуру, которая - падает: я эту падлу (компутер) - ломиком, заглушу" - начало, напомнить... почему у человека возникла к роботу - неприязнь (мог и двух спасти, если мозх был с ПОНЯТИЯМИ))

Аватар пользователя Mikhail_T
Mikhail_T(12 лет 4 недели)

Ещё пример вы Барак Обама и вашей жене грозит смерть от руки терориста вы можете взорвать ядерную боеголовку в Нью-Йорке и спасти жену или не делать этого. Жизнь имеет бесконечную ценность. 10 миллионов бесконечностей или одна - они одинаково важны взрывайте бомбу.

Аватар пользователя Бумс
Бумс(12 лет 6 месяцев)

... Мишель то, успели спасти: как-никак один из кандидатов, в президенты страны донора территории (власти) для Идеи галахтического Израиля (США) -  http://tsniaga.livejournal.com/40068.html))

Аватар пользователя Нумминорих Кута
Типично европейский "гуманизм", вооружённые которым европейцы тысячелетиями купаются в крови сами, и тянутся своими кровавыми ручонками грабить и убивать в другие цивилизации. Жизнь человека - не бесконечна, он - часть ообщества, общественного организма, и обязан делать то, что выгоднее не ему лично самому, а обществу, частью которого он является, в целом. Интересы общества - ВСЕГДА выше, нежели интересы индивидуума.
Аватар пользователя alexb
alexb(12 лет 8 месяцев)

Это ваше мнение, с которым согласятся далеко не все. Например буддисты, которых сотни миллионов. Или последователи йоги. Вы считаете, что хирург должен убить здорового, чтобы изъять органы? 

Аватар пользователя Mikhail_T
Mikhail_T(12 лет 4 недели)

А вы считаете что Барак Обама должен сохранить жизнь своей жене ? 

Аватар пользователя alexb
alexb(12 лет 8 месяцев)

я своё мнение как автор статьи оставлю при себе. А Вы ответьте на вопрос про хирурга, пожалуйста. 

Аватар пользователя Realxupypr
Realxupypr(12 лет 8 месяцев)

Лучше я отвечу. Хирург - врач, а не убийца. И убивать кого-то для спасения еще кого-то - не его прерогатива. Хирург пересадит органы, если они у него будут. Принесенные службой доставки, или если тот один пациент сам самоубьется органосберегающим образом, завещав перед этим свои органы для пересадки. Хирург не убийца и никого убивать не станет. Если пациенты, которым нужна пересадка умрут, от того что им не досталось органов, то это будут еще пять скончавшихся от болезни, но не будет одной жертвы убийства. Важен не только сам факт гибели, но и КАК погибает человек. Не для погибшего, конечно, для оставшихся в живых.

Аватар пользователя segerist
segerist(12 лет 10 месяцев)

===
Например буддисты, которых сотни миллионов.
===

бкддизм весьма приятная гашишная регилия

сиди, получай удоволствие и всё случится само

кайф, хуле

Аватар пользователя Нумминорих Кута
Бууддизм - он ОЧЕНЬ разный, от чисто декоративной "мимикрии" местных верований под что-то из серии "мировой религии" (что встречается чаще всего), до эзотерической, в которой нет места для религии, методики работы с человеческой "душой" (не буду щас нудно пояснять условный термин).
Аватар пользователя activ
activ(12 лет 9 месяцев)

Есть такое. Особенно в Тибете практик много. Даже умирать правильно учатся.

Аватар пользователя Бумс
Бумс(12 лет 6 месяцев)

"Интересы общества (БОЛЬШИНСТВА) - ВСЕГДА выше, нежели интересы индивидуума (меньшинства)": Темнейший на "Валдае", сказал примерно следующие - "Право Большинства (НАРОДОВ), нельзя ставить под сомнение - меньшинству (броду галахтических пидерастов): это, не подлежит дискуссии (возможности - указать: пидерастам место - у, параши))".

Аватар пользователя Нумминорих Кута
Правильно сказал, в общем то. Это, кстати, те вещи, понимание и осознание которых нужно как можно скорее возвращать в общественное сознание. Это - основы.
Аватар пользователя Бумс
Бумс(12 лет 6 месяцев)

... основы есть, были и будут - у БОЛЬШИНСТВА: просто, то что вы называете "общественное сознание" (меньшинство (гондоны)) - не дают ими воспользоваться (... ровно до тех пор, пока у гондонов: есть - Авторитет))... вашему "общественному сознанию" - авторитет может дать: только государство (НАРОДЫ) - Алфёров по моему, ровно об ЭТОМ орал в СМИ (... дайте авторитет РАН - ГОНДОНАМ: чё он сделал, этот ЧИНОВНИК от науки, чтобы Я (например) ему дал - АВТОРИТЕТ (... кстати: предельный возраст нахождения на госслужбе - 65 лет... поэтому, то что пиз... ит Алфёров: конечно прикольно (мне понравилось его бенефис на "Дожде"), только выводы Я лично сделаю свои - дедушка в маразме, по политической линии гражданского галахтического общества с невъ... ебенным "общественным сознанием"  КПСС (Креативной Партии Свободы от Совести)) 

За мат: типо - извинииите))... с ним просто короче и доходчивее - получаетцо)

Аватар пользователя maestro
maestro(12 лет 10 месяцев)

Аватар пользователя skarlike
skarlike(12 лет 8 месяцев)
видео про наркошу
Аватар пользователя skarlike
skarlike(12 лет 8 месяцев)
-
Аватар пользователя nehnah
nehnah(12 лет 2 месяца)

Думай всегда, принимай решение, неси за это решение отвественность, учи детей и требуй от них поступать аналогично, тогда и не будет ТАКОЙ необходимости в выборе.

В сюжете всё перевёрнуто с ног на голову, отец не научил ребёнка ответственному отношению к своей жизни (не объяснил, где можно играть, а где нельзя, ТАБУ, и почему) ситуация привела его к этому решению, и он поступил человечно по отношению к другим людям и наказал себя за собственную недальновидность, убив ребёнка и дав наркоше шанс, выступив в роли бога... Человек не Бог, хоть и сын Бога, ему дан разум. Сила разума не используется по назначению, если вообще используется, человек ценит эмоции и пожинает плоды своей неразумности.

Принял решение (не воспитывать своего ребёнка должным образом), получи результат и не плачь. Жизнь не зла не добра, она нейтральна и справедлива. И эта справедливость неотвратима... ИМХО

Аватар пользователя Добренький
Добренький(11 лет 2 месяца)

Толерантный бред, особенно цитата в конце ролика.

"Нескладно, неладно-зато высоко и прохладно!"- Найти в ГЛУПОЙ ситуации "божественный смысл". 

Машиниста надо наказывать за езду на красный!  А "папа"- идиот, его главная божественная задача в этом мире - дать продолжение рода, а не страдать идиотизмом. В принципе таких, "пап" и продолжать не надо.

Аватар пользователя Производственник

все эти задачки предназначены для тех, кто не умеет принимать решения. И нести за них ответственность. И еще для тех, кто любит испытывать чуство вины (эти множества полностью совпадают).

Делай что должно, а там будь что будет. Бог дает задания по силам, "думать" в гипотетических ситуациях совершенно безсмысленно. Я бы сказал такому сочинителю задачек - покажи как бы ты сам это решил на деле. В реале так сказать. Потом  бы поговорили.

Аватар пользователя alexb
alexb(12 лет 8 месяцев)

Во-первых, большинство людей не умеют принимать решения. http://www.youtube.com/watch?v=IlaMpXE2uO8 

Во-вторых, дело-то в том, что нужно СНАЧАЛА решить, как программировать роботов. А не потом смотреть. Мало того, эти вопросы широко обсуждаются, допустим, в военных академиях США. 

Поэтому это неоднозначно. Вы говорите, что Бог даёт задачи по силам. А как быть тем, кто в Бога не верит? Они не станут верить и в то, что задания им даёт бог по силам. Думаю, что сотни миллионов считают, что у них жизненные "задания" не по силам.

Аватар пользователя Xupypx
Xupypx(12 лет 3 месяца)

""Во-вторых, дело-то в том, что нужно СНАЧАЛА решить, как программировать роботов.

Дык, по образу и подобию, пока лучше никто не придумал ;)

 

Аватар пользователя alexb
alexb(12 лет 8 месяцев)

В том-то и дело, что общество не определилось, как и когда поступать. Даже в этих простых примерах с вагончиком есть две диаметрально противоположных точки зрения, причём иногда решение сложно принять быстро даже образованному и умному человеку. Обе точки зрения имеют объяснения и множество сторонников. Вряд ли правильно создавать роботов, которые будут поступать по-разному в сходных ситуациях. Нужно определиться, когда и что должен делать робот. 

Аватар пользователя Xupypx
Xupypx(12 лет 3 месяца)

Ну дык, значит не мифический робот принимает решения, а общество. Нельзя переложить ответственность на бездушный автомат. У которого есть четкие првила, ну или даже формально "нечеткие".

Аватар пользователя Xupypx
Xupypx(12 лет 3 месяца)

Кстати, почему мне вспомнился цикл "Стальные пещеры" Азимова, хотя читал его 15 лет назад. Помоему, там этот вопрос и рассматривается.

Аватар пользователя baa1964
baa1964(12 лет 10 месяцев)

Вообще-то общество/природа давно уже определилось. Природой в нас заложено в первую очередь спасать детей, во-вторую самок фертильного возраста, в третью стариков, инвалидов, раненных, ну и только потом самцов. Поэтому долее будем рассматривать варианты только с самцами.

По первой картинке, если там и там на рельсах лежат самцы спасать надо как можно большее количество. Люди в общем так и поступают. Летчики тянут самолет в то место, где ущерб от падения будет минимален, водитель грузовика направляет грузовик туда, где людей меньше и т.д.

По второй картинке, толстяка надо сбрасывать даже если придется падать вместе с ним.

По органам. Врач не должен убивать здорового самца ради больных. Здоровый самец имеет большую генетическую ценность для общества, чем пятеро больных.

Аватар пользователя Redvook
Redvook(11 лет 7 месяцев)

"Природой в нас заложено ... спасать ... стариков, инвалидов, раненных, ну и только потом самцов" и "Здоровый самец имеет большую генетическую ценность для общества, чем пятеро больных"

Феерично! У вас все прямо по полочкам в голове разложено. :)

Вы стоите на самой низшей ступени развития, […] вы еще только формирующееся, слабое в умственном отношении существо, все ваши поступки чисто звериные, и вы в присутствии  […] людей с университетским образованием позволяете себе с развязностью совершенно невыносимой подавать какие-то советы космического масштаба и космической же глупости […] …вам нужно молчать и слушать, что вам говорят. Учиться и стараться стать хоть сколько-нибудь приемлемым членом социального общества (с)

ЗЫ: не обижайтесь, это я по вашей "природно-зверинной" сущности прошелся. :)

Аватар пользователя baa1964
baa1964(12 лет 10 месяцев)

Да я и не обижаюсь ... на людей с университетским образованием.

Аватар пользователя joho
joho(11 лет 1 месяц)

а не надо никак поступать.

Выбор, предлагаемый вами, некорректен. На указанных данных нельзя сделать то или иное - надо оставить всё как есть - особенно, если мы говорим о программировании роботов.

Любой однозначный выбор, предлагаемый вами, приводит к возникновению уюязвимости алгоритма. Данная уязвимость может - и будет - эксплуатироваться во вред популяции :o)

Таким образом, для робота будет верным действием либо не предпринимать ничего, либо предпринимать рандомное действие. Вариант, при котором робот сможет выяснить важность того или иного варианта для меня является сумашествием, т.к. поскольку ценность каждого конкретного индивида не может быть формализована.

Варианты с формализацией ценности хорошо известны - например, нацизм. Или, к примеру, представьте что ваша ценность определяется алгоритмически. Например, сравниваются ваши доходы, посты в ЖЖ и история SMS переписки - а что ещё есть в машиночитаемом виде для робота сегодня? - и на основании этого принимается то или иное решение со стрелкой.

Так что в сад такие методы

Аватар пользователя Производственник

не надо в бога верить, надо ему доверять. А он разговаривает с человеком языком жизненных обстоятельств (с) коба. Мне это объяснение более понятно, чем те, что святоши предлагают.

Аватар пользователя nictrace
nictrace(12 лет 9 месяцев)

Более жизненная ситуация: отряд с тяжелыми потерями отступает, командир оставляет один взвод, чтобы прикрыть отступление и выиграть полчаса, что даст небольшой шанс выжить остальным...

А про бесконечную ценность - это выдумки общечеловеков, которые Страну развалили...

Аватар пользователя fonin
fonin(12 лет 11 месяцев)

А командиры вот на смерть солдат посылают.

Аватар пользователя Realxupypr
Realxupypr(12 лет 8 месяцев)

Работа у них такая. Солдат, он, как и офицер, принимая присягу уже потерял власть над своей жизнью. Он живет в долг. Он уже пообещал отдать жизнь за Родину там и тогда, когда ему прикажут.

Аватар пользователя alexb
alexb(12 лет 8 месяцев)

Интересный ответ, я об этом не думал, спасибо.

Аватар пользователя Gromov
Gromov(11 лет 5 месяцев)

именно это я в присяге и читал, может успели потом поменять что-то, но не думаю

Аватар пользователя skarlike
skarlike(12 лет 8 месяцев)
задачи чисто абстракные каждый поступает по-своему. пример- если предположить что количество жизней равно количеству социальных существ со всем многообразием мемов (по ау). цель мемов вами управляющих - сберечь как можно больше мемов вам импонирующих следовательно задача приобретает минимум одно условие - оператор событиями должен быть соотечественником, соклассовиком (одного поля ягода) или собутыльником со всеми привязанными обстоятельствами людьми а теперь пример решения задачи с мостом и ребенком от меня лично поезд движется из амстердама в Москву, на нем едут 2 % укурки и наши любители гомосятины, их 12%, ну и им сочуствующие (или молчаливо переносящие их присутствие) еще 25%, с ними едут бизнесмены, торгующие шнягой с европейцами, которые нас ежепятидесятилетно пытаются завоевать, их 10%, ну а остальные - это всячина, которая по приезду на Родину будет рассказывать как классно они побывали в европах и как там все замечательно мое решение - попытаться спасти собственного ребенка даже если шансы на выживание оного 10%
Аватар пользователя serghey
serghey(12 лет 10 месяцев)

"Скажи, учитель, а при коммунизме может ли человек быть несчастлив?"(с)

Аватар пользователя Zedder
Zedder(12 лет 9 месяцев)

Я смотрю не до всех здесь доходит умозрительность задач и необходимость их решения в рамках формальной логики для формирования этической составляющей роботов/ИИ. Все дружно принялись обсуждать не цель, а инструмент %))).

Ну-ну.

Аватар пользователя activ
activ(12 лет 9 месяцев)

Роботы будут совершенствоваться благодаря военным. Этика будет нужна только фантастам.

Аватар пользователя alexb
alexb(12 лет 8 месяцев)

Нужно сначала понять, КАК делать роботов. Какие решения они должны принимать. 

Аватар пользователя activ
activ(12 лет 9 месяцев)

Значит речь идёт не о том, КАК делать работов, а о том, как правильно их программировать. Программирование будет ориентировано на решение поставленной перед роботом задачи. Роботы-пылесосы, как я понимаю, нас не особо интересуют в данном разговоре. А если речь идёт о более-менее универсальных заменителях человека, то они, очевидно, будут программироваться под ту "профессию", которую будут заменять. Военные роботы - под эффективное убийство, роботы-врачи - под эффективную операцию и т.д. Они не будут принимать решения в нашем понимании, они будут выполнять программу, написанную людьми - в соответствии с человеческими представлениями о ценностях и вреде.

А вот когда дело дойдёт таки до полноценного искусственного (искусственного - на первом этапе и по мнению людей) интеллекта, там уже все правила будут пересматриваться. Людям придётся узнать о правах роботов )

Аватар пользователя Zigfrid
Zigfrid(11 лет 9 месяцев)

Самый зрелый коммент. Собственно, так оно уже и есть.

Аватар пользователя Xupypx
Xupypx(12 лет 3 месяца)

Оно, конечно, хчется по Азимову... НО роботы это - автоматы... Возможно... и мы тоже, тока дерево решений поболее и посложнее, с перекрестными ссылками. 

Аватар пользователя nictrace
nictrace(12 лет 9 месяцев)

и еще нелогичность, как двигатель чего-то-там... :)

Аватар пользователя Xupypx
Xupypx(12 лет 3 месяца)

В "Стальных пещерах", без трех законов роботический мозг не может работать. alexb рекомендую )

Аватар пользователя alexb
alexb(12 лет 8 месяцев)

я с удовольствием прочитал почти всего Азимова, спасибо)

Страницы