Эффект обезьяньей лапы что это
«Эффект обезьяньей лапы» искусственного интеллекта
Oct 15, 2018 · 3 min read
Этот эффект отсылает нас к знаменитому рассказу Уильяма Джекобса «Обезьянья лапа».
Некий владелец высушенной обезьяньей лапы получает магическое право на исполнение ею трех его желаний. Его первое желание (для проверки — работает ли) — хочу 200 фунтов стерлингов. Стук в дверь. Там служащий завода, где работает сын. Он сообщает, что сын погиб — его раздавило заводским молотом, и отцу причитается страховка за сына — 200 фунтов стерлингов. Потрясенный отец бросается к обезьяньей лапе и кричит: «Хочу, чтобы мой сын ожил!». Снова стук в дверь. Там стоит призрак расплющенного молотом сына. В ужасе несчастный владелец лапы молит, чтоб призрак исчез…
Три желания выполнены точно в соответствии сформулированным требованиям.
Со времен рассказа, подобного рода последствия получили название «эффект обезьяньей лапы». Его суть в следующем.
Наряду с желаемым положительным результатом, желания и действия, направленные на их осуществление, неотвратимо влекут за собой сопутствующие последствия, ущерб от которых:
— может превосходить положительный результат и обесценивать его.
Вот реальный пример «обезьяньей лапы» ИИ.
Всех поражает и все восторгаются, что ИИ не просто обыгрывает чемпионов (шахматы, го, компьютерные игры …), но делает это с применением нечеловеческих стратегий, просто не приходящих людям в голову.
Вот к чему это может вести.
Исследователи натренировали ИИ играть в компьютерную игру CoastRunners — нужно выиграть гонку на катерах, получая очки за сбитые препятствия. Обученный играть ИИ на 20% превзошел лучший из результатов, достигнутых в этой игре людьми. Однако!
ИИ в ходе обучения ухитрился найти лазейку — немыслимую для людей стратегию, основанную на недоработке алгоритма игры (как известно, нетривиальных программ без ошибок не бывает). Найденная ИИ стратегия заставляет катер просто плавать по кругу, сшибая одни и те же 3 препятствия. Результат — сногсшибательно высокое число набираемых очков и выигрыш.
Вы спросите, а как же задача опередить всех и добраться до финиша? А никак. Оказалось, из-за недоработки в алгоритме, можно без этого обойтись и выиграть чисто на набранных очках.
Но кто знал то про такой способ выигрыша?
Люди — не знали. А «обезьянья лапа» ИИ прознала про это в момент.
Предоставляю вам самостоятельно перенести этот кейс на любое из возможных промышленных применений ИИ, где ему ставится цель оптимизации чего-либо (потраченных денег или топлива) или достижения конечного результата (например, действия лекарства)…
Наши пожелания ИИ, несомненно, выполнит.
Но кто может предсказать последствия «эффекта обезьяньей лапы» ИИ?
И как вообще учитывать весь спектр последствий при проектировании ИИ систем?
Об этом (для продвинутых в вопросе) новое эссе от DeepMind Safety Research.
– как просто создаются чрезвычайно опасные ИИ приложения, последствия применения которых не прогнозируемы;
– как трудно и важно этого избежать;
– что конкретно с этим делать.
Считаете, что это стоит прочесть и другим? Дайте им об этом знать, кликнув на иконку “понравилось”
Эффект обезьяньей лапы
Возможно, что кому-то термин «устойчивость объекта в смысле предсказуемости поведения в определённой мере под воздействием внешней среды, внутренних изменений и управоления» покажется одуряющим смысловым коктейлем, слишком общим и потому бесполезным. У таких людей есть возможность выбора: в западной литературе по проблематике управления встречается профессиональный слэнговый термин «эффект обезьяньей лапы», который по своему смыслу является противоположным к введённому нами; то есть «неустойчивость и т.д.» — отсутствие предсказуемости. Проявляется «эффект обезьяньей лапы» в том, что наряду с ожидаемым положительным результатом предпринятые действия неотвратимо влекут за собой сопутствующие последствия, ущерб от которых превосходит положительный результат и обесценивает его. По-русски этот вариант управления описывается поговоркой: За что боролись — на то и напоролись.
Западный термин восходит к творчеству английского писателя Джекобса, автора рассказа “Обезьянья лапа”, по сюжету которого владелец высушенной обезьяньей лапы получает право на исполнение трёх желаний. Так, владелец лапы выражает первое желание — немедленно 200 фунтов стерлингов. Тут же приходит служащий фирмы и сообщает, что его сын убит, и вручает ему вознаграждение за сына — 200 фунтов стерлингов. Потрясенный отец хочет видеть сына здесь, сейчас же. — Стук в дверь, появляется призрак сына. В ужасе несчастный владелец лапы желает, чтобы призрак исчез и т.д.
Сушёная — мёртвая — обезьянья лапа (будучи средством черной магии) “обладала” способностью выполнять желания её владельца именно таким образом, что и отличало её от живой Сивки-Бурки вéщей Каурки из Русских сказок, чьи благодеяния совершались в чистом виде без сопутствующего непредвиденного ущерба.
Сюжет рассказа Джекобса обрёл идиоматическое [1] значение, породив слэнговый термин «эффект обезьяньей лапы», сам по себе закрытый для понимания человека, если тот не знает сюжета рассказа.
«Обезьянья лапа» с её дефектом возникла как элемент профессионального слэнга по причине того, что в западной науке, точно так же, как и в “советской”, существуют гласные, негласные и бессознательно-психические запреты на исследования некоторых явлений и соответственно, — на выработку способов их понимания по существу. Такого рода запреты вызывают в ученых кругах “мистический” ужас, вследствие коего ученые, по жизни сталкиваясь с запретной тематикой, избегают называть некоторые вещи и явления их сущностными именами, предпочитая присваивать им формальный знак-символ, встретившись с которым “посвящённые” поймут, с чем они имеют дело; а “непосвящённым”, — якобы и знать не надо.
Поэтому, если Запад иногда пользуется термином «эффект обезьяньей лапы», несущим нагрузку только ассоциативных связей с сюжетом рассказа, не имеющим смысла самостоятельно и потому бесполезным при незнании ключа-сюжета, то для нас предпочтительнее термин со вполне определённой смысловой нагрузкой, который человек в состоянии осмыслить сам, освоив его в меру своего понимания, и тем самым уберечь, во-первых, окружающих, а во-вторых, себя от проявлений дефекта, скорее, «обезьяньей головы» (а не лапы) на плечах у всех, кто своими действиями порождает «эффект лапы» (в том числе и «волосатой лапы» в правящих «верхах»).
Для того, чтобы избежать дефекта «обезьяньей» головы на плечах человека, необходимо, прежде всего, просто воздерживаться от действий с заведомо непредсказуемыми последствиями, а также не полагаться на «авось» в обстоятельствах, в которых заведомо, заблаговременно предсказуем ущерб.
Передача навыка прогноза и управления возможна одним субъектом другому субъекту, если причинно-следственные обусловленности (другими словами, объективные закономерности), лежащие в основе предсказуемости и управления, могут быть интерпретированы в некой общей им обоим системе кодирования информации (т.е. переданы тем или иным «языком», в самом общем смысле слова «язык», обозначающего любое развитое в культуре средство обмена информацией между людьми); в противном случае всем желающим обрести навык предстоит самостоятельное овладение им. То есть о-свое-ние всякого навыка есть всегда самостоятельное расширение своей собственной системы стереотипов при формировании и введении в неё ранее не свойственных стереотипов внутреннего и внешнего поведения. Общность же доступных разным субъектам систем кодирования достаточно единообразной для каждого из них информации, позволяет им лишь облегчить процесс передачи и освоения навыков.
Поэтому необходимость передачи навыков может требовать создания в обществе новых систем кодирования информации и соответствующего им понятийного аппарата, но о-свое-ние всего этого, даже созданного другими, — работа, которую может сделать только каждый осваивающий сам лично, поскольку систему образных представлений о Жизни в целом и каждом из её явлений, включая и абстракции науки, каждый человек должен вырабатывать в себе сам.
Создающие же новые средства обязаны позаботится, чтобы их произведение можно было добросовестно освоить по возможности просто и без эффектов «обезьяньей головы», когда учат одному, а научают чему-то другому, вплоть до откровенно противного тому, что первоначально было заявлено. В этом ещё одна сторона слияния объективного и субъективного в понятии «устойчивость в смысле предсказуемости».
Эффект обезьяньей лапы
Возможно, что кому-то термин «устойчивость объекта в смысле предсказуемости поведения в определённой мере под воздействием внешней среды, внутренних изменений и управоления» покажется одуряющим смысловым коктейлем, слишком общим и потому бесполезным. У таких людей есть возможность выбора: в западной литературе по проблематике управления встречается профессиональный слэнговый термин «эффект обезьяньей лапы», который по своему смыслу является противоположным к введённому нами; то есть «неустойчивость и т.д.» — отсутствие предсказуемости. Проявляется «эффект обезьяньей лапы» в том, что наряду с ожидаемым положительным результатом предпринятые действия неотвратимо влекут за собой сопутствующие последствия, ущерб от которых превосходит положительный результат и обесценивает его. По-русски этот вариант управления описывается поговоркой: За что боролись — на то и напоролись.
Западный термин восходит к творчеству английского писателя Джекобса, автора рассказа “Обезьянья лапа”, по сюжету которого владелец высушенной обезьяньей лапы получает право на исполнение трёх желаний. Так, владелец лапы выражает первое желание — немедленно 200 фунтов стерлингов. Тут же приходит служащий фирмы и сообщает, что его сын убит, и вручает ему вознаграждение за сына — 200 фунтов стерлингов. Потрясенный отец хочет видеть сына здесь, сейчас же. — Стук в дверь, появляется призрак сына. В ужасе несчастный владелец лапы желает, чтобы призрак исчез и т.д.
Сушёная — мёртвая — обезьянья лапа (будучи средством черной магии) “обладала” способностью выполнять желания её владельца именно таким образом, что и отличало её от живой Сивки-Бурки вéщей Каурки из Русских сказок, чьи благодеяния совершались в чистом виде без сопутствующего непредвиденного ущерба.
Сюжет рассказа Джекобса обрёл идиоматическое значение, породив слэнговый термин «эффект обезьяньей лапы», сам по себе закрытый для понимания человека, если тот не знает сюжета рассказа.
«Обезьянья лапа» с её дефектом возникла как элемент профессионального слэнга по причине того, что в западной науке, точно так же, как и в “советской”, существуют гласные, негласные и бессознательно-психические запреты на исследования некоторых явлений и соответственно, — на выработку способов их понимания по существу. Такого рода запреты вызывают в ученых кругах “мистический” ужас, вследствие коего ученые, по жизни сталкиваясь с запретной тематикой, избегают называть некоторые вещи и явления их сущностными именами, предпочитая присваивать им формальный знак-символ, встретившись с которым “посвящённые” поймут, с чем они имеют дело; а “непосвящённым”, — якобы и знать не надо.
Поэтому, если Запад иногда пользуется термином «эффект обезьяньей лапы», несущим нагрузку только ассоциативных связей с сюжетом рассказа, не имеющим смысла самостоятельно и потому бесполезным при незнании ключа-сюжета, то для нас предпочтительнее термин со вполне определённой смысловой нагрузкой, который человек в состоянии осмыслить сам, освоив его в меру своего понимания, и тем самым уберечь, во-первых, окружающих, а во-вторых, себя от проявлений дефекта, скорее, «обезьяньей головы» (а не лапы) на плечах у всех, кто своими действиями порождает «эффект лапы» (в том числе и «волосатой лапы» в правящих «верхах»).
Для того, чтобы избежать дефекта «обезьяньей» головы на плечах человека, необходимо, прежде всего, просто воздерживаться от действий с заведомо непредсказуемыми последствиями, а также не полагаться на «авось» в обстоятельствах, в которых заведомо, заблаговременно предсказуем ущерб.
Передача навыка прогноза и управления возможна одним субъектом другому субъекту, если причинно-следственные обусловленности (другими словами, объективные закономерности), лежащие в основе предсказуемости и управления, могут быть интерпретированы в некой общей им обоим системе кодирования информации (т.е. переданы тем или иным «языком», в самом общем смысле слова «язык», обозначающего любое развитое в культуре средство обмена информацией между людьми); в противном случае всем желающим обрести навык предстоит самостоятельное овладение им. То есть о-свое-ние всякого навыка есть всегда самостоятельное расширение своей собственной системы стереотипов при формировании и введении в неё ранее не свойственных стереотипов внутреннего и внешнего поведения. Общность же доступных разным субъектам систем кодирования достаточно единообразной для каждого из них информации, позволяет им лишь облегчить процесс передачи и освоения навыков.
Поэтому необходимость передачи навыков может требовать создания в обществе новых систем кодирования информации и соответствующего им понятийного аппарата, но о-свое-ние всего этого, даже созданного другими, — работа, которую может сделать только каждый осваивающий сам лично, поскольку систему образных представлений о Жизни в целом и каждом из её явлений, включая и абстракции науки, каждый человек должен вырабатывать в себе сам.
Создающие же новые средства обязаны позаботится, чтобы их произведение можно было добросовестно освоить по возможности просто и без эффектов «обезьяньей головы», когда учат одному, а научают чему-то другому, вплоть до откровенно противного тому, что первоначально было заявлено. В этом ещё одна сторона слияния объективного и субъективного в понятии «устойчивость в смысле предсказуемости».
Эффект обезьяньей лапы что это
Вход в систему
Облако тэгов
Сейчас на сайте
Новые пользователи
Об эффекте обезьяньей лапы
Предлагаю вам немного необычную заметку из раздела «мысли вслух». Здесь я даю задание, выполнять которое можно очень и очень долго, оно связано с процессами, принизывающими всю нашу жизнь. Я даю несколько направлений, по которым предлагаю начать размышлять, но ни коим образом не ограничиваю свободу действий. К каким выводам вы придёте – это уже ваше дело. Можно считать эту заметку-задание моей первой попыткой выразить в лексических формах некую методологию развития самостоятельного мышления. Здесь излагается некая мысль, и даётся задание – продолжить её, максимально глубоко продумав. При этом ваш ответ мне лично не нужен, так как его правильность вы можете оценить только сами.
В социологии и мистике можно встретить такое явление как «эффект обезьяньей лапы».
Сама по себе идея, на первый взгляд, довольно простая для понимания, так как в жизни любого человека наверняка имело место быть некое обстоятельство, напоминающее обсуждаемый эффект. По данной идее даже сняты фильмы (не один из них я не смотрел), но, судя по отзывам и рецензиям, мысль передана в фильмах ещё более поверхностно, чем в исходном произведении.
Давайте устраним досадное недоразумение, допущенное как самим автором, так и создателями фильмов (насколько я могу судить об их качестве, не смотрев). На мой взгляд, идея гораздо сложнее и глубже. Я предоставляю читателю возможность самому её проработать, укажу только лишь направление мыслей, по любому из которых достигается заявленная глубина.
Направление первое. Когда человек обладает определёнными способностями и возможностями, к которым пришёл сам в результате осмысленной целенаправленной деятельности, тогда он умеет эти способности и возможности в должной мере контролировать и правильно ими распоряжаться, тогда эти способности и возможности гармонично сочетаются с его жизнью. Когда человек получает нечто, к чему его жизнь не готовила (не важно, это большие деньги или большое несчастье), это «нечто» с его жизнью не гармонирует и управляться с ним правильно он не в состоянии.
Например, человек захотел стать президентом. Если он шёл к этому посту на протяжении многих лет, занимая одну управленческую должность за другой, приобретая опыт, изучая теорию управления и необходимую методологию, он может стать грамотным президентом. Если человек пожелал стать президентом и его желание тут же исполнилось, то мы будем наблюдать на этом посту обыкновенного обывателя, который быстро, сам того не замечая, развалит всё к херам. Вы, может, возразите: а вдруг не обыватель загадает такое желание. Нет, поверьте, не обыватель такой глупости не загадает.
Аналогично представьте обычного школьника на месте профессора, или гопника Федора из соседнего подъезда на Олимпийских играх и т. д.
Приведу более сложные примеры другого класса. Возьмём такую сверхспособность, как материализация мыслей. Представьте, вы умеете материализовывать свои мысли – подумали о чём-то, и можете это воплотить в реальности. Тут же вспоминается притча, в которой человек, чьи мечты стали сбываться, вдруг испугался, что ему помогают призраки, и что они потом убьют его, и как только он это подумал, призраки действительно появились и убили его – мысли материализовались. Неумение контролировать свои мысли не позволит вам пользоваться этой сверхспособностью. Может возникнуть эффект «белой обезьяны». Вы можете забыть и не думать о белой обезьяне? О ком я сейчас сказал забыть? : )
Как только вы получите способность воплощать свои мысли, мир тут же будет разрушен каким-нибудь нелепым образом, стоит вам только подумать: «главное, случайно не разрушить мир каким-нибудь нелепым образом. Каким же? Вот таким, например. ». Чтобы иметь такую суперспособность, нужно быть к ней готовым и уметь как минимум контролировать свои мысли полностью. Аналогично можете пофантазировать на тему других суперспособностей, которые вам, несомненно, приходили в голову.
Направление второе. Мир един и целостен, все изменения в нём происходят плавно и в чёткой зависимости друг от друга. Путь, который человек проходит в своём развитии, затрагивает множество событий и явлений, происходящих вокруг него на этом пути. Эти события и явления могут оказать влияние на других людей, другие явления и так далее. Теперь представьте, что некто вносит изменение в устойчивый процесс развития нашего мира. Все связи, все сложные взаимодействия, сопутствующие объекту изменений, рвутся, ломаются, меняются, приходят в иной состояние. Такой процесс не является предсказуемым, нельзя сказать, чем закончится такое сильное вмешательство и по какому пути развитие пойдёт дальше. Как вы можете быть уверенным, что всё останется как было, если ваше желание воплотится по мановению волшебной палочки или обезьяньей лапы? Помимо того, что ваше желание воплотится, в мире произойдут, возможно, катастрофические изменения, и он никогда не будет прежним. И в новом мире, скорее всего, ваше новое приобретение будет нафиг не нужно. Скажем, вы пожелали крутую тачилу, желание исполнилось, но вы оказались в мире, где все абсолютно дороги пришли в непригодное состояние.
Направление третье. Обратите внимание на то, какие вещи загадывают люди. Попробуйте поспрашивать своих знакомых, чего бы они сделали, будь у них, например, три желания. Это отличный тест на способность к самостоятельному мышлению, кстати. Попробуйте и сами подумать над тем, чего бы вы пожелали. Правильный ответ может оказаться для вас очень неожиданным (хотя у меня лично нет уверенности, что он единственный) и прийти к нему большинство читателей смогут лишь через много лет размышлений (разумеется, не непрерывных). В качестве небольшой крупинки дополнительных материалов, которые придётся изучить, предлагаю посмотреть фильм «Посылка». Разумеется, и в этом фильме отражено лишь поверхностное описание того, что удобно называть «законом воздаяния», сам процесс устроен, на мой взгляд, гораздо сложнее, и описать его материалистически (когда некая мистика выражена в материальном носителе), как в фильме, вряд ли возможно.
Хитрый читатель, который знает, что если ему дано три желания, то третьим нужно обязательно загадывать «хочу ещё три желания», наверное, может сказать, что у обезьяньей лапы можно было бы попросить «хочу это, но при условии, что больше никаких изменений не произойдёт». Во-первых, судя по сюжету рассказа, никаких «если» в формулировки желании быть не может. Во-вторых, если подобная мысль пришла к вам в голову, значит вы ещё недостаточно глубоко задумались ни над одним из трёх направлений, что я предложил. В качестве опорного пункта в своих рассуждениях можете опираться на этот: вы двигаетесь в правильном направлении, если смогли обосновать, почему нельзя попросить у лапы так, как я написал, даже если бы в формулировки желания были возможны «если».
Невнимательный читатель может спросить, а с каких щей я взял на себя роль человека, который вправе давать такие задания и делать вид, что они такие невероятно важные и что они откроют какие-то тайны. Отвечаю: захотел и взял, попробуй отбери. А если серьёзно, имеет эта задача смысл для вас лично или нет, не мне решать. Я знаю тех, кому упражнение, вероятно, будет полезным и тех, кому оно, скорее всего, ничего не даст. На себя лично я при этом никакой роли не беру, просто делюсь мыслями.
«Эффект обезьяньей лапы»
Этот эффект отсылает нас к знаменитому рассказу Уильяма Джекобса «Обезьянья лапа».
Некий владелец высушенной обезьяньей лапы получает магическое право на исполнение ею трех его желаний. Его первое желание (для проверки — работает ли) — хочу 200 фунтов стерлингов.
Стук в дверь.
Там служащий завода, где работает сын. Он сообщает, что сын погиб — его раздавило заводским молотом, и отцу причитается страховка за сына — 200 фунтов стерлингов.
Потрясенный отец бросается к обезьяньей лапе и кричит: «Хочу, чтобы мой сын ожил!».
Снова стук в дверь.
Там стоит призрак расплющенного молотом сына. В ужасе несчастный владелец лапы молит, чтоб призрак исчез…
Три желания выполнены точно в соответствии сформулированным требованиям.
Со времен рассказа, подобного рода последствия получили название «эффект обезьяньей лапы».
Его суть в следующем:
Наряду с желаемым положительным результатом, желания и действия, направленные на их осуществление, неотвратимо влекут за собой сопутствующие последствия, ущерб от которых:
— может быть непредсказуем;
— может превосходить положительный результат и обесценивать его.
• Эссе By Pedro A. Ortega, Vishal Maini «Building safe artificial intelligence: specification, robustness, and assurance», показывает как просто создаются чрезвычайно опасные ИИ приложения, последствия применения которых не прогнозируемы и что конкретно с этим делать.