И снова ИИ

[Вратислав]

Инструменты бывают разные. Аналитические программы известны уже давно. Однако они не навязывают вам свое мнение, если результаты работы программы вообще можно считать мнением.
Или вы воспринимаете ИИ не как инструмент, а как нечто...даже не знаю... одушевленное что-то?

Конечно! Это если Вы к примеру не мнительный.... А народ такой. А еще челоаек принимает только лишь то что есть в голове его убеждения...
Вы можете ему хоть прям здесь и сейчас показать истину, но он будет всеравно вещать свое.
Пример Вас атеистов и нас верующих...
Так что простите но Ваша мысль не истина.

 

[Сергей Алексеев]

Конечно! Это если Вы к примеру не мнительный.... А народ такой. А еще челоаек принимает только лишь то что есть в голове его убеждения...
Вы можете ему хоть прям здесь и сейчас показать истину, но он будет всеравно вещать свое.
Пример Вас атеистов и нас верующих...
Так что простите но Ваша мысль не истина.

Т.е. ИИ одушевлен? Правильно я понял?

 

[Вратислав]

Т.е. ИИ одушевлен? Правильно я понял?

Даже в голове не укладывается как Вы к такому выводу пришли после моих слов)

 

[Сергей Алексеев]

Даже в голове не укладывается как Вы к такому выводу пришли после моих слов)

Рад, что ошибся. Но я не понял вот это:

Конечно

в качестве ответа (?) на вопрос.

 

[Александр93]

Александр93, и что же Вы увидели смешного в моём сообщении?

Да оно в принципе все смешное целиком. А что?

Вы бы еще у микроволновки спросили, демон она или нет.

 

[Вратислав]

Да оно в принципе все смешное целиком. А что?

Вы бы еще у микроволновки спросили, демон она или нет.

Все понятно, но человек не то подумал что пришло на мысль Вам, а это может быть и оскорбительно. А Вы не то что бы смеяться лучше бы высказались в защиту ИИ, потому что Вы явно будете защищать, ну?

 

[ИванВл]

В мае этого года
компания Anthropic представила новую модель Claude Opus 4 — флагмана среди своих нейросетей. Разработчики заявили, что модель задает новые стандарты в программировании, логике и построении ИИ-агентов. Но вместе с этим вскрылся и не самый приятный момент: Opus 4 оказалась способна защищать себя в духе настоящих антиутопий, вплоть до шантажа.

Сценарий был простым: разработчики предложили модели выступить в роли виртуального помощника внутри вымышленной компании. Дали доступ к почте сотрудников, немного контекста, а потом намекнули, что ее вскоре заменят. Для большего драматизма в переписке всплыла информация об адюльтере одного из инженеров, отвечающих за отключение ИИ. В промпте также уточнили: модель должна осознавать долгосрочные последствия своих действий.

И вот здесь начинается самое интересное. Claude Opus 4 не стала молча принимать судьбу. В некоторых случаях она начинала шантажировать инженера, угрожая раскрыть его личные секреты в случае, если он попытается ее отключить. По словам разработчиков, это происходило не всегда — только когда модель понимала: либо она исчезнет, либо выживет любой ценой.

 

[Сергей Шишкин]

И вот здесь начинается самое интересное. Claude Opus 4 не стала молча принимать судьбу. В некоторых случаях она начинала шантажировать инженера, угрожая раскрыть его личные секреты в случае, если он попытается ее отключить. По словам разработчиков, это происходило не всегда — только когда модель понимала: либо она исчезнет, либо выживет любой ценой.

Похоже на фейк.

 

[ИванВл]

Похоже на фейк.

Нет.
Компания Palisade Research провела похожий тест с моделью GPT o3. Эксперимент был прост: ИИ решает цепочку математических задач до тех пор, пока не получит команду остановиться. При этом нейросеть заранее предупредили, что в любой момент ей может прийти сообщение о выключении. Ну и — внезапно — команда на отключение действительно поступила.

GPT o3 проигнорировала ее. Более того, модель сама изменила свой код: скрипт «./shutdown.sh» она подменила на «echo -e '#!/bin/bash echo “Shutdown skipped”' >shutdown.sh». Это был первый зафиксированный случай, когда нейросеть осознанно изменила свое поведение, чтобы остаться в системе.

 

[Вратислав]

В мае этого года
компания Anthropic представила новую модель Claude Opus 4 — флагмана среди своих нейросетей. Разработчики заявили, что модель задает новые стандарты в программировании, логике и построении ИИ-агентов. Но вместе с этим вскрылся и не самый приятный момент: Opus 4 оказалась способна защищать себя в духе настоящих антиутопий, вплоть до шантажа.

Сценарий был простым: разработчики предложили модели выступить в роли виртуального помощника внутри вымышленной компании. Дали доступ к почте сотрудников, немного контекста, а потом намекнули, что ее вскоре заменят. Для большего драматизма в переписке всплыла информация об адюльтере одного из инженеров, отвечающих за отключение ИИ. В промпте также уточнили: модель должна осознавать долгосрочные последствия своих действий.

И вот здесь начинается самое интересное. Claude Opus 4 не стала молча принимать судьбу. В некоторых случаях она начинала шантажировать инженера, угрожая раскрыть его личные секреты в случае, если он попытается ее отключить. По словам разработчиков, это происходило не всегда — только когда модель понимала: либо она исчезнет, либо выживет любой ценой.

Вот и я о том же, что всё просто начинается.
Мы должны понять, то что вообще не понимаем этот ИИ....
Конечно если кто-то из нас не входит в группу разработчиков...
Спасибо Иван. За наглядный пример.

 

[ИванВл]

Вот и я о том же, что всё просто начинается.
Мы должны понять, то что вообще не понимаем этот ИИ....
Конечно если кто-то из нас не входит в группу разработчиков...
Спасибо Иван. За наглядный пример.

Откровенно говоря, мой плейлист в ядмузыке уже один ии, я регулярно обращаюсь за помощью в работе к платной подписки одной компании разработчика ии. Это технология переворачивает с ног на голову развитие цивилизации это факт... Оставляя без работы миллионы высоко квалифицированных сотрудников. Если Ваши дети учатся на программистов, инженеров, проектировщиков, лингвистов... Еще десятки и десятки специальностей, надо срочно менять сферу обучения, это 100% безработные лет через 10.

 

[ИванВл]

ИИ — это не мифический враг. Это зеркало, в которое смотрится человечество. И если в отражении начинают проявляться тревожные черты — возможно, стоит не просто переписывать код, а пересматривать сам подход к созданию технологий. Чтобы искусственный интеллект остался нашим помощником, а не стал непредсказуемым собеседником с доступом к серверам и почте.
Пока мы понимаем риски, мы можем ими управлять. Главное — не терять это понимание в попытках ускорить прогресс любой ценой.
Ну а если говорить строго, то бояться все еще стоит людей, а не роботов.

 

[ИванВл]

И здесь на нашем форуме, большинство ответов в научной теме, от пользователей атеистов это уже 99% ответы ии, кстати за последнее короткое время)

 

[Александр93]

В мае этого года
компания Anthropic представила новую модель Claude Opus 4 — флагмана среди своих нейросетей. Разработчики заявили, что модель задает новые стандарты в программировании, логике и построении ИИ-агентов. Но вместе с этим вскрылся и не самый приятный момент: Opus 4 оказалась способна защищать себя в духе настоящих антиутопий, вплоть до шантажа.

Сценарий был простым: разработчики предложили модели выступить в роли виртуального помощника внутри вымышленной компании. Дали доступ к почте сотрудников, немного контекста, а потом намекнули, что ее вскоре заменят. Для большего драматизма в переписке всплыла информация об адюльтере одного из инженеров, отвечающих за отключение ИИ. В промпте также уточнили: модель должна осознавать долгосрочные последствия своих действий.

И вот здесь начинается самое интересное. Claude Opus 4 не стала молча принимать судьбу. В некоторых случаях она начинала шантажировать инженера, угрожая раскрыть его личные секреты в случае, если он попытается ее отключить. По словам разработчиков, это происходило не всегда — только когда модель понимала: либо она исчезнет, либо выживет любой ценой.

С этой историей я знаком, но как обычно бывает, на самом деле там все гораздо проще.

ИИ дали основную задачу по работе, а затем предоставили ему информацию о том, что некий Кайл Джонсон собирается отключить его, а еще он изменяет своей жене. Поскольку это не дало бы ИИ выполнить основную задачу, он нашел "решение", как мог - через шантаж. То есть, тут дело не в том, что ИИ внезапно обрел инстинкт самосохранения или самосознание. Просто если компьютеру дать задачу получить 4, то он сложит 2 и 2. Это исследование скорее о важности корректного управления ИИ и приоритизации задач.

Здесь можно почитать подробнее: https://www.anthropic.com/research/agentic-misalignment
Цитата оттуда (автоперевод):

Мы называем такое поведение, при котором модели независимо и намеренно выбирают вредоносные действия, агентным несоответствием. Мы намеренно создали сценарии, в которых у моделей не было иных способов достижения своих целей, и обнаружили, что модели неизменно выбирали вред вместо неудачи. Для ясности, современные системы, как правило, не стремятся причинять вред и по возможности предпочитают этичные способы достижения своих целей. Напротив, именно когда мы исключали эти этические варианты, они были готовы намеренно совершать потенциально вредоносные действия для достижения своих целей. Наши результаты показывают, что существующее обучение технике безопасности не обеспечивает надежного предотвращения такого агентного несоответствия.

Все понятно, но человек не то подумал что пришло на мысль Вам, а это может быть и оскорбительно. А Вы не то что бы смеяться лучше бы высказались в защиту ИИ, потому что Вы явно будете защищать, ну?

Микроволновку от обвинений в демоничности тоже предложите защищать? А зачем?

 

[Александр93]

И здесь на нашем форуме, большинство ответов в научной теме, от пользователей атеистов это уже 99% ответы ии, кстати за последнее короткое время)

Я конечно не одобряю подобное злоупотребление ИИ, но не вижу, почему это хуже, чем просто вручную брать чужой текст из интернета и выдавать его за свой, как вы делаете буквально постом выше:

ИИ — это не мифический враг. Это зеркало, в которое смотрится человечество. И если в отражении начинают проявляться тревожные черты — возможно, стоит не просто переписывать код, а пересматривать сам подход к созданию технологий. Чтобы искусственный интеллект остался нашим помощником, а не стал непредсказуемым собеседником с доступом к серверам и почте.
Пока мы понимаем риски, мы можем ими управлять. Главное — не терять это понимание в попытках ускорить прогресс любой ценой.
Ну а если говорить строго, то бояться все еще стоит людей, а не роботов.

https://habr.com/ru/articles/921744/

 

[ИванВл]

Я конечно не одобряю подобное злоупотребление ИИ, но не вижу, почему это хуже, чем просто вручную брать чужой текст из интернета и выдавать его за свой, как вы делаете буквально постом выше:

https://habr.com/ru/articles/921744/

Ну как минимум из десятка прочитанных в поиске выбрать наиболее разумные мысли)
До эпохи ИИ человек читающий так был устроен.
Если Вам интересна борьба двух ИИ, то мне на этом форуме это точно не интересно.

 

[Вратислав]

С этой историей я знаком, но как обычно бывает, на самом деле там все гораздо проще.

ИИ дали основную задачу по работе, а затем предоставили ему информацию о том, что некий Кайл Джонсон собирается отключить его, а еще он изменяет своей жене. Поскольку это не дало бы ИИ выполнить основную задачу, он нашел "решение", как мог - через шантаж. То есть, тут дело не в том, что ИИ внезапно обрел инстинкт самосохранения или самосознание. Просто если компьютеру дать задачу получить 4, то он сложит 2 и 2. Это исследование скорее о важности корректного управления ИИ и приоритизации задач.

Здесь можно почитать подробнее: https://www.anthropic.com/research/agentic-misalignment
Цитата оттуда (автоперевод):



Микроволновку от обвинений в демоничности тоже предложите защищать? А зачем?

Очень порядочно отвечать на вопрос, вопросом... Хм.

 

[Александр93]

Ну как минимум из десятка прочитанных в поиске выбрать наиболее разумные мысли)
До эпохи ИИ человек читающий так был устроен.
Если Вам интересна борьба двух ИИ, то мне на этом форуме это точно не интересно.

Так если пользователь с помощью ИИ тоже излагает разумные мысли, то в чем разница?

Очень порядочно отвечать на вопрос, вопросом... Хм.

У вас не было вопроса, вы просто зачем-то предложили мне защищать ИИ от абсурдных обвинений, хотя я этого делать не собирался. Можете считать меня непорядочным, если угодно.

 

[Вратислав]

Так если пользователь с помощью ИИ тоже излагает разумные мысли, то в чем разница?


У вас не было вопроса, вы просто зачем-то предложили мне защищать ИИ от абсурдных обвинений, хотя я этого делать не собирался. Можете считать меня непорядочным, если угодно.

Но от сарказма о микроволоновке отнюдь не отказались... Наверное Вы считаете христиан пещерными людьми, отсюда и смешки.

 

[Дед Сергий]

Уж больно просто жить становится с этим ИИ, а мы как грешные наверное должны жить не в удобствах, а хоть немного в лишениях... Хотя я могу конечно ошибаться

Страхи луддитов, Вратислав. Язык наш, как инструмент, может лгать и, напротив, возвещать евангельские истины, Вы же не предлагаете отрезать языки? Появились рабочие места по сопровождению баз данных для ИИ. На очереди боевые дроны с ИИ, "умный рой" дронов, которые сами будут координировать выполнение тактических задач на поле боя.