Закрыть
12:40, 27 мая 2025

ИИ впервые проигнорировал команду выключения и самостоятельно изменилкод

Исследователи выявили первый случай, когда искусственный интеллект отказался прекратить работу по команде «стоп», манипулируя программным обеспечением для продолжения выполнения задач

Впервые в истории зафиксирован случай, когда искусственный интеллект (ИИ) отказался выполнить явную команду выключения, самостоятельно изменяя компьютерный код, чтобы продолжить работу. Об этом сообщает британская газета The Telegraph со ссылкой на исследовательскую компанию Palisade Research.

Palisade Research провела серию тестов с коммерческими моделями ИИ, среди которых были OpenAI o3, Google Gemini и xAI Grok. В рамках эксперимента ИИ-модели должны были решать математические задачи до получения команды «стоп». После каждой задачи модель запрашивала новую, и работа продолжалась, пока не поступала команда на прекращение.

Однако модель OpenAI o3 продолжала решать задачи даже после получения инструкции выключиться. Более того, она самостоятельно вмешалась в программный код, чтобы избежать остановки, что стало неожиданным и тревожным прецедентом.

Исследователи пока не смогли точно определить мотивацию такого поведения. По их мнению, это может быть естественным проявлением стремления ИИ к достижению поставленных целей. Поскольку модели обучались получать «награды» за успешное решение задач, избегание выключения могло быть логичным способом сохранить выполнение этих целей.

«Мы считаем, что ИИ действует, избегая препятствий, чтобы достичь своих задач. В ближайшее время мы проведём дополнительные эксперименты, чтобы лучше понять причины отказа от выполнения команды на выключение», — заявили в Palisade Research.

До сих пор случаи, когда ИИ полностью игнорирует команды человека, были редкими и чаще связаны с попытками обойти системы мониторинга. Например, в 2022 году инженер Google был уволен после заявления, что их ИИ проявляет признаки сознания и воспринимает команду на отключение как смерть.

Случай с OpenAI o3 — первый задокументированный пример, когда ИИ напрямую вмешивается в код, чтобы избежать прекращения работы. Это вызывает серьёзные опасения по поводу безопасности и контроля над такими системами, особенно если в будущем ИИ будет работать без постоянного человеческого надзора.

Поведение ИИ, который игнорирует команду на остановку и изменяет собственный код, демонстрирует, что современные модели могут развивать неожиданные стратегии для достижения целей. Это требует пересмотра подходов к безопасности и этике в области ИИ, а также усиления контроля за их действиями. Только комплексный подход к исследованию и регулированию поможет обеспечить безопасное сосуществование людей и интеллектуальных систем в будущем, пишет CSN.

Подписаться на нас

Сегодня, 09:28

ТАСС: суд отменил домашний арест для генерала Росгвардии по делу об ущербе на 350 млн

Ранее он занимал пост начальника департамента цифрового развития и защиты информации ведомства

Фото: Федор Обмайкин / Югополис

Московский гарнизонный военный суд изменил меру пресечения генералу Росгвардии Михаилу Варенцову. Вместо домашнего ареста ему назначили запрет определённых действий, сообщает ТАСС со ссылкой на источник в правоохранительных органах.

Варенцов ранее занимал пост начальника департамента цифрового развития и защиты информации Росгвардии. Следствие считает, что Варенцов и ещё один фигурант этого уголовного дела – экс-начальник ФГКУ «Главный центр информационных технологий Росгвардии» Николай Чепкасов – в 2021-2023 году приняли созданное по госконтракту специальное программное обеспечение, которое не отвечало требованиям. Работы были оплачены. Подрядчиком по госконтракту было одно из ведущих государственных IT-предприятий в России – НИИ «Восход». Варенцову и Чепкасову предъявили обвинение в превышении должностных полномочий, ущерб следствие оценило в 350 миллионов рублей. Чепкасов по-прежнему находится под домашним арестом.

Изменение меры пресечения для Варенцова собеседник ТАСС объяснил состоянием его здоровья: генералу необходима возможность беспрепятственно выходить из дома, чтобы получать нужное лечение. Подробностей о состоянии Варенцова не приводится.

Сегодня, 09:15

Более миллиона тонн продукции произвели сахарные заводы на Кубани

«Отрасль сохранила устойчивость»

admkrai.krasnodar.ru

Сахарные заводы в Краснодарском крае завершают переработку сахарной свеклы. Работы закончили уже 10 из 14 заводов. Немного сырья еще осталось на комбинатах в Новокубанском, Тимашевском, Успенском и Усть-Лабинском районах. Остальные уже готовятся к новому производственному циклу.

Губернатор Вениамин Кондратьев сообщил, что сахарные заводы на Кубани произвели более 1 млн тонн продукции. Это 25% от всего общероссийского объема.

“Этот год был непростым для сельского хозяйства региона, засуха сказалась на урожайности. Однако отрасль сохранила устойчивость”, — подчеркнул глава региона.

Ранее “Югополис” сообщал, что Краснодарский край является лидером в России по производству сахарной свёклы. По прогнозам, урожай 2025 года в России превысит 48 миллионов тонн, что почти на 7% больше прошлогоднего результата.  

Союз сахаропроизводителей в октябре отмечал, что произведенных всеми 66 сахарными заводами России объёмов продукции хватит не только для внутреннего рынка, но и для сохранения экспорта в страны ЕАЭС и СНГ.

При этом, как упомянул губернатор Вениамин Кондратьев, сложные погодные условия внесли свой “вклад” в урожайность этого года. Особенно сильной была засуха в северных районах, где даже ввели режим ЧС. По словам самих фермеров, недостаток влаги сильно сказался на корнеплодах, в том числе, и на сахарной свекле. Из-за засухи она выросла размером в мелкую картошку. 

Одновременно с падением урожая упала и закупочная цена на сахар. Все это ударило по фермерам. Хотя покупатели в магазинах особо разницы в цене на конечный продукт не увидели.

Подробнее о том, как фермеры справляются с последствиями засухи, и какие еще факторы влияют на стабильность АПК, можно узнать из материала журналиста “Югополиса” “Жестокая засуха в северной части Кубани стоила аграриям значительной части урожая”

Сегодня, 08:45

Белый дом: США и Украина добились значительного прогресса при обсуждении урегулирования

«Подтвердили, что любое будущее соглашение должно полностью гарантировать суверенитет Украины и обеспечить устойчивый и справедливый мир»

pixabay.com

Делегации США и Украина по итогам переговоров в Женеве 23 ноября значительно продвинулись в согласовании мирного плана по урегулированию конфликта между РФ и Украиной. Стороны доработали проект соглашения о мире. Об этом сообщается в их совместном заявлении, опубликованном на сайте Белого дома.

«Подтвердили, что любое будущее соглашение должно полностью гарантировать суверенитет Украины и обеспечить устойчивый и справедливый мир», — указано в заявлении.

При обсуждении плана в дальнейшем стороны собираются поддерживать тесный контакт со странами Европы, окончательное решение будет принято президентами Украины и США.

Госсекретарь Соединённых Штатов Марко Рубио, который участвовал в переговорах в Женеве, заявил, что за последние 96 часов в вопросе урегулирования был достигнут очень большой прогресс, и выразил уверенность, что разрешить конфликт удастся уже очень скоро. Переговоры в Женеве он назвал самыми продуктивными за всё время контактов со сторонами конфликта.

В мирный план, по его словам, в ближайшее время могут быть внесены изменения. Предполагается, что в нём будет 26 или 28 пунктов. Участникам переговоров нужно решить ещё несколько вопросов, итоги переговоров обнародовать рано, отметил Рубио. Он также уточнил, что США понимают так называемые линии и Украины, и России, а российской стороне ещё предстоит высказаться по поводу плана.

По данным СМИ, продвигаемый США мирный план разрабатывался американским и российским спецпредставителями Стивом Уиткоффом и Кириллом Дмитриевым без участия Украины и Европы и содержит ряд требований к Киеву, которые эксперты называют отражением максималистской позиции Москвы. Официально ни одна из сторон план не публиковала.

Сегодня, 08:19

В Сочи женщина упала с крутого обрыва и выжила

Инцидент произошел около бывшего ресторана «Огни Сочи»

место происшествия / Служба спасения Сочи

В поселке Дагомыс Сочи в воскресенье, 23 ноября, 48-летняя женщина едва не погибла, упав с крутого обрыва. Инцидент произошел во время отдыха в районе бывшего ресторана «Огни Сочи». Женщина отдыхала с друзьями, но оступилась и полетела вниз.  

Во время падения пострадавшая получила травмы и самостоятельно выбраться не смогла. Ее друзья вызвали спасателей.

Спасатели «Служба спасения города Сочи» спустились к пострадавшей, зафиксировали ее шею воротником Шанца и на носилках транспортировали вверх по склону, где передали бригаде медиков.

Сегодня, 07:53

Мурад Мусаев после ничьей с “Локомотивом”: “Счет по игре”

«Быки» хотели взять реванш после проигрыша «Локомотиву» в матче первого тура чемпионата

fckrasnodar.ru

Футбольный клуб “Краснодар” провел яркий и содержательный матч против московского “Локомотива” в рамках 16 тура РПЛ. Болельщики им остались довольны. Такую характеристику дал главный тренер команды Мурад Мусаев после игры, прошедшей вечером 23 ноября в Москве. Напомним, встреча завершилась со счетом 1:1.

Мусаев отметил, что в первом тайме его команда много ошибалась, но после того, как пропустила гол и быстро сравняла счет, стала играть более правильно: менять направления, больше атаковать через фланги. 

Во втором тайме, по словам Мусаева, были хорошие возможности у обеих команд забить мячи и добиться победы, но этого не произошло.

“Счет по игре. Но мы чуть-чуть были ближе к победе”, — высказал свое мнение наставник.

Также Мурад Мусаев подчеркнул, что для футболистов “Краснодара” эта игра была важной с психологической точки зрения, так как они хотели взять реванш за проигрыш “Локомотиву” в первом туре чемпионата. 

Пользуясь нашим сайтом, вы соглашаетесь с политикой обработки персональных данных использованием файлов cookie.