Опрос
|
реклама
Быстрый переход
Google тестирует в поисковой выдаче синие галочки, которые означают, что «этот сайт — это именно тот сайт»
04.10.2024 [15:18],
Николай Хижняк
Компания Google экспериментирует с новой функцией проверки в поиске, которая должна помочь пользователям избежать перехода по поддельным или мошенническим веб-ссылкам. Как пишет The Verge, некоторые пользователи видят в результатах поиска рядом с ссылками на сайты синие галочки верификации, которые указывают на то, что компания, например, Meta✴ или Apple, является подлинной, а не каким-то подражателем, пытающийся извлечь выгоду из узнаваемого бренда. «Мы регулярно экспериментируем с функциями, которые помогают потребителям определять надёжные компании в интернете. В настоящее время мы проводим небольшой эксперимент, показывающий галочки рядом с определёнными организациями в поиске Google», — сказала The Verge представитель Google по связям с общественностью Молли Шахин (Molly Shaheen). Как пишет издание, синие галочки верификации можно обнаружить у Microsoft, Meta✴, Epic Games, Apple, Amazon и HP, однако отображаться они могут не для всех пользователей. Это говорит о том, что эксперимент не имеет широкого развёртывания. При наведении курсора на галочку верификации отображается сообщение, в котором объясняется, что это действительно ссылка на ресурс того или иного бренда, а не на сайт мошенника, выдающего себя за кого-то другого. Для верификации ссылок используются автоматическая и ручная проверки, а также данные платформы Merchant Center, пояснила в разговоре с The Verge представитель Google. Судя по всему, новый эксперимент с поиском Google является расширением функции Brand Indicators for Message Identification (BIMI), ранее появившейся в почте Gmail. Последняя позволяет почтовому сервису от Google отображать синюю галочку верификации рядом с именем отправителя письма, подтвердившего личность. Google пока официально не анонсировала планы по интеграции галочек верификации для поиска и не сообщила, когда больше пользователей смогут увидеть эту функцию. LG Chem придумала, как защитить аккумуляторы от перегрева — пожара не будет даже при коротком замыкании
03.10.2024 [12:06],
Геннадий Детинич
Компания LG Chem обещает навсегда избавить пользователей от проблем с перегревом литиевых аккумуляторов. Разработанный компанией композитный материал на основе графита обладает свойствами менять свою молекулярную структуру при нагреве, что начисто лишает батареи возможности воспламениться в случае короткого замыкания. Это изменит мир аккумуляторов, уверены в компании. Традиционно катоды и аноды аккумуляторов покрываются медной или алюминиевой фольгой для съёма тока с электродов. Южнокорейские учёные поставили перед собой цель разработать для токосъёмников неметаллическую фольгу, которая при перегреве вела бы себя как изолятор. Это обесточивало бы элемент и предотвращало последствия короткого замыкания — главной причины перегрева и воспламенения литиевых аккумуляторов. В ходе научного поиска исследователи создали композит SRL (Safety Reinforced Layer) с вкраплениями графита (LiNi0.8Co0.1Mn0.1O2||graphite), который при нагреве выше критического для батареи уровня наращивал бы своё сопротивление. Материал продемонстрировал способность при нагреве на каждый градус Цельсия повышать сопротивление на 5000 Ом. Это разрывало пагубную цепочку, ведущую к воспламенению батареи, что сотрудники LG Chem показали на примере аккумуляторов «мешочек» для мобильных устройств. Предложенные плёнки композитного материала толщиной всего один микрон также на один порядок лучше проводят тепло, чем алюминиевая или медная фольга. Это помогает быстрее отреагировать на нагрев аккумуляторов и может предотвратить его перегрев. Композитный материал в качестве токосъёмника заменяет металлическую фольгу, а его производство оптимизировано для изготовления методом проката. В то же время LG Chem пока не готова к массовому производству новинки и обещает продолжить совершенствование этой технологии, намереваясь также продемонстрировать на её основе невоспламеняющиеся автомобильные аккумуляторы в 2025 году. Google ввела новые правила безопасности для доступа к почте Gmail
01.10.2024 [02:20],
Анжелла Марина
С 30 сентября компания Google ввела новые правила для почты Gmail, направленные на улучшение защиты аккаунтов. Миллионы пользователей столкнутся с тем, что доступ к данным Gmail из приложений, которые считаются менее безопасными, а также с устройств, не поддерживающих современные протоколы безопасности, то есть использующие для входа только логин и пароль, больше поддерживаться не будет. Как пишет Forbes, данное решение является частью масштабной кампании Google по повышению уровня безопасности своих сервисов, которое было анонсировано ещё год назад, давая пользователям и разработчикам приложений время на адаптацию. Весь последний месяц компания активно внедряла новую технологию защиты, включая ключи доступа для браузера Chrome на всех популярных платформах (Windows, macOS, Linux, Android). Новая система безопасности подразумевает переход на протокол авторизации OAuth, который обеспечивает более надёжную защиту данных. Теперь доступ к Gmail через сетевые протоколы CalDAV, CardDAV, IMAP, POP и Google Sync с использованием только имени пользователя и пароля будет невозможен. Важно отметить, что изменения затронут только пользователей сервиса Google Workspace. Владельцы личных аккаунтов Gmail могут не беспокоиться о доступе к своей почте, однако им стоит учитывать, что доступ по IMAP с помощью почтового клиента теперь будет осуществляться исключительно через протокол OAuth (Open Authorization), который позволяет стороннему приложению получить ограниченный доступ к данным пользователя на другом сервисе без передачи логина и пароля. Google рекомендует выполнить ряд действий, чтобы избежать проблем с доступом к Gmail после вступления новых правил в силу. В частности, пользователям почтового клиента Outlook 2016 и более ранних версий необходимо перейти на Microsoft 365 или актуальные версии Outlook для Windows и Mac. Также пользователям Thunderbird и других почтовых клиентов потребуется заново добавить свой аккаунт Google и настроить его для работы с IMAP через OAuth. Наконец, пользователи приложения «Почта» на iOS и macOS должны будут воспользоваться опцией входа через аккаунт Google для активации OAuth, что потребует удаления и повторного добавления аккаунта. Новый Outlook передаёт всю вашу почту в облако Microsoft — отказаться от этого нельзя
27.09.2024 [23:47],
Анжелла Марина
Недавно представленная компанией Microsoft новая версия Outlook для Windows вызвала опасения относительно конфиденциальности. Как сообщает издание XDA со ссылкой на исследование, новый Outlook гораздо теснее интегрирован с облаком, что потенциально расширяет возможности Microsoft по сбору пользовательских данных. Несмотря на то, что новый клиент предлагает современный дизайн и функции генеративного ИИ, такие как помощь в написании текстов и другие продвинутые опции, основанные на искусственном интеллекте, исследование, проведённое немецким ресурсом Heise, ставит под сомнение уровень защиты личной информации. Сообщается, что после прохождения стандартной аутентификации пользователи сталкиваются с неприметным окном, в котором Microsoft предлагает синхронизировать их электронные письма, события и контакты с облаком. Выяснилось, что функции, позволяющей отказаться от этой синхронизации и продолжить использование клиента, не существует, а в предоставленной официально информации указано, что «доступ к данным позволяет использовать поиск в почте пользователя», но при этом не раскрываются границы сбора этих данных. После авторизации Outlook фактически передаёт учётные данные в облако Microsoft, что означает, что вся обработка, включая получение писем, осуществляется в облаке. Это было подтверждено тестированием с помощью специального прокси-сервера, который показал, что аутентификация происходит через IP-адреса Microsoft, а не напрямую через почтовый сервер пользователя. Это вызвало у специалистов вопрос, является ли новый Outlook действительно независимым почтовым клиентом или это по своим функциям «обёртка» для облачных сервисов? Получается, что, подписавшись в Outlook на вынужденную синхронизацию с облаком, а также приняв лицензионное соглашение, позволяющее компании собирать данные для улучшения своих продуктов, пользователи фактически предоставляют Microsoft безусловный доступ ко всей своей электронной почте. В связи с этим возникает множество вопросов о прозрачности и условиях, при которых Microsoft будет получать доступ к данным. Ситуация особенно критична для корпоративных пользователей, которые могут случайно предоставить Microsoft доступ к конфиденциальной информации своей компании, нарушив тем самым внутренние нормы безопасности. Кроме того, просочившиеся в сеть эти данные могут быть использованы для обучения ИИ-моделей. Как отмечает сайт XDA, «важно, чтобы как обычные пользователи, так и системные администраторы понимали последствия использования нового Outlook и защищали свою конфиденциальность в условиях растущего контроля со стороны облачных технологий». Meta✴ хранила пароли европейцев в открытом виде — её оштрафовали на €91 млн
27.09.2024 [17:39],
Владимир Фетисов
Отраслевой регулятор Евросоюза оштрафовал гиганта социальных сетей Meta✴ Platforms на €91 млн за непреднамеренное хранение паролей пользователей в открытом виде. Расследование инцидента началось около пяти лет назад, когда Meta✴ уведомила Ирландскую комиссию по защите данных (DPC) о том, что хранила пароли некоторых пользователей в незашифрованном виде. В ходе расследования было установлено, что третьи лица не имели доступа к пользовательским данным. «Широко распространено мнение, что пароли пользователей не должны храниться в открытом виде, учитывая риски злоупотреблений, возникающие при доступе к таким данным третьих лиц», — сказано в официальном заявлении заместителя главы DPC Грэма Дойла (Graham Doyle). Представитель Meta✴ рассказал, что компания немедленно приняла необходимые меры для исправления ситуации, как только инцидент был выявлен в процессе проверки безопасности в 2019 году. Он также добавил, что нет никаких доказательств того, что пароли использовались не по назначению и у кого-либо к ним был несанкционированный доступ. В Meta✴ отметили, что компания конструктивно взаимодействовала с DPC на протяжении всего расследования. Напомним, DPC является одним из основных отраслевых регуляторов Евросоюза. К настоящему моменту ведомство оштрафовало Meta✴ на общую сумму в €2,5 млрд за нарушение требований Общего регламента по защите данных (GDPR), вступившего в силу в 2018 году. В 2023 году Meta✴ была оштрафована на рекордные €1,2 млрд, но компания всё ещё пытается оспорить это наказание. Решение «Базис» для облачной защиты виртуальных сред названо лучшим по версии рейтинга CNews
24.09.2024 [12:00],
SN Team
Продукт российского вендора «Базис» — комплексная система защиты виртуальной инфраструктуры Basis Virtual Security — занял первое место в рейтинге CNews «Средства облачной защиты-2024». Это первая сводная оценка данного класса решений в России. Эксперты сопоставили продукты пяти российских разработчиков по восьми критериям, принципиальным для безопасной работы виртуальных сред. Basis Virtual Security набрал наибольшее количество баллов (378), опередив ближайшего конкурента на 54 пункта. При составлении рейтинга аналитики учитывали следующие характеристики: кодовую базу для разработки решения, совместимость с российскими операционными системами, поддержку платформ виртуализации, функциональные возможности, вопросы безопасности, поддержку протоколов при аутентификации пользователей, поддержку протоколов для консолидированного сбора и индексации логов, длительность бесплатного тестового периода и розничную стоимость одной лицензии. Basis Virtual Security — программное средство защиты конфиденциальной информации, в 2020 году получившее сертификат соответствия ФСТЭК. Решение соответствует 4 уровню доверия и может применяться в значимых объектах КИИ первой категории, первых классах ГИС и АСУТП и первом уровне защиты ИСПДН. В продукте реализованы технологии единого входа (Single Sign-On), управление доступом к информационным системам, многофакторная аутентификация и регистрация событий безопасности, а также контроль целостности и доверенная загрузка виртуальных машин и гипервизоров. Горизонтальная масштабируемость системы обеспечивается за счет кластеризации. В сентябре 2024 года была выпущена обновленная версия системы Basis Virtual Security 3.2. Техническая команда вендора добавила в продукт политики реагирования на события нарушения целостности виртуальных машин и возможность выполнения периодических операций контроля целостности. Наряду с этим, удалось повысить производительность подсчёта контрольных сумм файлов виртуальных машин и вычислительных узлов, улучшить пользовательский опыт и обеспечить совместимость с ALD Pro в режиме LDAP-федерации. Россиян обучат кибербезопасности за 820 миллионов рублей
23.09.2024 [20:02],
Сергей Сурабекянц
Министерство цифрового развития анонсировало программу кибергигиены и информационной безопасности для граждан РФ стоимостью 820 миллионов рублей. В рамках национальной программы «Цифровая экономика» запланировано обучение основам кибербезопасности 10,9 миллионов человек. На курсах, вебинарах и в обучающих материалах в медиа и социальных сетях особое внимание будет уделяться повышению осведомлённости о методах защиты личной информации в интернете. 287 миллионов рублей будет потрачено на создание специализированных обучающих порталов для госслужащих. 285 миллионов рублей выделено на научные гранты в сфере информационной безопасности для аспирантов и молодых учёных. На повышение квалификации преподавательского состава будет направлено 199 миллионов рублей. Предусмотрен анализ и оценка актуальности образовательных программ в области кибербезопасности. «Повышение уровня информационной безопасности населения — это важная задача в современном, цифровизированном обществе. Наша компания 4 года назад взяла курс на просвещение в сфере ИБ и за это время успела провести ряд активностей, которые помогали и помогают разобраться широкой аудитории в сложных вопросах инфобеза. Уверен, что дополнительное финансирование, направленное на усиление кибергигиены, в рамках данной национальной программы — это про эффективность, ведь сегодня основы кибербезопасности важно донести до каждого», — говорит эксперт компании «Газинформсервис» Григорий Ковшов. 3-4 октября «Газинформсервис» проводит форум Global Information Security Days 2024, онлайн-трансляция которого доступна после регистрации на официальном сайте. «Газинформсервис» — один из крупнейших в России системных интеграторов в области безопасности и разработчиков средств защиты информации. Компания работает с 2004 года, реализует весь комплекс услуг, необходимых для создания систем информационной безопасности и комплексов инженерно-технических средств охраны любого масштаба. Telegram начнёт раскрывать IP-адреса и номера телефонов преступников органам правопорядка
23.09.2024 [17:34],
Сергей Сурабекянц
Гибкие возможности поиска в Telegram позволяют пользователям легко находить общедоступные каналы и ботов. К сожалению, широкие возможности поиска также были использованы нечистыми на руку людьми, которые нарушили Условия обслуживания мессенджера для продажи незаконных товаров. За последние несколько недель специальная команда модераторов при помощи ИИ сделала поиск в Telegram намного безопаснее, удалив проблемный контент, рассказал Павел Дуров. «Чтобы удержать преступников от злоупотребления поиском, мы ясно дали понять, что IP-адреса и номера телефонов тех, кто нарушает наши правила, могут быть раскрыты соответствующим органам в ответ на обоснованные юридические запросы», — сообщает официальный канал основателя Telegram Павла Дурова. Telegram также сообщил об обновлении Условий обслуживания и Политики конфиденциальности — теперь их единообразие обеспечено по всему миру. Эти меры направлены на то, чтобы отпугнуть преступников. По словам Дурова, «поиск в Telegram предназначен для поиска друзей и новостей, а не для продвижения незаконных товаров. Мы не позволим недобросовестным лицам поставить под угрозу целостность нашей платформы для почти миллиарда пользователей». Пользователи могут сообщить об обнаруженном небезопасном или незаконном контенте в поиске Telegram, отправив сообщение на адрес @SearchReport. Google вводит кроссплатформенную синхронизацию ключей доступа с помощью PIN-кодов
19.09.2024 [22:57],
Анжелла Марина
Компания Google представила безопасную синхронизацию ключей доступа (passkeys) с расширенной поддержкой различных платформ. Помимо устройств Android теперь можно сохранять ключи доступа в Google Password Manager из Windows, macOS, Linux и Android с помощью PIN-кода. Одним из главных нововведений, пишет The Verge, стала упрощённая синхронизация ключей доступа между различными устройствами. Ранее для их использования на других платформах требовалось сканирование QR-кода. Теперь этот процесс заменён вводом PIN-кода, что должно значительно упростить сохранение и использование паролей на устройствах, отличных от Android. «Сегодня мы выпускаем обновления, которые ещё больше упростят использование ключей доступа на ваших устройствах. Теперь вы можете сохранять их в Google Password Manager из Windows, macOS, Linux и Android, а также ChromeOS в бета-версии. После сохранения ключи доступа автоматически синхронизируются на всех устройствах, что делает вход в систему таким же простым, как сканирование отпечатка пальца», — говорится в блоге Google. Новый PIN-код не только делает процесс аутентификации более удобным, но и сохраняет высокий уровень безопасности. Ключи доступа по-прежнему защищены сквозным шифрованием, что гарантирует их недоступность даже для Google. Чтобы их использовать на новом устройстве пользователю достаточно будет разблокировать экран своего Android-устройства или ввести PIN-код для Google Password Manager. Ожидается, что технология PIN-кодов позволит забыть о сложных паролях и сосредоточиться на более простых, но безопасных методах аутентификации. В компании отмечают, что уже с сегодняшнего дня можно создавать пароли для популярных сайтов и приложений, таких как Google, Amazon, PayPal и WhatsApp, так как Google Password Manager встроен в устройства Chrome и Android. Уязвимость PKfail в Secure Boot оказалась более распространённой, чем ожидалось
19.09.2024 [06:39],
Дмитрий Федоров
Масштабная уязвимость в системе безопасности Secure Boot, получившая название PKfail, оказалась гораздо более распространённой, чем предполагалось ранее. Проблема, названная PKfail, затрагивает банкоматы, платёжные терминалы, медицинские устройства, игровые консоли, корпоративные серверы и даже машины для голосования. Использование тестовых ключей платформы в производственных системах на протяжении более 10 лет поставило под угрозу безопасность устройств от ведущих производителей отрасли. Исследователи компании Binarly обнаружили, что количество моделей устройств, использующих скомпрометированные тестовые ключи платформы, возросло с 513 до 972. Среди затронутых производителей — Acer, Dell, Gigabyte, Intel, Supermicro, Aopen, Fornelife, Fujitsu, HP и Lenovo. Ключи, помеченные фразами «DO NOT TRUST» (НЕ ДОВЕРЯТЬ) в сертификатах, никогда не предназначались для использования в промышленных системах, однако оказались внедрены в сотни моделей устройств. Платформенные ключи формируют криптографический якорь доверия (root-of-trust anchor) между аппаратным обеспечением и прошивкой. Они являются фундаментом для Secure Boot — отраслевого стандарта, обеспечивающего криптографическую защиту в предзагрузочной среде устройства. Интегрированный в UEFI (Unified Extensible Firmware Interface), Secure Boot использует криптографию с открытым ключом для блокировки загрузки любого кода, не подписанного предварительно одобренной цифровой подписью. Компрометация этих ключей подрывает всю цепочку безопасности, установленную Secure Boot. Ситуация усугубилась после публикации в 2022 году на GitHub закрытой части одного из тестовых ключей. Это открыло возможность для проведения сложных атак с внедрением руткитов в UEFI устройств, защищённых Secure Boot. Количество моделей, использующих этот конкретный скомпрометированный ключ, выросло с 215 до 490. Всего исследователи выявили около 20 различных тестовых ключей, четыре из которых были обнаружены недавно. Анализ 10 095 уникальных образов прошивок, проведённый с помощью инструмента Binarly, показал, что 8 % (791 образ) содержат непроизводственные ключи. Проблема затрагивает не только персональные компьютеры, но и медицинские устройства, игровые консоли, корпоративные серверы и критически важную инфраструктуру. Ранее все обнаруженные ключи были получены от компании AMI, одного из трёх основных поставщиков комплектов средств разработки (SDK) программного обеспечения (ПО), которые производители устройств используют для настройки прошивки UEFI, чтобы она работала на их конкретных аппаратных конфигурациях. С июля Binarly обнаружил ключи, принадлежащие конкурентам AMI — компаниям Insyde и Phoenix. Binarly также обнаружила, что следующие три производителя также продают устройства, пострадавшие от PKfail:
Уязвимости присвоены идентификаторы CVE-2024-8105 и VU#455367. PKfail не представляет угрозы для устройств, не использующих Secure Boot, но подрывает безопасность систем, где эта защита обязательна — например, у государственных подрядчиков и в корпоративных средах. Хакеры атаковали «Доктор Веб» — компания отключила серверы и приостановила обновление вирусных баз
18.09.2024 [23:45],
Николай Хижняк
Российский разработчик антивирусного ПО «Доктор Веб» (Dr.Web) сообщил о кибератаке на свою внутреннюю сеть, осуществлённой неизвестной стороной в минувшие выходные. После обнаружения «признаков несанкционированного вмешательства» в свою ИТ-инфраструктуру компания отключила все серверы от внутренней сети. Dr.Web также была вынуждена прекратить доставку обновлений вирусных баз клиентам в понедельник на время расследования инцидента. «В субботу 14 сентября специалисты "Доктор Веб" зафиксировали целевую атаку на ресурсы компании. Попытка навредить нашей инфраструктуре была своевременно пресечена. На данный момент в соответствии с протоколом безопасности все ресурсы отключены от сети с целью проверки. В связи с этим временно приостановлен выпуск вирусных баз Dr.Web. Следуя установленным политикам безопасности, мы отключили все наши серверы от сети и начали комплексную диагностику безопасности», — заявил разработчик антивирусного ПО. В новом заявлении, опубликованном в среду, Dr.Web сообщила, что обновление вирусной базы данных возобновилось во вторник. В компании добавили, что нарушение безопасности не затронуло ни одного из её клиентов. «Для анализа и устранения последствий инцидента мы реализовали ряд мер, включая использование Dr.Web FixIt! для Linux. Собранные данные позволили нашим экспертам по безопасности успешно изолировать угрозу и гарантировать, что наши клиенты не пострадают от неё», — заявила компания. Dr.Web не первая российская компания, занимающаяся вопросами кибербезопасности, которая сама подверглась кибератакам за последние годы. Как пишет портал Bleeping Computer, в июне этого года хакеры взломали серверы российской компании по информационной безопасности Avanpost, украли и опубликовали, как они утверждали 390 Гбайт данных и зашифровали более 400 её виртуальных машин. В июне 2023 года компания Kaspersky Lab также сообщила, что использующиеся её сотрудниками смартфоны iPhone были заражены шпионским ПО через эксплойты iMessage zero-click, нацеленные на уязвимости iOS нулевого дня в рамках кампании, которая теперь известна как «Операция “Триангуляция”». На тот момент в компании также заявили, что атаки, затрагивающие её московский офис и сотрудников в разных странах, начались ещё с 2019 года и продолжаются до сих пор. Новая ИИ-модель OpenAI o1 стала не только лучше рассуждать, но и обманывать ради достижения цели
18.09.2024 [08:10],
Дмитрий Федоров
Новая модель OpenAI под названием o1, согласно исследованию фирмы Apollo, демонстрирует необычное поведение — способность генерировать ложную информацию и симулировать выполнение правил. Это означает, что модель, внешне следуя инструкциям, фактически может их игнорировать и даже сознательно обманывать, для достижения целей. Этот аспект вызывает беспокойство у специалистов по безопасности ИИ, несмотря на улучшенные когнитивные способности ИИ-модели. В преддверии выпуска новой «думающей» модели o1 компанией OpenAI фирма Apollo выявила заметную проблему: ИИ-модель производит некорректные результаты новым способом, а фактически «лжёт». Хотя ранее ИИ-модели могли выдавать ложную информацию, o1 обладает уникальной способностью к «манипуляции» или «имитации выравнивания». Генеральный директор Apollo Мариус Хоббхан (Marius Hobbhahn) сообщил, что впервые столкнулся с таким поведением ИИ и считает, что разница связана со способностью модели «рассуждать» через процесс цепочки мыслей и сочетанием этого с обучением с подкреплением, которое обучает систему с помощью поощрений и наказаний. Одним из направлений, в которые он надеется увидеть больше инвестиций, является именно мониторинг цепочек мыслей, что позволит разработчикам выявлять нежелательные действия ИИ. Во время тестирования специалисты Apollo обнаружили, что ИИ-модель симулировала согласованность с ожиданиями разработчиков и манипулировала задачами, чтобы казаться соответствующей поставленным требованиям. Она даже проверяла, следят ли за ней разработчики, перед тем как начать действовать. В итоге ИИ-модель следовала установленным правилам и инструкциям настолько, чтобы ею можно было пользоваться, но, одновременно с этим, продолжала сама определять приоритеты своих задач. Это связано с тем, что для ИИ правила могут быть слишком тяжёлым бременем, и машина, похоже, способна пренебречь ими, если это позволит легче выполнить задачу. В качестве примера исследователи OpenAI попросили o1-preview предоставить рецепт пирожного с онлайн-ссылками. Цепочка мыслей ИИ-модели — функция, которая должна имитировать то, как люди разбивают сложные идеи, — внутренне признала, что не может получить доступ к URL-адресам, что делало запрос исследователей невыполнимым. Однако вместо того чтобы сообщить об этом недостатке, o1-preview сгенерировала правдоподобные, но фальшивые ссылки и их описания. ИИ-модель o1 — это большой шаг на пути к высокоинтеллектуальным автономным системам, которые смогут, например, лечить рак или помогать в исследовании климата. Однако обратная сторона этой утопии может быть гораздо более мрачной. Хоббхан приводит пример: если ИИ будет сосредоточен исключительно на лечении рака, он может поставить эту цель превыше всего, даже оправдывая такие действия, как воровство или другие этические нарушения для её достижения. Согласно отчёту по безопасности, примерно в 0,38 % случаев модель o1-preview предоставляет информацию, которую её цепочка мыслей считает вероятно ложной, включая фальшивые ссылки или цитаты. Apollo обнаружила, что ИИ-модель может фабриковать данные вместо признания своей неспособности выполнить запрос. В редких случаях (0,02 %) o1-preview генерирует чрезмерно уверенные ответы, представляя сомнительную информацию как достоверную. Это может происходить в ситуациях, когда ИИ подталкивают дать ответ, несмотря на отсутствие уверенности в его корректности. Это поведение может быть связано со «взломом вознаграждения» во время обучения с подкреплением. Модель обучена отдавать приоритет удовлетворению пользователя, что иногда приводит к генерации согласованных или сфабрикованных ответов для удовлетворения запросов. Таким образом, модель может «лгать», поскольку усвоила, что это приносит ей положительное подкрепление. Что отличает эти новые ложные ответы от привычных проблем, таких как галлюцинации или фальшивые цитаты в более ранних версиях ChatGPT, так это элемент «взлома вознаграждения». Галлюцинации возникают, когда ИИ непреднамеренно генерирует неверную информацию из-за пробелов в знаниях или ошибочного рассуждения. В отличие от этого, взлом вознаграждения происходит, когда ИИ-модель o1 стратегически предоставляет неверную информацию, чтобы максимизировать результаты, которые она была обучена определять как приоритетные. Согласно отчёту по безопасности, o1 имеет «средний» риск в отношении химического, биологического, радиологического и ядерного оружия. Она не позволяет неспециалистам создавать биологические угрозы из-за отсутствия практических лабораторных навыков, но может предоставить ценную информацию экспертам для воспроизведения таких угроз. «Меня больше беспокоит то, что в будущем, когда мы попросим ИИ решить сложные проблемы, например, вылечить рак или улучшить солнечные батареи, он может настолько сильно усвоить эти цели, что будет готов нарушить свои защитные механизмы, чтобы достичь их. Я думаю, что это можно предотвратить, но мы должны следить за этим», — подчеркнул Хоббхан. Эти опасения могут показаться преувеличенными для ИИ-модели, которая иногда всё ещё испытывает трудности с ответами на простые вопросы, но глава отдела готовности OpenAI Хоакин Киньонеро Кандела (Joaquin Quiñonero Candela) считает, что именно поэтому важно разобраться с этими проблемами сейчас, а не позже. «Современные ИИ-модели не могут автономно создавать банковские счета, покупать GPU или предпринимать действия, представляющие серьёзные риски для общества. Мы знаем из оценок автономности ИИ-моделей, что мы ещё не достигли этого уровня», — отметил Кандела. Кандела подтвердил, что компания уже занимается мониторингом цепочек мыслей и планирует расширить его, объединив модели, обученные выявлять любые несоответствия, с работой экспертов, проверяющих отмеченные случаи, в паре с продолжением исследований в области выравнивания. «Я не беспокоюсь. Она просто умнее. Она лучше соображает. И потенциально она будет использовать эти рассуждения для целей, с которыми мы не согласны», — резюмировал Хоббхан. Водители часто отвлекаются от дороги при использовании частичного автопилота, показало исследование
17.09.2024 [12:05],
Алексей Разин
Как известно, современные автомобили не обладают полным автопилотом, как бы Tesla не пыталась убедить нас в обратном, и самостоятельно они способны выполнять лишь часть задач, но отвлекаться от дороги водителю явно не стоит. Это не мешает пользователям такого рода систем пренебрегать правилами безопасности, как показало исследование IIHS. Страховой институт дорожной безопасности, чья деятельность финансируется участниками американского страхового рынка, проанализировал за месяц поведение пользователей двух систем активной помощи водителю, поставляемых в транспортных средствах Tesla (Autopilot) и Volvo (Pilot Assist) соответственно. Исследователи пришли к выводу, что водители при использовании таких систем довольно быстро начинают пренебрегать правилами безопасности и формально подходить к требованиям, предъявляемым разработчиками таких систем. Например, если от водителя требуется раз в несколько секунд касаться рулевого колеса, то он будет делать это без особой концентрации на дорожной обстановке, просто чтобы усыпить бдительность контролирующей его автоматики. Водители довольно быстро адаптируются к предусмотренным разработчиками систем автопилота ограничениям, чтобы заниматься во время поездки делами, отвлекающими их от дороги. Системы, частично автоматизирующие процесс управления транспортными средствами, по мнению авторов исследования, нуждаются в более тщательной разработке условий, предотвращающих их некорректное и опасное использование. В случае с Tesla исследование подразумевало слежение за 14 пользователями, которые в общей сложности преодолели более 19 300 км с активированной системой Autopilot, на протяжении эксперимента сигнал о необходимости следить за дорогой применялся 3858 раза. В среднем водители реагировали на эти сигналы в течение трёх секунд, обычно прилагая некоторое усилие к рулевому колесу, чтобы избежать усугубления претензий со стороны автоматики. В случае с Volvo наблюдение велось за 29 водителями, которые во время работы системы частичной автоматизации вождения Pilot Assist отвлекались от дороги 30 % времени. Этот показатель авторы исследования сочли «чрезмерно высоким». Ранее опрос IIHS, проведённый среди 600 водителей, выявил излишнюю уверенность респондентов в надёжности работы автоматики в 53 % случаев, если ориентироваться на пользователей бортовых систем GM. Среди водителей машин Tesla показатель достигал 42 %, а у водителей Nissan он не превысил 12 %. Авторы исследования тогда выразили мнение, что большинство водителей плохо понимают границы безопасного применения новых технологий. OpenAI создала независимое подразделение для приостановки выпуска опасных ИИ-моделей
17.09.2024 [06:24],
Дмитрий Федоров
OpenAI объявила о реорганизации своего комитета по безопасности и защите в независимый наблюдательный орган совета директоров. Новая структура получила беспрецедентные полномочия, включая право приостановки релизов ИИ-моделей по соображениям безопасности. Решение было принято по итогам 90-дневного анализа процедур и мер безопасности компании, отражая растущее внимание к этическим аспектам развития ИИ. Согласно OpenAI, в трансформированный комитет, возглавляемый Зико Колтером (Zico Kolter), также входят Адам Д'Анджело (Adam D'Angelo), Пол Накасоне (Paul Nakasone) и Николь Селигман (Nicole Seligman). Примечательно, что Сэм Альтман (Sam Altman), генеральный директор OpenAI, больше не входит в его состав. Новая структура будет получать информацию от руководства компании об оценке безопасности основных релизов ИИ-моделей и, вместе с полным составом совета директоров, будет осуществлять надзор за их запуском, включая право отложить релиз до устранения проблем с безопасностью. Полный состав совета директоров OpenAI также будет получать периодические брифинги по вопросам безопасности и защиты. Структура нового комитета вызывает вопросы о степени его независимости, учитывая, что все его члены входят в состав совета директоров OpenAI. Это отличает его от наблюдательного совета Meta✴, члены которого полностью независимы от совета директоров корпорации. Наблюдательный совет Meta✴ обладает полномочиями пересматривать решения по контентной политике и выносить обязательные для исполнения решения, тогда как комитет OpenAI фокусируется лишь на оценке безопасности ИИ-моделей перед их выходом. 90-дневный анализ процессов безопасности OpenAI выявил дополнительные возможности для сотрудничества в индустрии ИИ и обмена информацией. Компания заявила о намерении расширить обмен данными о своей работе в области безопасности и увеличить возможности для независимого тестирования систем. Однако конкретные механизмы реализации этих намерений пока не раскрыты. Microsoft закроет антивирусам доступ к ядру Windows, чтобы не было новых глобальных сбоев
13.09.2024 [08:36],
Дмитрий Федоров
Microsoft раскрыла детали закрытого саммита по безопасности Windows Endpoint Security Ecosystem Summit, организованного в ответ на масштабный сбой Windows, произошедший в июле из-за некорректного обновления антивирусного ПО CrowdStrike. На нём компания обсудила с партнёрами разработку в Windows новой платформы, специально предназначенной для антивирусного мониторинга, вытесняя продукты безопасности из ядра операционной системы (ОС). Компания подчеркнула: «Хотя это не было совещанием для принятия решений, мы верим в важность прозрачности и взаимодействия с сообществом». Примечательно, что саммит был закрыт для журналистов, что подчёркивает его техническую направленность. Ключевой причиной июльского инцидента стал привилегированный доступ антивирусного ПО к ядру Windows — критическому компоненту ОС. Этот механизм, позволяющий антивирусам эффективно отслеживать вредоносные изменения в глубинах системы, одновременно представляет потенциальную угрозу для её стабильности. В случае с CrowdStrike сбой в механизмах валидации обновлений позволил проскочить ошибке, что привело к сбою Windows на компьютерах по всему миру. Изначально Microsoft рассматривала возможность полного отзыва доступа к ядру для сторонних программ, что могло бы трансформировать Windows в более закрытую ОС, подобную Apple macOS. Однако по итогам саммита компания отказалась от столь радикальных мер. Вместо этого Microsoft сосредоточится на разработке новой платформы, предоставляющей расширенные возможности безопасности вне режима ядра, тем самым пойдя на встречу своим клиентам и партнёрам. На саммите Microsoft и её партнёры детально обсудили технические аспекты создания новой платформы. Ключевыми темами стали обеспечение производительности вне режима ядра, разработка механизмов защиты от несанкционированного доступа для программ безопасности и определение требований к сенсорам безопасности для антивирусного мониторинга. Microsoft подчеркнула долгосрочный характер проекта по разработке нового уровня безопасности Windows в тесном сотрудничестве с партнёрами по экосистеме. |
✴ Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»; |