Сегодня 19 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Google стала на шаг ближе к ИИ, который думает как человек — представлена архитектура Titans

Более семи лет назад Google совершила прорыв, разработав архитектуру нейросетей «трансформер» (Transformer), которая сейчас лежит в основе приложений генеративного искусственного интеллекта, включая OpenAI ChatGPT. Теперь компания представила новую архитектуру Titans — это новый шаг на пути к ИИ, способному мыслить как человек.

 Источник изображения: BoliviaInteligente / unsplash.com

Источник изображения: BoliviaInteligente / unsplash.com

Архитектура Transformer лишена долговременной памяти, что ограничивает её способность сохранять и использовать информацию в течение длительных периодов времени, хотя это является неотъемлемой чертой человеческого мышления. Titans предусматривает возможность нейронной долговременной памяти, кратковременной памяти и системы обучения на основе «сюрпризов» — всем этим человек пользуется, чтобы запоминать неожиданные или очень важные события.

У Transformer предусмотрен своего рода «прожектор» — механизм, позволяющий ИИ выделять наиболее важные слова в предложении и фрагменты набора данных в любой момент времени. Он есть и в Titans, но работает он совместно с огромной библиотекой — модулем долговременной памяти, который отвечает за хранение важной информации. Этот механизм напоминает студента, который может вернуться к записям, сделанным в начале семестра, а не пытается запомнить всё и сразу.

Фокус внимания на актуальных деталях и возможность обратиться к сохранённым знаниям позволяют Titans обрабатывать огромные объёмы информации, не упуская важных подробностей. Обладая интеллектуальной «метрикой сюрпризов», помогающей расставлять приоритеты на ключевых фрагментах данных, Titans превосходит существующие модели ИИ в различных задачах: в моделировании языка, составлении прогнозов и моделировании ДНК. Новая архитектура, таким образом, приближает ИИ к механизмам человеческого познания.

 Источник изображения: Google DeepMind / unsplash.com

Способность ИИ нового образца сохранять обширный контекст поможет ему произвести революцию в исследованиях, например, отслеживая научную литературу; или обнаруживать аномалии в огромных наборах данных, в медицине или финансах, потому что система «помнит», что является нормой, и выделяет то, что относится к «сюрпризам».

Новая архитектура отчасти повторяет человеческие когнитивные процессы — помимо краткосрочной и долговременной памяти, это способность «забывать» менее важную информацию и более точно расставлять приоритеты. Так и человек легче запоминает события, которые нарушают его ожидания — данная особенность поможет создавать более тонкие и зависимые от контекста системы ИИ. Современные системы на архитектуре Transformer способны обрабатывать запросы с контекстом до 2 млн токенов, тогда как Titans остаются эффективными и выше этого предела, сохраняя высокую точность при огромных объёмах входных данных.

Механизм «метрики сюрпризов» позволяет системе определить, какую информацию следует записать в долговременную память — приоритет отдаётся элементам, которые нарушают ожидания. Это не только отражает когнитивные механизмы человека, но и является новым решением для управления ограниченными ресурсами памяти в области ИИ. Ранние тесты систем на архитектуре Titans показали многообещающие результаты в ряде задач, например, в задачах, связанных с извлечением указанной информации из огромных текстов: при увеличении длины контекста существующие модели демонстрируют резкое падение точности, тогда как новая архитектура сохраняет показатели.

Следует, однако, отметить, что технология Titans пока находится на ранней стадии, и при её развёртывании в практических приложениях не исключается возникновение сложностей. Рано судить о системных требованиях для вычислительных алгоритмов, эффективности обучения и возможных угрозах — всё это будет проясняться по мере развития технологии. А способность ИИ сохранять и оценивать информацию может поднять вопросы о конфиденциальности, механизмах обработки данных и о непредсказуемом поведении систем ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: South of Midnight — соткана по лекалам. Рецензия 12 ч.
Спустя восемь лет «беты» Escape from Tarkov взяла курс на версию 1.0 — план обновлений игры на 2025 год 14 ч.
ChatGPT научился использовать воспоминания о пользователе для персонализации веб-поиска 14 ч.
Создатели следующей Battlefield рассказали о новом «языке разрушения» и показали его в деле 15 ч.
Глава Microsoft Gaming Фил Спенсер намекнул на продолжение Indiana Jones and the Great Circle 16 ч.
Разработчики Everspace 2 решили снизить цену на дополнение Wrath of the Ancients, потому что «вокруг дорожает буквально всё» 17 ч.
Google обжалует «неблагоприятное» решение суда о признании её монополистом в интернет-рекламе 18 ч.
84 % россиян выходят в интернет каждый день, подсчитал Mediascope 18 ч.
Cloud.ru представил первый в России управляемый облачный сервис для инференса ИИ-моделей — Evolution ML Inference 20 ч.
Автор Loretta раскрыл дату выхода новой игры — хоррор-стратегии Anoxia Station про погоню за нефтью в недрах умирающей Земли 23 ч.
Официально: Nothing Phone (3) выйдет в третьем квартале 17 мин.
Doogee представила тонкие смартфоны с проекторами и другие новинки на выставке Global Sources в Гонконге 24 мин.
Китай сделал шаг к колонизации Луны и Марса, создав соответствующую спутниковую сеть навигации и связи 46 мин.
Daimler рассчитывает вывести беспилотные грузовики на дороги США в 2027 году 5 ч.
Nvidia и AMD по итогам года потеряют из-за санкций против Китая до $18 млрд 6 ч.
HP отделалась выплатой $4 млн по иску о завышенных ценах и фиктивных скидках 18 ч.
Xiaomi представила компактный домашний проектор Redmi 3 Lite за $100 18 ч.
Nintendo Switch 2 избежала подорожания, несмотря на новые пошлины США — аксессуары тем же похвастаться не могут 18 ч.
Western Digital запустила в США масштабную программу извлечения редкоземельных элементов из HDD — уже переработано почти 23 т дисков Microsoft 19 ч.
Физики обнаружили аномальный эффект Холла в неожиданном месте 20 ч.