Сегодня 12 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Google стала на шаг ближе к ИИ, который думает как человек — представлена архитектура Titans

Более семи лет назад Google совершила прорыв, разработав архитектуру нейросетей «трансформер» (Transformer), которая сейчас лежит в основе приложений генеративного искусственного интеллекта, включая OpenAI ChatGPT. Теперь компания представила новую архитектуру Titans — это новый шаг на пути к ИИ, способному мыслить как человек.

 Источник изображения: BoliviaInteligente / unsplash.com

Источник изображения: BoliviaInteligente / unsplash.com

Архитектура Transformer лишена долговременной памяти, что ограничивает её способность сохранять и использовать информацию в течение длительных периодов времени, хотя это является неотъемлемой чертой человеческого мышления. Titans предусматривает возможность нейронной долговременной памяти, кратковременной памяти и системы обучения на основе «сюрпризов» — всем этим человек пользуется, чтобы запоминать неожиданные или очень важные события.

У Transformer предусмотрен своего рода «прожектор» — механизм, позволяющий ИИ выделять наиболее важные слова в предложении и фрагменты набора данных в любой момент времени. Он есть и в Titans, но работает он совместно с огромной библиотекой — модулем долговременной памяти, который отвечает за хранение важной информации. Этот механизм напоминает студента, который может вернуться к записям, сделанным в начале семестра, а не пытается запомнить всё и сразу.

Фокус внимания на актуальных деталях и возможность обратиться к сохранённым знаниям позволяют Titans обрабатывать огромные объёмы информации, не упуская важных подробностей. Обладая интеллектуальной «метрикой сюрпризов», помогающей расставлять приоритеты на ключевых фрагментах данных, Titans превосходит существующие модели ИИ в различных задачах: в моделировании языка, составлении прогнозов и моделировании ДНК. Новая архитектура, таким образом, приближает ИИ к механизмам человеческого познания.

 Источник изображения: Google DeepMind / unsplash.com

Способность ИИ нового образца сохранять обширный контекст поможет ему произвести революцию в исследованиях, например, отслеживая научную литературу; или обнаруживать аномалии в огромных наборах данных, в медицине или финансах, потому что система «помнит», что является нормой, и выделяет то, что относится к «сюрпризам».

Новая архитектура отчасти повторяет человеческие когнитивные процессы — помимо краткосрочной и долговременной памяти, это способность «забывать» менее важную информацию и более точно расставлять приоритеты. Так и человек легче запоминает события, которые нарушают его ожидания — данная особенность поможет создавать более тонкие и зависимые от контекста системы ИИ. Современные системы на архитектуре Transformer способны обрабатывать запросы с контекстом до 2 млн токенов, тогда как Titans остаются эффективными и выше этого предела, сохраняя высокую точность при огромных объёмах входных данных.

Механизм «метрики сюрпризов» позволяет системе определить, какую информацию следует записать в долговременную память — приоритет отдаётся элементам, которые нарушают ожидания. Это не только отражает когнитивные механизмы человека, но и является новым решением для управления ограниченными ресурсами памяти в области ИИ. Ранние тесты систем на архитектуре Titans показали многообещающие результаты в ряде задач, например, в задачах, связанных с извлечением указанной информации из огромных текстов: при увеличении длины контекста существующие модели демонстрируют резкое падение точности, тогда как новая архитектура сохраняет показатели.

Следует, однако, отметить, что технология Titans пока находится на ранней стадии, и при её развёртывании в практических приложениях не исключается возникновение сложностей. Рано судить о системных требованиях для вычислительных алгоритмов, эффективности обучения и возможных угрозах — всё это будет проясняться по мере развития технологии. А способность ИИ сохранять и оценивать информацию может поднять вопросы о конфиденциальности, механизмах обработки данных и о непредсказуемом поведении систем ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Франция возбудила уголовное дело в отношении соцсети X по подозрению в манипулировании алгоритмами 25 мин.
Китайский стартап Moonshot выпустил открытую ИИ-модель Kimi K2, превосходящую GPT-4 3 ч.
Microsoft представила рассуждающую ИИ-модель Phi-4-mini-flash-reasoning— в 10 раз быстрее аналогов и запустится даже на смартфоне 9 ч.
ИИ-боты оказались никудышными психотерапевтами — они давали вредные советы и отказывались общаться с алкоголиками 9 ч.
Meta не откажется от бизнес-модели «плати или соглашайся», несмотря на угрозу штрафов в ЕС 10 ч.
Российские учёные усовершенствовали MP3 10 ч.
Meta пополнила коллекцию ИИ-талантов, поглотив специализирующийся на голосовом ИИ стартап PlayAI 10 ч.
Поглощение ИИ-стартапа Windsurf компанией OpenAI сорвалось и специалистов тут же переманила Google 11 ч.
В Windows 11 появилась функция быстрого самовосстановления 12 ч.
OpenAI снова отложила выпуск «феноменальной» открытой ИИ-модели 12 ч.
SpaceX добилась, чтобы спутники Starlink не мешали работе обсерватории им. Веры Рубин 32 мин.
Intel сократит 2400 работников в своём крупнейшем центре разработки в Орегоне 5 ч.
Китайская многоразовая ракета из нержавейки отправится в полёт в четвёртом квартале 6 ч.
Нет чипов — нет ЦОД: строящиеся ради ИИ электростанции могут так и не пригодиться 6 ч.
От 100GbE до 800GbE, недорого: стартап TORmem обещает трансформировать рынок ЦОД-коммутаторов 8 ч.
Tesla попытается выбраться из кризиса, запустив продажи электромобилей в Индии 9 ч.
Зонд NASA Parker сфотографировал Солнце с рекордно близкого расстояния 12 ч.
Главный дизайнер Xiaomi пояснил, что внешность электромобилей должна оставлять эмоциональный след 16 ч.
Глава Nvidia стал седьмым самым богатым человеком в мире 17 ч.
Сенаторы рекомендовали главе Nvidia не встречаться в Китае с представителями компаний, которые США пытаются душить санкциями 17 ч.