Сегодня 12 февраля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Google стала на шаг ближе к ИИ, который думает как человек — представлена архитектура Titans

Более семи лет назад Google совершила прорыв, разработав архитектуру нейросетей «трансформер» (Transformer), которая сейчас лежит в основе приложений генеративного искусственного интеллекта, включая OpenAI ChatGPT. Теперь компания представила новую архитектуру Titans — это новый шаг на пути к ИИ, способному мыслить как человек.

 Источник изображения: BoliviaInteligente / unsplash.com

Источник изображения: BoliviaInteligente / unsplash.com

Архитектура Transformer лишена долговременной памяти, что ограничивает её способность сохранять и использовать информацию в течение длительных периодов времени, хотя это является неотъемлемой чертой человеческого мышления. Titans предусматривает возможность нейронной долговременной памяти, кратковременной памяти и системы обучения на основе «сюрпризов» — всем этим человек пользуется, чтобы запоминать неожиданные или очень важные события.

У Transformer предусмотрен своего рода «прожектор» — механизм, позволяющий ИИ выделять наиболее важные слова в предложении и фрагменты набора данных в любой момент времени. Он есть и в Titans, но работает он совместно с огромной библиотекой — модулем долговременной памяти, который отвечает за хранение важной информации. Этот механизм напоминает студента, который может вернуться к записям, сделанным в начале семестра, а не пытается запомнить всё и сразу.

Фокус внимания на актуальных деталях и возможность обратиться к сохранённым знаниям позволяют Titans обрабатывать огромные объёмы информации, не упуская важных подробностей. Обладая интеллектуальной «метрикой сюрпризов», помогающей расставлять приоритеты на ключевых фрагментах данных, Titans превосходит существующие модели ИИ в различных задачах: в моделировании языка, составлении прогнозов и моделировании ДНК. Новая архитектура, таким образом, приближает ИИ к механизмам человеческого познания.

 Источник изображения: Google DeepMind / unsplash.com

Способность ИИ нового образца сохранять обширный контекст поможет ему произвести революцию в исследованиях, например, отслеживая научную литературу; или обнаруживать аномалии в огромных наборах данных, в медицине или финансах, потому что система «помнит», что является нормой, и выделяет то, что относится к «сюрпризам».

Новая архитектура отчасти повторяет человеческие когнитивные процессы — помимо краткосрочной и долговременной памяти, это способность «забывать» менее важную информацию и более точно расставлять приоритеты. Так и человек легче запоминает события, которые нарушают его ожидания — данная особенность поможет создавать более тонкие и зависимые от контекста системы ИИ. Современные системы на архитектуре Transformer способны обрабатывать запросы с контекстом до 2 млн токенов, тогда как Titans остаются эффективными и выше этого предела, сохраняя высокую точность при огромных объёмах входных данных.

Механизм «метрики сюрпризов» позволяет системе определить, какую информацию следует записать в долговременную память — приоритет отдаётся элементам, которые нарушают ожидания. Это не только отражает когнитивные механизмы человека, но и является новым решением для управления ограниченными ресурсами памяти в области ИИ. Ранние тесты систем на архитектуре Titans показали многообещающие результаты в ряде задач, например, в задачах, связанных с извлечением указанной информации из огромных текстов: при увеличении длины контекста существующие модели демонстрируют резкое падение точности, тогда как новая архитектура сохраняет показатели.

Следует, однако, отметить, что технология Titans пока находится на ранней стадии, и при её развёртывании в практических приложениях не исключается возникновение сложностей. Рано судить о системных требованиях для вычислительных алгоритмов, эффективности обучения и возможных угрозах — всё это будет проясняться по мере развития технологии. А способность ИИ сохранять и оценивать информацию может поднять вопросы о конфиденциальности, механизмах обработки данных и о непредсказуемом поведении систем ИИ.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Baidu запустит мощный ИИ нового поколения во второй половине 2025 года 10 мин.
Хакеры стали уделять больше внимания взлому менеджеров паролей 15 мин.
США, Великобритания и Австралия ввели санкции против российского хостинга Zservers и его администраторов 2 ч.
Alan Wake 2 наконец начала приносить Remedy прибыль — продажи игры достигли новой вершины 3 ч.
Совет директоров OpenAI так и не получил официального предложения о покупке от Илона Маска 4 ч.
Жутковатое приключение Centum сотрёт границу между реальностью и вымыслом уже совсем скоро — дата выхода и новый трейлер 5 ч.
ChatGPT и другие ИИ-боты оказались ужасными пересказчиками новостей, показало исследование BBC 6 ч.
PlayStation и Kojima Productions проведут специальную презентацию Death Stranding 2: On The Beach 7 ч.
AMD выпустила бету графического драйвера с поддержкой Civilization VII, Avowed, Monster Hunter Wilds и Like a Dragon: Pirate Yakuza in Hawaii 8 ч.
Google раскрыла дату проведения мероприятия I/O 2025 через игру-головоломку 12 ч.
Китаянка подала в суд на Tesla за неисправные тормоза и теперь должна компании $23 000 12 мин.
Смартфон Samsung Galaxy A56 показался на утекших изображениях с толстыми рамками вокруг экрана 16 мин.
Cisco представила умные коммутаторы N9300 на базе DPU AMD Pensando и ASIC Silicon One E100 17 мин.
Китайские производители чипов урежут траты на закупку оборудования в этом году 4 ч.
Тарифы Трампа сработали: TSMC ускорит запуск производства 3-нм чипов в США 4 ч.
Мобильная связь подорожала в России на 4 % в прошлом году и в 2025-м «актуализация тарифов» продолжается 4 ч.
SpaceX доставит россиянина, японца и двух американок на МКС раньше, чем планировалось — это ускорит возвращение застрявших астронавтов 5 ч.
Чили изучает возможность прокладки подводного интернет-кабеля до Антарктиды 5 ч.
iXsystems представила СХД TrueNAS H30 с возможностью создания гибридных и All-Flash конфигураций 6 ч.
Tencent Cloud открыла в Саудовской Аравии свой первый облачный регион на Ближнем Востоке 6 ч.