Самым сильным «кадровым пылесосом» современности в сфере искусственного интеллекта принято считать компанию Meta✴ Platforms Марка Цукерберга (Mark Zuckerberg), которая ценные кадры в этой области готова привлекать при помощи весьма щедрых компенсационных пакетов. Как сообщается, один из основателей стартапа Thinking Machines Lab недавно перешёл на работу в Meta✴.

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Пять причин полюбить HONOR Magic7 Pro

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

Пять причин полюбить HONOR Pad V9

Фитнес-браслет HUAWEI Band 10: настоящий металл

Почему ИИ никак не сесть на безматричную диету

Пять причин полюбить HONOR X8c

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Об этом в конце недели сообщило издание The Wall Street Journal, имея в виду математика австралийского происхождения Эндрю Таллоча (Andrew Tulloch), который стоял у истоков основанного бывшим техническим директором OpenAI Мирой Мурати (Mira Murati) стартапа Thinking Machines. Представители последнего подтвердили уход Таллоча из компании, обосновав его некими «личными мотивами». Источник утверждает, что на новом месте работы Таллочу обещано вознаграждение в размере до $1,5 млрд за ближайшие шесть лет работы.

Ранее Цукерберг пытался убедить Миру Мурати продать ему её стартап, но после получения отказа начал переманивать ценных сотрудников, поочерёдно обратившись к более чем десятку из них. По всей видимости, обещания Цукерберга повлияли на Таллоча нужным образом, после чего он решил перейти на работу в Meta✴. Компания OpenAI также является целью Цукерберга, когда речь идёт о переманивании сотрудников, хотя нельзя утверждать, что все «перебежчики» в итоге довольны принятым решением присоединиться к команде разработчиков Meta✴.

Бывшая технический директор OpenAI Мира Мурати (Mira Murati) учредила Thinking Machines Lab — собственный стартап в области искусственного интеллекта, который уже привлёк от инвесторов $2 млрд, не анонсировав ни одного продукта. В минувшую среду компания всё-таки рассказала об одном из своих проектов — она намеревается разработать модель ИИ, способную воспроизводить собственные ответы. Это оказалось не так просто.

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Почему ИИ никак не сесть на безматричную диету

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Пять причин полюбить HONOR Magic7 Pro

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

Пять причин полюбить HONOR Pad V9

Пять причин полюбить HONOR X8c

Фитнес-браслет HUAWEI Band 10: настоящий металл

Источник изображения: Steve Johnson / unsplash.com

В корпоративном блоге Thinking Machines Lab появилась публикация под заголовком «Преодоление нестабильности в ответах больших языковых моделей». Работающий в компании исследователь Хорас Хэ (Horace He) пытается раскрыть первопричину фактора случайности в ответах моделей ИИ: если задать, например, ChatGPT один и тот же вопрос несколько раз, чат-бот будет всегда отвечать по-разному. Сообщество ИИ приняло эту особенность как данность, современные модели считаются недетерминированными системами, но в Thinking Machines Lab считают проблему решаемой.

Хорас Хэ указывает, что первопричина случайного фактора в работе моделей ИИ кроется в механизме взаимодействия между графическими ядрами — запущенными на чипах Nvidia алгоритмами — в процессе инференса, то есть вывода системы ИИ. Если обеспечить тщательный контроль над этим механизмом, можно повысить уровень определённости в работе моделей. В результате увеличится и надёжность ответов ИИ для потребителей, предприятий и учёных. Добившись воспроизводимости, можно повысить также качество обучения с подкреплением — процесса, при котором ИИ получает вознаграждение за правильные ответы: если все они имеют небольшие отличия, то в данных на выходе возникает информационный шум. Когда же ответы моделей ИИ оказываются более согласованными, то и процесс обучения с подкреплением становится более «гладким», рассуждает учёный.

Источник изображения: thinkingmachines.ai

Ранее Thinking Machines Lab сообщила инвесторам, что намеревается предлагать бизнесу модели ИИ, прошедшие настройку с помощью обучения с подкреплением. Первый продукт Мира Мурати пообещала представить в ближайшие месяцы, отметив, что он будет «полезен для исследователей и стартапов, разрабатывающих собственные модели». Что это за продукт, и будут ли применяться при его разработке указанные в новом материале методы повышения воспроизводимости результатов, ясности пока нет. Компания также заявила о планах часто публиковать в блоге записи с программным кодом и другой информацией о своих исследованиях, чтобы «приносить пользу обществу, а также повышать нашу собственную культуру научных разработок».

На момент создания Thinking Machines Lab брала на себя обязательство проводить открытую политику в отношении собственных исследований, но по мере роста компания становилась всё более закрытой. Публикация даёт редкую возможность заглянуть за кулисы одного из самых засекреченных стартапов отрасли — точного направления развития технологии пока не даётся, но есть повод утверждать, что Thinking Machines Lab занялась решением одной из важнейших задач в области ИИ. Настоящей проверкой для неё будет ответ на вопрос, способна ли она решать такие задачи и создавать на основе этих исследований продукты, оправдывающие оценку компании в $12 млрд.