Сегодня 28 марта 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → dojo

Tesla потеряла главу отдела ИИ — Тим Заман перешёл в Google DeepMind

Тим Заман (Tim Zaman) ушёл из автомобильной компании Tesla, где с 2019 года возглавлял отдел AI Infra и принимал активное участие в создании суперкомпьютеров Dojo на базе специальных чипов Tesla D1. Одновременно c этой деятельностью он почти год курировал отдел машинного обучения в X (ранее Twitter). После приобретения Илоном Маском (Elon Musk) компании Twitter, он привлёк многих сотрудников Tesla к работе «по совместительству» в этой социальной сети.

 Источник изображения: Pixabay

Источник изображения: Pixabay

Тим Заман объявил о переходе из Tesla в компанию Google через несколько дней после того, как Google DeepMind представила нейросеть Gemini, свой ответ на серию больших языковых моделей OpenAI GPT. «В этот понедельник я присоединяюсь к Google DeepMind. Рад быть ребёнком среди легенд! — заявил Заман. — С 2016 года работал в NVIDIA, с 2019 — в Tesla. Теперь моя интуиция подводит меня к следующему предприятию, в котором есть ингредиенты, чтобы снова изменить мир».

 Тим Заман о себе на своём сайте www.timzaman.nl

Тим Заман о себе на своём сайте www.timzaman.nl

Осведомлённые аналитики утверждают, что на решение Замана о переходе в Google DeepMind повлиял уход из Tesla руководителя проекта Dojo Ганеша Венкатараманана (Ganesh Venkataramanan). Под названием Dojo были представлены несколько суперкомпьютеров Tesla, в которых используются специальные чипы Tesla D1, разработанные командой Венкатараманана и изготовленные TSMC.

Dojo были анонсированы в 2021 году, а первый суперкомпьютер был запущен в эксплуатацию в 2022 году. Он содержит около 3000 чипов D1, что обеспечивает общую производительность 1,1 эксафлопс для вычислений смешанной точности (BF16/CFP8). В настоящее время Tesla развернула несколько своих суперкомпьютеров Dojo в различных центрах обработки данных и создаёт собственный вычислительный центр в штаб-квартире в Остине, штат Техас.

TSMC активно наращивает выпуск гигантских чипов для суперкомпьютера Tesla Dojo

В конце августа прошлого года компания Tesla рассказала об архитектуре своей суперкомпьютерной системы Dojo, которая будет применяться для работы с фирменными системами искусственного интеллекта, ориентированными на машинное зрение и автоматическое управление транспортом. Как отмечают тайваньские источники, компоненты для этого суперкомпьютера Tesla заказывает у TSMC весьма активно.

 Источник изображений: Tesla

Источник изображений: Tesla

Основной компонент, на котором строится суперкомпьютер Tesla Dojo — это чип D1 собственной разработки, который представляет собой «систему-на-пластине», то есть занимает целую 300-мм кремниевую пластину, на которой размещается 25 ускорителей и другие функциональные элементы. Его компания TSMC производит по 7-нм технологии и упаковывает особым образом, что уже стало нормой для ускорителей вычислений. В этом году Tesla собирается закупить у TSMC около 5000 таких чипов, в следующем году она намерена удвоить количество до 10 000 чипов, а также продолжить наращивание закупок уже в 2025 году.

Для TSMC увеличение объёмов заказов на выпуск 7-нм продукции является положительной тенденцией, поскольку на фоне снижения спроса на компоненты для смартфонов данное направление деятельности страдало от снижения уровня загрузки производственных линий. По крайней мере, в следующем году за счёт заказов Tesla и прочих клиентов степень загрузки линий на 7-нм направлении вырастет до оптимальных величин. К концу 2024 года Tesla намеревается довести уровень производительности своего суперкомпьютера Dojo до 100 эксафлопс, поэтому процесс масштабирования системы продолжается.

Tesla запустила производство суперкомпьютеров Dojo и за 15 месяцев хочет достичь производительности в 100 Эфлопс

Tesla сообщила о запуске производства суперкомпьютера собственной разработки Dojo, предназначенного для обучения систем автопилота. Компания собирается потратить на проект $1 млрд. Компания рассчитывает уже к октябрю следующего года преодолеть барьер в 100 Эфлопс производительности — это более чем в 60 раз мощнее самого мощного суперкомпьютера на сегодняшний день.

 Источник изображения: Tesla

Источник изображения: Tesla

В финансовом отчёте Tesla по результатам II квартала 2023 года говорится: «Для решения проблемы автономных транспортных средств необходимы четыре основных технологических столпа: чрезвычайно большой набор данных из реального мира, обучение нейросети, аппаратное и программное обеспечение для транспортных средств. Мы разрабатываем каждый из этих столпов силами компании. В этом месяце мы сделаем шаг к более быстрому и дешёвому обучению нейросети с запуском производства нашего обучающего компьютера Dojo».

В распоряжении компании уже есть суперкомпьютер на базе ускорителей NVIDIA, один из самых больших в мире, но в суперкомпьютере Dojo используются чипы, разработанные инженерами Tesla. Проект был анонсирован в 2019 году — тогда же глава компании сообщил, как будет назваться система.

В 2021 году Илон Маск (Elon Musk) рассказал, что работа над суперкомпьютером идёт полным ходом, а год спустя раскрыл технические характеристики Dojo: основу платформы составляют «системы-на-пластине» (System-On-Wafer) — чип представляет собой целую 300-мм кремниевую пластину. Сама Tesla называет их Training Tile. Каждая пластина включает 25 ускорителей D1, и потребляет 15 кВт энергии.

Одна стойка с шестью такими пластинами будет обеспечивать производительность в 100 Пфлопс, и получается, что всего десяток стоек обеспечит производительность в 1 Эфлопс, то есть 1 квинтильон операций на числах с плавающей запятой в секунду. Tesla планирует к октябрю 2024 года достичь производительности в 100 Эфлопс для всех своих систем вместе взятых. Для сравнения, самый мощный суперкомпьютер на текущий момент — Frontier — обладает пиковой вычислительной мощностью в 1,679 Эфлопс.

«Наше стремление быть на острие разработки ИИ помогло открыть новую главу с началом производства обучающих компьютеров Dojo. Надеемся, что наши огромные потребности в обучении нейросетей будут удовлетворены оборудованием Dojo собственной разработки. Чем выше способность нейросети к обучению, тем больше возможностей для внедрения новых решений нашим подразделением Autopilot», — добавили в Tesla.

Tesla представила суперкомпьютер Dojo — он настолько мощный, что обрушил энергосистему в Пало-Альто

Tesla представила последнюю версию суперкомпьютера под названием Dojo, который является собственной разработкой компании и оптимизирован под алгоритмы искусственного интеллекта, в частности для машинного обучения с использованием видеоданных, поступающих от электромобилей автопроизводителя. Сообщается, что система настолько мощная, что даже отключила энергосистему в Пало-Альто во время презентации.

 Источник изображения: Tesla

Источник изображений: Tesla

В арсенале Tesla уже имеется большой суперкомпьютер на основе графических процессоров NVIDIA, входящий в число самых мощных в мире. Однако Dojo изготовлен по индивидуальному заказу автопроизводителя, в нём используются чипы, разработанные силами самой Tesla и заточенные под её задачи.

Ожидается, что новый суперкомпьютер расширит возможности в плане обучения нейронных сетей с помощью видеоданных, что имеет решающее значение для технологии компьютерного зрения, которая является основой системы автономного вождения Tesla.

Для построения Tesla Dojo использовались «системы-на-пластине» (System-On-Wafer), т.е. чип представляет собой целую кремниевую пластину (Training Tile в терминологии Tesla). На каждой такой пластине размещено 25 ускорителей D1 и 40 модулей ввода-вывода. В дополнение к этому имеются подсистемы питания и охлаждения. По данным Tesla, одна пластина Dojo может заменить шесть блоков графических процессоров, причём производство одной пластины дешевле в сравнении с блоком графических процессоров.

В одном системном лотке размещается шесть кремниевых пластин. По данным Tesla, один лоток эквивалентен «3-4 полностью загруженным стойкам суперкомпьютера». В настоящее время компания продолжает тестирование инфраструктуры, необходимой для объединения нескольких шкафов и создания Dojo ExaPOD мощностью 1,1 Эфлопс с 1,3 Тбайт SRAM и 13 Тбайт DRAM с высокой пропускной способностью. Tesla планирует построить семь Dojo ExaPOD в Пало-Альто.


window-new
Soft
Hard
Тренды 🔥
Экс-глава EA Russia Тони Уоткинс сделает Astrum Entertainment «компанией №1» на российском рынке видеоигр 3 ч.
Магазин чат-ботов ChatGPT провалился, но им пользуются ученики школ и университетов 3 ч.
Diablo IV добавили в Game Pass, но для игры на ПК всё равно нужен Battle.net 3 ч.
Canonical увеличила срок поддержки LTS-релизов Ubuntu до 12 лет 4 ч.
Claude 3 Opus сбросила GPT-4 с первого места в рейтинге языковых моделей 4 ч.
Intel Gaudi2 остаётся единственным конкурентом NVIDIA H100 в бенчмарке MLPerf Inference 4 ч.
Яндекс представил третье поколение нейросетей YandexGPT 4 ч.
«Мы нанимаем сценаристов, а не заставляем ChatGPT писать диалоги за них»: глава Larian высказался о потенциале ИИ в разработке игр 4 ч.
Аппаратные требования больших языковых моделей ИИ сокращаются вдвое каждые восемь месяцев 5 ч.
Sega подтвердила массовые увольнения и продажу Relic Entertainment — разработчики Company of Heroes и Warhammer 40,000: Dawn of War вновь станут независимыми 6 ч.