Apple разработала ИИ-модель SimpleDesign для проектирования белков

Исследователи Apple рассказали о модели искусственного интеллекта SimpleDesign, которая умеет одновременно генерировать последовательности аминокислот и пространственные структуры белков. Она устроена более прямолинейно, чем знаменитая DeepMind AlphaFold.

Основу проекта в минувшем году заложила модель Apple SimpleFold, основанная на методе сопоставления потоков (flow matching) — она генерировала трёхмерную структуру белка на основе известной последовательности аминокислот. Суть метода в том, что процесс начинается от случайного зашумлённого состояния, и модель учится находить относительно прямой путь к конечному результату. Это роднит его с используемыми генераторами изображений диффуизионными моделями, которые в несколько итераций удаляют шум до получения итогового результата. Исследователи Apple объединили метод сопоставления потоков с универсальными блоками архитектуры трансформера, который применяется в генерации текста.

Опробованный в проекте SimpleFold принцип инженеры применили к более широкой задаче о проектировании белков, а не просто к прогнозированию их трёхмерной структуры — так появилась модель SimpleDesign. Многие современные системы проектирования белков включают два этапа: сначала обучается ИИ-модель для преобразования белковых структур в дискретные представления — токены. Затем обучается генеративная модель, которая использует эти представления для создания новых последовательностей и структур белков. В SimpleDesign схему упростили, обучив модель непосредственно на парах «последовательность аминокислот — трёхмерные координаты», опустив разложение белковых структур на токены.

За основу взяли более 2 млрд пар «последовательность — структура» белка, полученных преимущественно из набора данных AFESM, в котором объединены структуры из базы AlphaFold и дополнительные образцы. В процессе обучения исследователи вносили искажения в обе части каждой пары: аминокислоты в последовательности случайным образом заменяли маскирующими токенами, а в соответствующую трёхмерную структуру добавляли шум. Степени искажения варьировались. Если последовательность аминокислот оставалась почти нетронутой, а структура белка сильно искажалась, это была задача на восстановление трёхмерной структуры. И наоборот, если структура сохранялась, а последовательность в значительной степени оказывалась скрыта масками, задача имела обратный характер. В случаях, когда искажениям подвергались оба компонента сразу, модель училась решать две задачи одновременно, то есть готовилась к параллельному проектированию белков.

В тестах SimpleDesign показала конкурентоспособные результаты при решении задач на проектирование белков, восстановление их структур и последовательностей аминокислот. Модель генерирует правдоподобные структуры, а последовательности аминокислот зачастую не уступают, а то и превосходят результаты большинства конкурирующих мультимодальных моделей. Подчёркивается, что результаты работы SimpleDesign пока ограничены только компьютерным анализом — сгенерированные белки не проходили экспериментальную проверку, которая подтвердила бы их способность сворачиваться, функционировать и вести себя, как было предсказано. Но учёные считают результаты многообещающими.