Данные берутся из публикации Нейроморфные вычислители: казус Лоихи

В основе ряда нейронных сетей, алгоритмов машинного обучения и искусственного интеллекта лежат глубокие открытия в области физики, о чём сегодня заявили представители Нобелевского комитета Каролинского института Стокгольма. Премия 2024 года за эти заслуги присуждена физику Джону Хопфилду (John Hopfield) и математику Джеффри Хинтону (Geoffrey Hinton).

Источник изображения: nobelprize.org

Джон Хопфилд родился 15 июля 1933 года, а докторскую степень по физике он получил в 1958 году в Корнеллском университете. Джеффри Хинтон родился 6 декабря 1947 года, а в 1978 году получил докторскую степень в Эдинбургском университете в сфере ИИ. Интересно отметить, что Хинтон приходится правнуком известному британскому математику Джорджу Булю (1815–1864). Сейчас он сотрудник Университета Торонто, Канада.

Оба начали плотно работать над нейронными сетями с начала 80-х годов прошлого века. Джон Хопфилд стал известен в 1982 году как изобретатель ассоциативной нейронной сети, получившей его имя. Хинтон изобрёл метод, который позволял автоматизировать процесс извлечения данных для идентификации элементов изображений. Где во всём этом физика?

Для создания нейросети Хопфилд воспользовался известным свойством атомов стремиться к наименьшему значению их энергии. Сеть Хопфилда описывается способом, эквивалентным поведению энергии в системе атомных спинов. Обучение происходит путем нахождения таких значений для соединений между узлами сети, чтобы сохранённые изображения имели низкую энергию. Тогда поиск сводится к такой обработке соединений между узлами, после которой энергия сети снижалась, и это вело бы к обнаружению наилучшего соответствия.

Джеффри Хинтон использовал сеть Хопфилда в качестве основы для новой сети, использующей другой метод: машину Больцмана. С её помощью можно научиться распознавать характерные элементы в данных конкретного типа. Для этого Хинтон использовал инструменты статистической физики, науки о системах, построенных из множества похожих компонентов. Машина обучается путем подачи ей примеров, которые с большой вероятностью могут возникнуть при запуске машины. Машина Больцмана может использоваться для классификации изображений или создания новых примеров (рисунков), на которых она была обучена.

«Работа лауреатов уже принесла наибольшую пользу. В физике мы используем искусственные нейронные сети в широком спектре областей, таких как разработка новых материалов с определенными свойствами», — прокомментировала награждение Эллен Мунс (Ellen Moons), председатель Нобелевского комитета по физике.

На фоне первых демонстраций человекоподобных роботов Optimus, когда реальные прототипы удерживались на подставке, а способность танцевать обеспечивалась переодетым в робота человеком, последующие видео Tesla демонстрировали прогресс, но ощущение сырости изделия не покидало зрителей. В новом ролике компания показала, как обучает роботов Optimus выполнять полезную работу на конвейере.

Источник изображения: Tesla, X

В качестве одной из таких операций была выбрана укладка цилиндрических аккумуляторных ячеек типоразмера 4680 в специальный контейнер, компоновочно напоминающий кассету для яиц. На новом видео робот Optimus принимает поступающие по жёлобу аккумуляторные ячейки и укладывает их в контейнеры. Субтитры повествуют о том, что делать подобные манипуляции ему позволяет нейронная сеть, обучаемая просто по изображениям с двумерных камер, в ходе видеоролика также демонстрируется обстановка, в которой происходит обучение нескольких роботов одновременно.

За каждым из них закреплён оператор, который смотрит на сортируемые предметы через некоторое подобие шлема дополненной реальности, а также позволяет электронике считывать данные о манипуляциях при помощи надетых на руку датчиков. По сути, на этапе обучения роботы должны получить возможность осуществлять подобные манипуляции самостоятельно. Как отмечает Tesla, дополнительно уделяется внимание способности робота сохранять равновесие во время всех манипуляций. В конце ролика демонстрируется робот Optimus, наматывающий круги по произвольной траектории по помещению лаборатории. Делается это, конечно же, в целях его обучения, и с каждым разом робот способен пройти всё больше и больше без посторонней помощи.

Источник изображения: Tesla, X

Представители Tesla в комментариях к видео отметили, что сейчас стараются заставить роботов Optimus двигаться быстрее и перемещаться не только по ровной поверхности, но и по более сложному ландшафту. Напомним, что Илон Маск (Elon Musk) недавно пообещал начать использование роботов Optimus на предприятиях Tesla к концу текущего года, а к концу следующего предложить их сторонним клиентам.

Команда разработчиков «Яндекса» сообщила о расширении возможностей мобильного приложения «Шедеврум» и реализации в программе функции создания коротких видеороликов с помощью генеративной нейросети. Утверждается, что компания стала первой на российском рынке, предложившей подобную технологию широкой аудитории.

Источник анимации: «Яндекс»

Для того, чтобы сгенерировать видео в «Шедевруме», достаточно описать текстом то, что хочется увидеть. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. Всего доступно семь эффектов: зум (приближение), таймлапс (ускоренная перемотка), полёт, панорама, вращение, подъём и морфинг (постепенное изменение). Для создания кадров будущего видео используется метод каскадной диффузии. С помощью этой технологии «Шедеврум» генерирует отдельные изображения. Сначала нейросеть создаёт картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями.

«Шедеврум» генерирует видео длиной четыре секунды с частотой 24 кадра в секунду. После публикации ими можно поделиться с друзьями или сохранить в формате MP4. В настоящий момент функция работает в режиме тестирования и доступна в обновлённой версии приложения активным пользователям «Шедеврума».

«Яндекс» представил «Шедеврум» для Android и iOS в апреле 2023 года. В основу программы положена нейронная сеть, содержащая 5 миллиардов параметров и обученная на 330 миллионах примеров изображений с текстовым описанием. В планах разработчика — обучение нейросети новым знаниям и её внедрение в другие сервисы и продукты компании.

Компания Intel продемонстрировала в рамках выставки электроники Computex работу инженерного образца процессора из будущей серии Meteor Lake в задаче, связанной с работой алгоритмов генеративной нейронной сети.

Источник изображений: Intel

Будущие процессоры Intel Meteor Lake используют децентрализованный, а не монолитный дизайн, позволяющий использовать комбинации различных чиплетов на основе разных технологических процессов. Одной из ключевых особенностей процессоров Meteor Lake станет специальный нейронный движок VPU (Versatile Processing Unit), основанный на третьем поколении технологии компании Movidius, которую Intel купила в 2016 году. Данный нейронный движок предназначен для ускорения работы процессоров Meteor Lake в задачах, связанных с различными ИИ-алгоритмами и моделями машинного обучения.

Одной из базовых задач VPU в процессорах Meteor Lake станет фото- и видеоредактирование и применение фильтров в режиме реального времени. Он сможет накладывать эффекты размытия, применять автоматическое масштабирование и заменять фон изображений. Также он получит способность в реальном времени распознавать движение глаз пользователя и жесты. Производительности нейродвижка должно даже хватить для захвата движений с помощью Unreal Engine.

Блок VPU будет достаточно мощным, чтобы поддерживать генеративные возможности ИИ, включая, например, запуск нейросети Stable Diffusion. Наличие VPU для работы с такими моделями необязательно, главное иметь достаточный объём памяти, однако использование аппаратных возможностей CPU, GPU и APU позволяет существенно ускорить работу модели ИИ. Для задействования возможностей VPU компания Intel сотрудничает с GIMP и Adobe, чтобы те добавили поддержку нейронного движка компании в свои продукты.

В рамках выставки Computex компания Intel продемонстрировала работу инженерного образца мобильного процессора Meteor Lake с маркировкой Intel 0000, в состав которого входят 16 физических ядер с поддержкой 22 виртуальных потоков. По данным портала Wccftech, чип имеет конфигурацию из 6+8+2 ядер и его финальное воплощение будет относится к серии Meteor Lake-P. Конфигурация ядер у процессора весьма необычная. Производительные P-ядра и энергоэффективные E-ядра находятся в составе основного кристалла CPU. А два дополнительных ядра расположены внутри кристалла SoC.

В режиме простоя чип работал на частоте 0,37 ГГц. Базовая частота процессора составляет 3,1 ГГц. Он суммарно имеет 1,6 Мбайт кеш-памяти первого уровня, 18 Мбайт кеш-памяти L2 и 24 Мбайт кеш-памяти L3.

Демонстрация работы инженерного образца Meteor Lake проводилась в редакторе изображения GIMP с поддержкой ИИ-модели Stable Diffusion для генерации изображений по заданным параметрам, а затем к результату применялся ИИ-плагин для увеличения разрешения. Для задействования в работе VPU использовалась библиотека Intel OpenVINO для разработки приложений компьютерного зрения и искусственного интеллекта.

Выпуск мобильных процессоров Meteor Lake ожидается к концу текущего года. Компания не комментирует последние слухи о том, что настольные Meteor Lake-S могли быть отменены. В то же время, производитель пока не подтверждает планов по их выпуску.

Историки Уральского федерального университета (УрФУ) провели эксперимент, который выявил слабости нейросетей Chat GPT и Sage, сообщает ТАСС со ссылкой на пресс-службу учебного заведения. По словам учёных, нейросети не могут сдать вузовский экзамен по истории «на отлично», поскольку не воспринимают нюансы языков разных эпох и к тому же заполняют пробелы в знаниях выдуманными фактами.

Источник изображения: Pixabay

В вузе отметили, что нейросети проявили компетентность в ответах на вопросы, связанные с использованием устойчивой общей научной терминологии. Однако они владеют только современным русским языком и не воспринимают нюансы языков разных эпох. А ведь историку помимо современного русского языка приходится иметь дело с его версиями нескольких эпох, включая терминологию XVI века в нескольких вариантах (церковнославянский язык, язык деловой письменности, разговорный), XIX века, советско-марксистский язык XX века.

Принимавший «экзамен» доцент кафедры истории России УрФУ Михаил Киселев поставил нейросетям «тройку», назвав их «студентом-импровизатором». Преподаватель отметил, что «там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения, попросту выдумывая факты, несуществующие работы или авторов».

Например, на просьбу назвать историков, которые писали о завещании Василия III, обе нейросети сначала заявили, что об этом «писали многие историки», после чего назвали наиболее известных дореволюционных учёных, авторов обобщающих работ по истории России, хотя правильный ответ легко найти в поисковых системах.

«Примечательно, что нейросети наравне с реальными историками и их работами могут выдумывать как историков, так и книги. Sage назвала некоего Александра Васильевича Пильяра, а Chat GPT заявил, что Андрей Краевский якобы написал книгу “История Российского государства”. Если представить, что такая беседа велась на экзамене, то можно сказать, что студент “поплыл” из-за неглубокой проработки материала, хотя и старался держаться уверенно, пытаясь доказать противоположное», — рассказал Киселев.

Поскольку искусственному интеллекту уже под силу сочинение сложных текстов и написание картин, привлечение его ресурсов для сочинения музыки было лишь вопросом времени, и соответствующие эксперименты уже вовсю ведутся. Google решила не отставать от тенденции и продемонстрировала приложение MusicLM, которое позволяет создавать музыкальные композиции по текстовому описанию.

Источник изображения: Google

Ещё в январе, впервые описывая данный инструмент, Google заявляла об отсутствии планов по его выпуску в открытый доступ, но за прошедшее время изменила своё отношение. MusicLM доступна в составе AI Test Kitchen для Android и iOS участникам программы тестирования, требующей отдельной регистрации. По текстовому описанию музыкальной композиции система способна создавать два варианта произведений, из которых пользователь сможет выбрать более подходящий. Текстовое описание может содержать информацию не только об инструментальном содержании трека, но и о желаемом эмоциональном эффекте, который он создаёт.

Google пытается избежать упрёков со стороны правообладателей, поэтому MusicLM не будет создавать музыкальные произведения, содержащие вокал конкретных исполнителей. Юридические аспекты имитации отдельных музыкальных произведений тоже заставляют задуматься о перспективах использования результатов работы MusicLM в коммерческой сфере. Платформам, связанным с распространением музыки, уже приходилось сталкиваться с необходимостью удалить ряд произведений, созданных с помощью искусственного интеллекта.

Компания Google в прошлом месяце начала ограниченное бета-тестирование своего ИИ-чат-бота Bard. С тех пор сотрудники некоторых крупных подрядчиков IT-гиганта участвуют в тестировании нейросети, а также проверяют точность выдаваемых им ответов. Оказалось, что зачастую участникам тестирования не хватает времени на проверку ответов Bard, из-за чего им приходится давать оценку наугад.

Источник изображения: Google

Так, сотрудники компании Appen, которые помогают Google в тестировании алгоритма Bard, на условиях анонимности сообщили представителям СМИ, что им не хватает времени на осмысленную оценку ответов, выдаваемых ИИ-ботом. В полученных ими инструкциях сказано, что в процессе тестирования необходимо подготовить запрос для чат-бота, а после получения двух ответов выбрать наиболее связный и корректный ответ. У них также есть возможность добавить комментарий, чтобы объяснить, почему выбран тот или иной вариант.

Участники тестирования отмечают, что на обработку каждого запроса даётся несколько минут, но иногда на это отводится только 60 секунд. Зачастую дать корректную оценку полученного от чат-бота ответа за такое время весьма затруднительно, особенно в случаях, когда запрос связан с малознакомой темой. Оплата за эту работу начисляется на основе времени, выделяемого для решения каждой задачи. Чтобы не терять деньги тестировщикам приходится выполнять задачи за отведённое время даже в случаях, когда они не уверены в том, какой из предложенных ИИ-алгоритмом ответов является более точным. Проще говоря, чтобы не терять деньги участники тестирования вынуждены наугад выполнять задания, поскольку им не хватает времени на качественную проверку ответов Bard.

Источник отмечает, что сотрудники подрядных организаций Google всё чаще призывают к улучшению условий труда. Ещё в феврале участники бета-тестирования системы Bard передали петицию руководству Google с призывом повысить оплату труда. Согласно имеющимся данным, сотрудники Appen, участвующие в тестировании Bard, зарабатывают от $14 до $14,50 в час.

Французский исследовательский центр CEA-Leti разработал транзистор с примерно 50 состояниями, а не с двумя, как у современной цифровой электроники. «Аналоговый» транзистор имитирует работу синапсов в нервной ткани человеческого мозга и делает это довольно близко по таким характеристикам, как энергопотребление и скорость. Планируется, что на основе новых транзисторов будут построены нейронные процессоры нового поколения с впечатляющими возможностями.

Источник изображения: Pixabay

Возможно, эта разработка ближе всего подошла к имитации того, как взаимодействуют нейроны мозга, считают в CEA-Leti. Транзистор также миниатюрен как синапс, потребляет столько же и работает на том же принципе — срабатывает не по одному импульсу, а после прихода критической «массы» сигналов. Синапс ведь не отзывается на одиночные нервные импульсы. Для запуска сигнала дальше по нервной сети требуются множественные стимулирующие реакции через синапсы. Только тогда конкретный нейрон запустит потенциал по своей сети дендритов для передачи информации другим связанным с ним нейронам.

Другое сходство между новым транзистором и синапсом заключается в том, что оба они являются ионными. Транзистор использует преимущества той же электрохимической реакции, что и синапс. В случае с транзистором его канал состоит из оксида титана, через который проходят ионы лития. В зависимости от их количества они изменяют электронную проводимость канала. Благодаря этому транзистор потребляет 1 фДж/мкм², столько же, сколько синапс. Это в 100 раз меньше, чем у других возможных решений, включая перспективную резистивную память.

Толщина транзистора всего 200 нм, а число циклов переключения более 100 тыс. Исследователи научились выпускать массивы транзисторов на 200-мм кремниевых пластинах с использованием стандартных КМОП-совместимых техпроцессов. Массивы транзисторов были испытаны в работе на эталонном тесте MNIST на распознавание изображений и показали хороший результат. Но предстоит ещё большая работа по подтверждению квалификации транзисторов для использования в нейронных чипах.

«Все эти элементы обнадеживают, но мы находимся только на первых этапах процесса оценки. Мы должны продолжать доводить транзистор до зрелости и обеспечить углубленную оценку его долговечности и надежности», — объяснил один из учёных из CEA-Leti.

На этой неделе американский конгрессмен Джейк Окинклосс (Jake Auchincloss) выступил в Палате представителей с речью, которая была сгенерирована с помощью чат-бота ChatGPT от компании Open AI. Своей речью он хотел привлечь внимание законодателей к важности технологий на основе искусственного интеллекта и необходимости их дальнейшего развития.

Источник изображения: freepik.com

Небольшая речь конгрессмена была посвящена необходимости принять закон о создании американо-израильского центра искусственного интеллекта для дальнейшего развития нейросетей и их интеграции в разные сферы деятельности человека. Окинклосс вместе с помощниками дали чат-боту ChatGPT задание «написать 100 слов для выступления в Палате представителей» в поддержку упомянутого законопроекта. Согласно имеющимся данным, ИИ-алгоритму потребовалось несколько попыток, чтобы сформировать текст, который и был зачитан в Палате представителей.

«ИИ может стать технологией общего назначения: основополагающей в каждом секторе. Вчера я выступил в Конгрессе с первой речью, сгенерированной с помощью ИИ, в качестве призыва к действию. Политики должны быть целеустремлёнными и активными», — написал Окинклосс на своей странице в сети Twitter.

Успех ChatGPT позволил разработчику алгоритма Open AI привлечь значительные инвестиции. Не так давно Microsoft объявила о расширении долгосрочного партнёрства с компанией за счёт «многолетних многомиллиардных инвестиций». Ранее появлялись сообщения о намерении софтверного гиганта вложить в Open AI $10 млрд.

Springer Nature, крупнейшее в мире академическое издательство, разъяснило свою позицию в отношении использования программных средств написания текстов на основе продвинутых языковых моделей, таких как ChatGPT. На этой неделе компания объявила, что подобное программное обеспечение не может указываться в качестве автора статей, которые публикуются в тысячах журналов издательства.

Источник изображения: Pixabay

При этом в Springer Nature отметили, что компания не против использования ИИ-алгоритмов для генерации идей или помощи в написании текстов, если такой материал в полной мере раскрывается автором. «Мы чувствовали необходимость прояснить нашу позицию: для наших авторов, наших редакторов и нас самих. Новое поколение языковых моделей, таких как ChatGPT, действительно взорвало сообщество, которое по праву радуется и играет с ними, но также использует их способами, которые выходят за рамки того, как они действительно могут быть применены в настоящее время», — рассказала Магдалена Скиппер (Magdalena Skipper), главный редактор издания Nature.

Ранее ChatGPT и некоторые другие языковые модели указывались в качестве авторов в небольшом количестве опубликованных статей, в том числе в научных публикациях. Однако характер и степень вклада ИИ-алгоритмов в создание публикаций варьируется от случая к случаю. Реакция научного сообщества на статьи, в которых ChatGPT указывался в качестве автора, была преимущественно негативной.

Основной аргумент против присвоения авторства ИИ-алгоритмам заключается в том, что программное обеспечение попросту неспособно выполнять необходимые обязательства. «Когда мы думаем об авторстве научных статей, исследовательских работ, мы думаем не только об их написании. Есть обязанности, которые выходят за рамки публикации, и, конечно, в настоящее время ИИ-инструменты не способны взять на себя эти обязательства», — считает Скиппер.

Очевидно, имеется ввиду то, что программное обеспечение не может нести ответственность за публикации, не может претендовать на права интеллектуальной собственности на свои работы, не может вести переписку с другими учёными и прессой, чтобы рассказать о своих работах и ответить на возникающие вопросы.

«Наша политика в этом вопросе совершенно ясна: мы не запрещаем использовать их в качестве инструмента написания статей. Главное, чтобы была ясность в том, как составляется статья и какое программное обеспечение используется. Нам нужна прозрачность, поскольку это лежит в основе того, как следует делать и распространять научные материалы <…> Мы как сообщество должны сосредоточиться на положительных аспектах использования и потенциале, а затем регулировать и сдерживать потенциальные злоупотребления. Я оптимистично настроена, и думаю, что нам удастся это сделать», — резюмировала Скиппер.