MWC 2018
2018
Computex
IFA 2018
Искусственный интеллект преодолел новый рубеж, показав в тесте на креативность более качественные результаты, чем средний живой участник — в эксперименте приняли участие 100 000 добровольцев. Выводы подтвердили, насколько сложно измерить творческий подход.
Источник изображения: umontreal.ca
Исследователи из Монреальского университета (Канада) провели масштабное исследование, в котором 100 тыс. человек соревновались с ведущими современными моделями генеративного ИИ — по итогам определялся творческий потенциал всех участников. Это наиболее крупное исследование подобного рода. Творческий потенциал считается субъективной областью, и для его оценки использовался тест на дивергентные ассоциации (DAT). Перед испытуемым ставилась задача придумать десять слов за четыре минуты, и чем менее связаны эти слова, тем более креативным считался весь список — это делали и люди, и ИИ.
По результатам DAT большие языковые модели продемонстрировали более высокую креативность, чем значительное количество добровольцев, но при этом около половины участников превзошли ИИ, а лучшие 10 % сильно оторвались от компьютерных соперников. Это показывает, насколько сложно даже передовым машинам воспроизводить результаты работы человеческого мозга, хотя их создатели, кажется, перебрали каждое слово на большинстве языков Земли. Большие языковые модели способны превзойти некоторых людей в решении конкретных творческих задач, но для отдельных групп верно и обратное. Механизмы измерения человеческих качеств сложны и многогранны, так что эталонные баллы ИИ едва ли можно считать надёжными показателями для сравнительного анализа.
Исследователи провели сравнительное тестирование ИИ и людей в других творческих задачах: в написании хайку, синопсисов фильмов и коротких рассказов. И снова самые креативные люди оказались сильнее машин, даже если большие языковые модели в целом показывали более качественные результаты, чем средний участник. Наиболее сильно творческий потенциал ИИ разворачивался, когда его грамотно направляли люди. То есть заменить человека ИИ сможет ещё нескоро. «Прямое противостояние человека с машиной и подобные нашему исследования заставляют нас переосмыслить то, что мы понимаем под творчеством», — заявил Карим Джерби (Karim Jerbi), профессор кафедры психологии в Монреальском университете.
Источник:
