Любовь, музеи и роботы: как уживаются вместе искусственный интеллект и искусство

Удерживать внимание человека на статичном изображении становится все труднее. Художественное и документальное кино, выставки и экскурсии — для нового поколения их заменили TikTok, Reels и сериалы на Netflix.

Музеи и галереи не отстают от трендов и стараются по-своему адаптироваться к новой реальности: за последние пару лет мы увидели виртуальную метавыставку в Эрмитаже, VR-квест на Куликовом поле и даже Зоологический музей МГУ обзавелся цифровым двойником. Подобные инициативы уже превратились в необходимость. Современный зритель приучен к умным алгоритмам соцсетей с их бесконечным развлекательным контентом, и потому ему сложно сфокусироваться на покоящихся экспонатах — он ждет от них развития, динамики, интерактива, wow-эффекта.

Высокие технологии в музеях не новинка. Арт-пространства еще в 2000-х годах начали использовать аудиогиды — умные устройства, которые с помощью Bluetooth и GPS распознавали местоположение зрителя и рассказывали о ближайшем экспонате. И даже виртуальные пространства были придуманы задолго до бума метавселенных: Русский музей открыл первый «виртуальный филиал» еще в 2003 году. Важной вехой в цифровизации арт-пространств, несомненно, стала пандемия COVID-19, когда количество виртуальных экскурсий и оцифрованных музейных коллекций кратно возросло.

Однако принципиально новую главу в использовании технологий в музеях открыл именно искусственный интеллект и нейросети. Возможность давать новый визуальный опыт — лишь одна из причин, почему ИИ прочно зарекомендовал себя в сфере искусства. Но есть и другие, не менее важные.

Музеи и галереи — это огромные хранилища информации. Каждый предмет искусства (которые в больших музеях могут исчисляться десятками миллионов) обладает собственной историей, сопровождается документацией, фотографиями, архивами, а их нужно где-то систематизировано хранить. Количество экспонатов постоянно растет, могут всплывать новые исторические детали, а еще история одного предмета нередко пересекается с историей другого. Структурирование и управление этими массивами данных — одна из важнейших задач искусствоведов и музейных работников, которая занимает долгие часы, месяцы, годы. Теперь ее способен выполнять ИИ за несколько минут.

Одним из первых случаев, когда широкая общественность узнала о способности ИИ распознавать, анализировать предметы искусства и находить между ними связи, не лежащие на поверхности, можно назвать кейс платформы Recognition. В 2016 году сервис проанализировал 30 тыс. изображений, чтобы затем создать между ними пары. Так технология сопоставила современную фотографию двух мумбайских девушек, наносящих макияж, с картиной «Две дамы из семьи Лейк» Питера Лели, написанной в 1660 году. Уникальность проекта в том, что Recognition анализировала не только композицию и содержание изображений, но и другие параметры, такие как цветовая гамма, форма и текстура.

В 2011 году проект Google Arts & Culture стал ярким примером интегрирования ИИ в искусство. Так, в его рамках был создан инструмент Art Palette, который на основе нейросетей анализирует цветовые схемы в живописи и помогает исследователям понимать, какие цвета использовались в различных стилях и периодах искусства.

Проект по оцифровке «Воображаемого музея» Михаила Шемякина — еще один образец применения цифровых технологий для архивирования и систематизации в искусстве. Художник более 60 лет занимался сбором, сравнением и анализом репродукций произведений изобразительного искусства, которые он затем классифицировал по авторской методике. Михаил Шемякин собрал в архиве около 3 млн репродукций изображений на более чем тысячу различных тем, которые хранятся в замке Шамуссо во Франции. Цель этой кропотливой работы — показать, как один и тот же образ, идеи и художественные приемы развивались в визуальном искусстве на протяжении столетий и проанализировать разночтения, символику и философию, связанную с темой.

В 2023 году было оцифровано ядро архива Михаила Шемякина, на базе которого red_mad_robot разработали платформу «Цифрового Воображаемого музея». Чтобы повысить ее функциональность для Михаила Шемякина и его команды, в качестве скрытой функции, в систему была встроена нейросеть CLIP, которая преобразует изображения в вектор и классифицирует их по следующим признакам: объекты (лестницы, животные, геометрические фигуры и др.), вид предмета искусства (скульптура, фото, арт-объект и др.)

Цифровая платформа позволит сохранить многолетние исследования Шемякина в цифровом виде, а также упростить работу дальнейших искусствоведческих исследований и вовлекать исследователей по всему миру в мир Воображаемого музея Михаила Шемякина.

Даже в такой тончайшей работе, как реставрация предметов искусства, нашлось место нейросетям. ИИ зачастую позволяет сделать работу мастеров по восстановлению картин более точной. Например, технология позволяет заранее определять возможные проблемы с картиной: распознает малейшие трещины, отслоение краски и изменение цветового баланса.

Но есть и более удивительные открытия. Так, Государственный музей Нидерландов (Rijksmuseum) восстановил с помощью нейросети потерянную часть картины Рембрандта «Ночной дозор». Она была создана в 1642 году, но со временем потемнела и покрылась грязью. Для реставрации картины использовали специальный сканер, который создал изображение с высоким разрешением, а ИИ обрабатывал данные и устранял дефекты на картине. В результате была создана точная копия картины в цифровом виде, которую затем использовали для реставрации оригинала.

Кроме того, ИИ может быть полезен для обнаружения скрытых подписей на картинах, датирования произведений и даже определения подделок. Так, в 2021 году нейросеть, созданная швейцарским стартапом Art Recognition, навела исследователей на мысль, что картина «Самсон и Далила», написанная около 1609 года и хранящаяся в лондонской Национальной галерее, может быть подделкой (на 91,78%, считает нейросеть) и написана не Рубенсом, как считалось до этого.

Технология проявила себя не только в изобразительном искусстве: например, Национальный музей Тайваня использовал ИИ для определения подделок в коллекции китайской керамики. Система проанализировала текстуру, мазки кисти и структуру красок — и выявила несколько подделок в коллекции музея.

Возможности ИИ в улучшении зрительского опыта, кажется, безграничны. Главное преимущество технологии — она может сделать посещение музея максимально персонализированным для любого человека, учитывать его интересы, предпочтения, уровень знаний об искусстве, возраст и многое другое. Не говоря о возможности знакомиться с арт-объектами через технологии дополненной реальности — как для обычных посетителей музеев, так и для тех, кто имеет ограниченные возможности.

Одним из пионеров внедрения ИИ на радость зрителям стал художественный музей Акрона (США, штат Огайо), который в 2018 году запустил цифровой гид Dot. Система не только составляла для посетителей индивидуальный маршрут и рассказывала о произведениях искусства, но и вела с ними беседу об искусстве и расспрашивала об увиденном. В том же году чат-боты появились в четырех миланских домах-музеях: виртуальные персонажи вели зрителей по экспозиции и предлагали исследовать необычные детали, спрятанные в коллекциях.

Похожая система работает и в Museum of Tomorrow (Рио-де-Жанейро). Техногигант IBM разработал для музея бот IRIS+, который по окончании экскурсии интересуется, что человеку хотелось бы изменить в современном мире после всего, что он увидел на выставке, и даже предлагает возможные варианты решения проблемы.

Еще раньше, в 2016 году, в парижском Музее на набережной Бранли появился робот-искусствовед Беренсон, который бродил по залам в котелке, пальто и белом шарфе. Его задача — изучать реакции людей на произведения искусства и вырабатывать собственный вкус. Беренсон вычислял «общий рейтинг», накапливал впечатления и при виде «хорошего» искусства, как и любой профессиональный искусствовед, довольно улыбался, а при виде «плохого» — хмурился.

Похожая идея была реализована в трех итальянских музеях — в Болонье, Парме и Риме. В 2021 году там установили камеры, с помощью которых следили за соблюдением санитарных правил в период пандемии. Но с недавних пор стали использовать для того, чтобы с помощью ИИ оценивать реакцию посетителей на произведения искусства. Систему обучили определять возраст, пол и движение глаз человека, а еще считывать пять эмоций: радость, грусть, удивление, злость и нейтральное выражение. Наряду с восторженными отзывами о технологии встречались и скептические: есть мнение, что подобное оценивание предметов искусства формирует очередную «систему лайков».

Дополненная реальность (AR) — еще один способ вовлечь человека в мир искусства, который дает возможность побывать «внутри» картины, делает ее живой и объемной. Подобный способ взаимодействия с искусством стал настолько самостоятельным, что ему посвящают целые музеи. Например, в 2020 году открылся интерактивный музей Art AI Gallery в Южной Корее. Посетители могут экспериментировать с элементами дополненной реальности, видеть, как картины буквально оживают при наведении на них камеры. ИИ с высокой точностью распознает объекты и пространство вокруг зрителя, делая его опыт еще более персонализированным.

Если говорить о том, к чему все это приведет, с уверенностью можно сказать одно: технологии продолжат проникать в арт-пространства и создавать новые способы взаимодействия человека с искусством. Из позиции стороннего наблюдателя зритель превращается в исследователя, а иногда и в непосредственного участника происходящих на картине событий.

Технологии ИИ совершенствуются ежедневно, а значит, мы можем ожидать от музеев и галерей принципиально нового подхода. Эксперты считают, что подобным новшеством могут стать чат-боты с историческими деятелями и художниками — для этого алгоритм должен «усвоить» тонны информации о том, как жил, разговаривал и вел себя тот или иной персонаж.

Несомненно, музеи и дальше продолжат использовать ИИ, чтобы лучше понимать интересы и предпочтения зрителей и создавать для них более захватывающий и персонализированный опыт — с помощью виртуальных ассистентов, гидов, специализированных приложений.

Однако, по мнению экспертов, у этого явления есть и обратная сторона. Арт-пространства не должны становиться фабриками по производству контента, их задача — оставаться проводниками в мир искусства и сохранять его ценность. ИИ лишь помогает делать это путешествие еще более интересным и впечатляющим, но вовсе не заменяет реальных экспертов и творцов — искусствоведов и кураторов.

ИИ, как и любая меняющая мир технология, — это масса возможностей, которые делят нашу жизнь на до и после и которые уже успели проникнуть в мир искусства и подарить зрителям новые впечатления.