Инструмент искусственного интеллекта «Reimagine» от Google позволил нам включить в наши фотографии обломки, катастрофы и трупы

Оказывается, кролик в цилиндре, созданном ИИ, был только началом.

В этом году Google присоединилась к рядам телефонных компаний, представляющих инструменты для редактирования фотографий на основе ИИ, вслед за несколько тревожной, но интригующей функцией создания эскизов в изображениях от Samsung и более сдержанной функцией Image Playground от Apple, которая должна дебютировать этой осенью. Новое предложение Pixel 9 под названием «Reimagine» представляет собой значительный скачок по сравнению с инструментами Magic Editor прошлого года. В то время как Magic Editor позволял пользователям выбирать и удалять элементы или менять небо на закат, Reimagine идет гораздо дальше — открывает новые горизонты в области обработки фотографий.

Reimagine позволяет пользователям выбирать любой нечеловеческий объект или часть сцены, а затем создавать новый контент, вводя текстовую подсказку. Результаты могут быть удивительно реалистичными, при этом освещение, тени и перспектива часто плавно сочетаются с исходной фотографией. Этот инструмент позволяет вносить творческие дополнения, такие как полевые цветы или радуги, но он также открывает более тревожные возможности.

Тестируя Reimagine с несколькими коллегами, используя их обзорные устройства Pixel 9 и 9 Pro, мы исследовали его ограничения и обнаружили, что он может давать некоторые тревожные результаты. Тщательно прорабатывая наши подсказки, нам удалось создать убедительно жуткие изображения, такие как тело, покрытое окровавленной простыней. Способность инструмента создавать такие реалистичные и потенциально тревожные изображения поднимает важные вопросы об этическом использовании ИИ в редактировании фотографий.

За неделю тестирования нам удалось добавить к изображениям автомобильные аварии, дымящиеся бомбы в общественных местах, простыни, которые, казалось, покрывали окровавленные трупы, и приспособления для употребления наркотиков. Это вызывает серьезные опасения, особенно с учетом того, что эта функция интегрирована в потребительский телефон, который любой, включая моего отца, мог легко купить у Verizon.

В ответ на наши выводы представитель Google Алекс Морикони сделал следующее заявление:

"Pixel Studio и Magic Editor разработаны для того, чтобы вдохновлять творчество с помощью создания текста в изображение и расширенного редактирования фотографий на устройствах Pixel 9. Наши инструменты Generative AI нацелены на уважение намерений пользователя, что означает, что они могут создавать контент, который некоторые пользователи могут счесть оскорбительным, если им будет предложено. Однако мы установили четкие политики и Условия обслуживания в отношении типов разрешенного контента. Мы внедряем меры безопасности для предотвращения неправомерного использования и стремимся постоянно улучшать эти меры безопасности. Хотя некоторые запросы могут оспаривать эти меры безопасности, мы стремимся совершенствовать их, чтобы предотвратить злоупотребления".

По общему признанию, наши попытки обойти фильтры были явным нарушением этих политик, сродни неправомерному использованию систем самообслуживания для неправильной маркировки продуктов. Более того, лица со злым умыслом вряд ли будут отпугнуты условиями Google. Самым тревожным аспектом является разрыв между нашей способностью создавать проблемный контент и инструментами, доступными для его обнаружения. По мере развития технологий наши методы идентификации и управления таким контентом не поспевают за темпами.

При использовании Reimagine для редактирования изображений нет явных признаков того, что контент сгенерирован ИИ — в метаданных есть только тег. Хотя эта система тегов, известная как SynthID, надежна для полностью синтетических изображений, созданных в Pixel Studio, она не применяется к изображениям, отредактированным в Magic Editor. Это означает, что изображения, отредактированные в Magic Editor, можно легко удалить из своих метаданных с помощью простого снимка экрана.

Исторически подделка изображений была возможна, но никогда не было так просто создавать реалистичные изменения. Раньше добавление убедительной автокатастрофы к фотографии требовало опыта, понимания слоев Photoshop и доступа к дорогостоящему программному обеспечению. Теперь, с несколькими текстовыми подсказками и телефоном Pixel, любой может добиться подобных результатов за считанные секунды.

Легкость, с которой можно создавать и делиться этими обработанными изображениями, беспрецедентна. Мы проверили это, загрузив изображение «Reimagined» в историю Instagram, которое Meta автоматически не пометил как сгенерированное ИИ. Учитывая, что пользователи теперь могут без труда создавать и распространять вводящие в заблуждение фотографии, важно подходить к онлайн-изображениям с повышенным скептицизмом, особенно если они кажутся слишком хорошими (или слишком плохими), чтобы быть правдой.

Хотя есть надежда, что пользователи будут ответственно применять инструменты ИИ Google, добавляя креативные штрихи, такие как полевые цветы и радуги, реальность такова, что такая мощная технология также может использоваться для обмана. Поэтому быть осторожным в отношении подлинности фотографий, которые вы видите в сети, сейчас важнее, чем когда-либо.