Будущие технологии Adobe

Sound Seek: нежелательные повторяющиеся звуки в аудиоклипе автоматически идентифицируются путем выбора одного экземпляра звука. Одним щелчком мыши все выбранные звуки удаляются. Проект Sound Seek может быть использован для удаления каждого экземпляра спикера, говорящего "ух", или даже экологических звуков, таких как автомобильный гудок.

Sweet Talk: анимация лица персонажа на дорожку voiceover в настоящее время является утомительным процессом, который требует сложной 3D-сетки. Проект Sweet Talk принимает любой файл изображения, включая иллюстрации, фотографии и картины, и автоматически идентифицирует объект. Выражения лица персонажа отображаются на аудио, а изображение анимируется без какой-либо дополнительной работы со стороны пользователя.

Pronto: основываясь на технологии Adobe Aero, макеты дизайна дополненной реальности могут быть созданы простым эскизом на iPad. Инструменты позволяют художникам записывать видео, вставлять AR-заполнитель в 2D-видео и отслеживать 3D-плоскости. Графические и произвольные иллюстрации могут быть сопоставлены с заполнителями AR.

Image Tango: с помощью всего лишь эталонной фотографии Adobe Sensei может применить текстуры к простому эскизу одним щелчком мыши, создавая совершенно новые фотографии. Image Tango также можно использовать для быстрого тестирования нескольких текстур на одном объекте. В одном примере изображения различных кошельков были использованы в качестве эталонных изображений для ретекстурирования существующего кошелька.

Fantastic Fonts: они превращают типографику в серию бесконечно настраиваемых параметров. Простыми настройками, такими как вес шрифта, можно управлять, но инструмент идет гораздо дальше. Используя акселерометр iPhone или iPad, шрифты могут быть анимированы и искажены с различными эффектами движения. Инструмент позволяет настраивать живые шрифты, которые ранее были возможны только путем выделения текста.

Go Figure: отслеживание тела на основе Adobe Sensei передает движение персонажа в видеоклипе в анимацию. Трекер тела идентифицирует руки, ноги и туловище до 18 персонажей в сцене. Ключевые кадры генерируются и автоматически применяются к фальсифицированному символу. Эффект похож на захват движения, но работает без каких-либо дополнительных аппаратных средств.

Она отслеживает ваши движения, чтобы создать супер быстрые анимации. Adobe предварительно просматривает функцию R&D для After Effects, которая может автоматически отслеживать движения человека и применять их к анимации.
Боди трекер обнаруживает движение человеческого тела в исходных видеороликах для создания точек отслеживания для 18 суставов через руки, туловище и ноги, которые затем могут быть переданы анимированному персонажу. Подобно тому, как аниматор персонажей Adobe может отслеживать выражения лица, эта функция может быть быстрым способом создания 2D-анимации тела.
Эта функция также может создать контурную маску вокруг тела, которую можно использовать различными способами, например, для сортировки цвета видео и выделения переднего плана. Он также может быть использован для быстрого создания контура вокруг объекта, который вы хотите удалить с помощью контентно-зависимой заливки (Content-Aware Fill), которая автоматически заполняет выборку на основе ее окружения. Эта функция также полезна для добавления графики движения или других объектов к отслеживаемому телу — например, если вы хотите анимировать сцену, в которой персонажи играют в баскетбол, вы можете сделать так, чтобы мяч оставался отслеженным до рук персонажа.
Эта функция использует платформу искусственного интеллекта Sensei от Adobe, которая была обучена на более чем 10000 изображениях, чтобы вручную идентифицировать точки тела, сказал ученый-исследователь Adobe Джимей Янг во время демонстрации. "Я могу легко связать точки отслеживания с соответствующими контроллерами на моем персонаже, так что ключевые кадры могут быть переданы", - сказал Ян.
Body tracker не предназначен для замены анимационного процесса, а скорее для уменьшения ручного подбора кадров и экономии времени. Его можно рассматривать как мощный дополнительный инструмент, во многом похожий на сторонние плагины , такие как Duik Bassel, бесплатный инструмент анимации персонажей, который автоматически настраивает гуманоидные структуры и создает циклы ходьбы. "Мы надеемся, что аниматоры будут довольны результатами в качестве ранней отправной точки, чтобы сэкономить много времени на своем конечном продукте", - говорит Ян.
Go Figure будет встроен в версию программы Adobe After Effects CC 2021.

Light Right: используя Photoshop, фотографию можно повторно зажечь, чтобы изменить настроение сцены. Алгоритмы определяют геометрию фотографии и позволяют перемещать солнце. В зависимости от того, где находится Солнце, корректируются блики и тени, а также изменяется цветовая температура фотографии. Используя ту же технологию, даже видеофайл можно перезаписать.

Awesome Audio: неприятный звук с отвлекающим фоновым шумом или приглушенным голосом корректируется с помощью технологии Adobe Sensei. Очистка аудио файла - это процесс, который обычно занимает несколько часов в таком инструменте как Adobe Autdition CC 2020. Сегменты Voiceover, записанные в нескольких местах, могут быть проанализированы, объединяя фоновую атмосферу между клипами.
Проект Project Awesome Audio позволяет в один клик очистить аудиозапись от посторонних шумов. За разработку отвечает научный сотрудник Adobe Сейю Джин и ученые Принстонского университета Цзяки Су (Jiaqi Su) и Адам Финкельштейн. Джин известен своими экспериментами со звуком. В 2016 году он показал утилиту, позволяющую совершенно бесшовно вклеивать человеческую речь в уже существующую аудиозапись. Это немного похоже смешивание двух слоев в Photoshop, только в данном случае речь идет о работе со звуковыми дорожками.
Новый инструмент Сейю Джина работает в обратном направлении. Ученый использовал искусственный интеллект Adobe Sensei AI для того, что он называет "сквозным аудиоусилением". Например, сейчас в редакторе Adobe Audition для удаления шума необходимо выбрать соответствующий инструмент, а затем долго возиться с ручной корректировкой параметров, чтобы получить достойное качество звучания.
Многие редакторы позволяют удалять шум, искажения микрофона и другие помехи, вот только все это требует времени и серьезных навыков владения соответствующим софтом.
По словам Джина, он решил сделать инструмент, который бы очищал голос от всего лишнего по нажатию единственной кнопки. Именно так работает Project Awesome Audio. Инструмент сам выявляет помехи и удаляет их. Также он может извлечь чистую речь из звукозаписи. Он справляется даже с устранением сложных эффектов, вроде эха или реверберации, чего невозможно добиться обычным софтом.
Инструмент Project Awesome Audio выполнен в формате плагина для Adobe Audition, но разработчики не торопятся выкладывать его в общий доступ. Дело в том, что от Audition используется только интерфейс. В процессе работы инструмент всецело полагается на искусственный интеллект Sensei AI, а потому не сможет работать без подключения к интернету. Project Awesome Audio станет одной из встроенных функций в версии аудиоредактора Adobe Audition CC 2021.

Glowstick: встроенный в Illustrator, проект Glowstick превращает линии и фигуры в источники света и тени на изображении. Источники света и тени определяются одним щелчком мыши и влияют на окраску других объектов и фигур на изображении.

About Face: проект о лице анализирует пиксели в изображении, чтобы попытаться определить, была ли фотография обработана цифровым способом. Инструмент отображает вероятность того, что фотография была подделана, и показывает тепловую карту сомнительных пикселей.

Современные инструменты редактирования изображений позволяют невероятно легко изменять изображение человека, иногда, чтобы сделать их более привлекательными, или наоборот чтобы высмеять их.

Инструмент About Face не смотрит на изображение в целом, как алгоритм распознавания лиц, а скорее на отдельные пиксели. И после этого может также сказать вам, какие части изображения, как он думает, подверглись манипуляции, предоставляя виртуальную тепловую карту измененных областей. Он, по-видимому, специально разработан для захвата изменений, внесенных встроенным в фотошоп инструментом Liquify, и вы сможете видеть, где пиксели были растянуты, сжаты и интерполированы.

Кроме того, инструмент может даже попытаться отменить изменения -обеспечивая впечатляющий результат в демонстрационной версии Adobe. Учитывая растущую озабоченность по поводу поддельных новостей и deepfakes, такие инструменты, как About Face, однажды могут стать обычным явлением.
Также компании Adobe, New York Times и Twitter объявили о запуске Content Authenticity Initiative — программы, которая поможет авторам и изданиям верифицировать свой контент.
В рамках этого проекта Adobe разрабатывает специальную систему, которая позволит авторам и изданиям верифицировать контент, который они собираются распространять. Система позволит читателю увидеть «следы» автора и определить оригинальный источник контента.
Adobe разрабатывает дополнительную систему, которая позволит создателям и издателям безопасно присоединять данные об атрибуции к контенту, который они выбирают для совместного использования. Эта структура предназначена для того, чтобы позволить авторам проверять свой контент, чтобы они получали надлежащую атрибуцию и предоставляли потребителям след атрибуции, чтобы дать им большую уверенность в подлинности контента, который они потребляют. Компания Adobe продемонстрировала прототип своей технологии атрибуции контента, внедренной в Photoshop, на крупнейшей в мире творческой конференции Adobe MAX.
Инструмент будет записывать, кто создал часть контента и был ли он изменен кем-то другим, а затем пусть другие люди и платформы проверяют эти данные. Adobe не описывает точно, как он будет держать тег безопасным или предотвращать копирование содержимого таким образом, чтобы удалить его. Генеральный директор Adobe по продуктам Скотт Бельски сказал, что некоторые технические детали будут проработаны на саммите.