Работа с DPX
DPX (Digital Picture Exchange) - это несжатый формат изображений без потерь, используемый в киноиндустрии и индустрии VFX. Хотя он и не так популярен, как промежуточные (монтажные) видеокодеки, такие как ProRes или DNx, он часто используется в высокопроизводительных рабочих процессах, когда требуется наилучшее качество видео. Недостатком DPX является то, что, поскольку он несжат, общий размер файла даже для короткого видео может быть огромным.
Например, в зависимости от частоты кадров в секунду и разрядности видео 4K может иметь битрейт от 200 МБ/с (1600 Мбит/с) до 1,1 ГБ/с (8800 Мбит/с). Это означает, что всего одна минута видеозаписи 4K DPX может занять от 11 до 67 ГБ места. А если вы используете видео 8K, битрейт подскакивает до 700 МБ/с (5600 Мбит/с) и 4,4 ГБ/с (35200 Мбит/с). Это до 266 ГБ места, необходимого для каждой минуты отснятого материала!
Чтобы дать вам представление о том, что вам может понадобиться с точки зрения скорости и емкости хранилища при работе с DPX, ниже приведена диаграмма, показывающая выборку того, что требуется для ряда различных вариантов DPX:
То, что вам нужно с точки зрения хранения, к счастью, довольно просто, когда речь заходит о том, на что должна быть способна ваша система для обработки файлов DPX. Другие аспекты, такие как то, что вам нужно с точки зрения процессора и графического процессора, однако, не так ясны. В этой статье мы хотим немного глубже разобраться в том, как вы можете настроить свое хранилище для обработки последовательностей DPX, а также быстро взглянуть на то, какие вычислительные мощности вам понадобятся для редактирования с помощью носителей DPX в DaVinci Resolve Studio и Premiere Pro.
Основная проблема DPX: cкорость накопителей. Очевидно, что необработанный размер файлов DPX делает скорость и емкость вашего хранилища серьезной проблемой. Как правило, мы рекомендуем, чтобы скорость чтения диска, на котором хранятся ваши носители, была как минимум в 2 раза выше скорости передачи отснятого материала. Это означает, что вам нужен диск со скоростью от 400 МБ/с до 2,2 ГБ/с, если вы хотите работать с файлами 4K DPX, или от 700 МБ/с до 4,4 ГБ/с, если вы хотите использовать файлы 8K.
Чтобы обеспечить производительность, необходимую для обеспечения того, чтобы ваша система не была ограничена тем, насколько быстро она может считывать файлы с вашего жесткого диска, вам, скорее всего, потребуется выполнить одно из двух действий:
- Используйте несколько твердотельных (SSD) накопителей в конфигурации RAID.
- Используйте накопитель PCIe NVMe.
К сожалению, оба этих варианта имеют свои недостатки. RAID (даже RAID, созданный для избыточности) почти всегда будет более проблематичным, чем один диск. Вы можете использовать RAID 5 или аналогичную настройку, чтобы свести к минимуму риск потери данных в случае сбоя одного диска, но, как мы неоднократно сообщали в других сообщениях, сами твердотельные накопители SATA на самом деле чрезвычайно надежны и вряд ли выйдут из строя при нормальном использовании. С другой стороны, RAID-контроллеры, по нашему опыту, имеют далеко не такой хороший послужной список, и неисправный RAID-контроллер может быть таким же плохим, как неисправный диск.
Добавьте к этому тот факт, что если вы хотите достичь скорости не менее 2,2 ГБ/с для обработки файлов 4K DPX с высокой разрядностью, для этого потребуется как минимум четыре SSD, работающих параллельно, плюс несколько дисков "четности", если вы цените свои данные. Самый простой способ получить это - RAID 5 или RAID 10 с пятью или шестью дисками. В зависимости от размера диска, который вы хотите использовать (1 ТБ-8 ТБ), вы получите массив RAID со скоростью примерно 2,2 ГБ/с и общей ёмкостью от 4 до 32 ТБ. Конечно, добавление большего количества дисков может повысить как производительность, так и ёмкость, но RAID-контроллеры более высокого класса, способные обрабатывать такое количество дисков, имеют уже не бюджетный ценник.
RAID может быть очень сложным, поэтому, если вы ищете простоту, лучшим вариантом может быть использование одного диска NVMe. Накопители Samsung 980 Pro и Seagate Firecuda 530 NVMe (подробнее об этих накопителях читаем здесь), которые мы в настоящее время используем на наших рабочих станциях, способны развивать скорость чтения 7 ГБ/с, что делает их более чем достаточно быстрыми даже для последовательностей 8K DPX. Основным недостатком накопителей NVMe на данный момент является то, что они доступны только с максимальной емкостью 4 ТБ на накопитель. Это означает, что в зависимости от разрешения и разрядности отснятого материала вы сможете хранить только около 300 минут отснятого материала с разрешением 4K 8 бит или всего 15 минут при использовании самого высокого разрешения и качества (8K 16 бит). Однако вы можете использовать то, что называется объединенными томами или дисковыми пространствами, чтобы по существу объединить несколько NVMe (или других типов дисков) вместе, чтобы казалось, что у вас есть только один диск большего размера.
Независимо от того, каким путем вы идете, обеспечение того, чтобы ваше хранилище могло поддерживать ваши файлы, всегда должно быть одним из ваших главных приоритетов при настройке рабочей станции редактирования, поскольку не имеет значения, насколько мощен ваш процессор или графический процессор, если ваша система даже не способна достаточно быстро считывать видеоданные. Только после того, как вы разберетесь со своей дисковой подсистемой, вы сможете выбрать правильный процессор и графический процессор для работы с ним.
Сколько мощности процессора (CPU) и графического процессора (GPU) вам нужно для редактирования DPX? Хорошая новость о файлах DPX заключается в том, что их легче обрабатывать, чем вы думаете. Точный выбор процессора и графического процессора будет меняться в зависимости от выбранного вами NLE (программы нелинейного монтажа), но в большинстве случаев CPU/GPU, которые уже подходят для промежуточных кодеков, таких как ProRes или DNx, также будут хорошим выбором при работе с файлами DPX.
Однако более мощные процессоры и графические процессоры могут помочь ускорить такие задачи, как экспорт, но даже в этом случае скорость вашего хранилища может стать узким местом до того, как ваш процессор станет ограничивающим фактором. Поэтому, если вы выберете более мощную комбинацию процессора и графического процессора для повышения производительности экспорта, обязательно увеличьте скорость вашей дисковой подсистемы, чтобы соответствовать; и даже подумайте о добавлении полностью отдельного диска, на который вы можете экспортировать, чтобы распределить нагрузку.
Чтобы дать вам приблизительное представление о том, как загружается процессор и видеокарта при работе с файлами DPX, мы записали загрузку различных компонентов во время воспроизведения ряда файлов DPX в DaVinci Resolve Studio и Premiere Pro с 16-ядерным процессором AMD Ryzen 5950X в паре с графическим процессором NVIDIA GeForce RTX 3080 11 ГБ:
Мы не собираемся слишком часто играть в игру "DaVinci Resolve vs Premiere Pro", но стоит отметить, что DaVinci Resolve, по-видимому, значительно лучше справляется с файлами DPX, чем Premiere Pro. Premiere Pro смог воспроизвести файлы 4K DPX без особых проблем с этой аппаратной настройкой, но когда мы попытались воспроизвести 8K 10-битные и особенно 16-битные файлы с полным разрешением предварительного просмотра, мы начали видеть высокую загрузку процессора и несколько пропущенных кадров. Таким образом, хотя процессор Ryzen 5950X, который мы использовали, должен отлично подходить для воспроизведения файлов 4K DPX в Premiere Pro, вы, вероятно, захотите перейти на более мощный процессор AMD Threadripper или Threadripper Pro, если планируете работать с разрешением 8K.
Однако для DaVinci Resolve Studio нагрузка на процессор была намного ниже. В отличие от Premiere Pro, которая распределяет нагрузку по всем ядрам процессора, Resolve, похоже, в основном использует только одно или два ядра. Но, несмотря на то, что он использует не все ядра процессора, он смог воспроизводить даже 8K 16-битные файлы DPX с большим запасом мощности процессора.
Еще следует отметить, что графический процессор видеокарты был загружен в умеренной степени, и нагрузка увеличилась, когда мы поднялись до разрешения 8K. Как ни странно, 8K 10-битное видео в конечном итоге использовали графический процессор намного больше, чем 8K 16-битное как в DaVinci Resolve, так и в Premiere Pro, но в любом случае RTX 3080, скорее всего, немного больше, чем вам нужно для прямого воспроизведения этих файлов. Имейте в виду, что многие из наиболее распространенных эффектов, таких как цветокоррекция и шумоподавление, часто могут использовать графический процессор, поэтому для общего процесса редактирования или цветопередачи приличный графический процессор по-прежнему будет иметь решающее значение.
Однако главная проблема заключается в том, сколько пропускной способности хранилища мы в конечном итоге использовали. Поскольку в этом тесте мы воспроизводим со скоростью 1x, в итоге он почти точно соответствует битрейту каждого набора файлов DPX, плюс немного больше, так как NLE часто пытаются "читать вперед", когда это возможно.
Это также означает, что, особенно для DaVinci Resolve Studio, скорость вашего хранилища, вероятно, будет одной из самых больших проблем, если вы хотите получить максимально быструю производительность экспорта. У процессора и графического процессора достаточно свободного места, но поскольку мы уже работаем на 80% от того, на что в настоящее время способно большинство накопителей NVMe, это означает, что вы часто не сможете экспортировать намного быстрее ~24 кадров в секунду без добавления второго диска или иным образом увеличения пропускной способности хранилища. Особенно если вы экспортируете с помощью DPX как исходного, так и целевого кодека, вам, вероятно, захочется иметь другой диск NVMe, который будет использоваться исключительно для экспорта.
Конечно, у вас не может быть просто сверхбыстрого хранилища в вашей системе и ничего больше. По мере увеличения скорости вашего хранилища это оставляет больше места для вашего процессора, чтобы он мог размять ноги. Как и все рабочие процессы, вы должны стремиться к сбалансированной настройке между процессором, графическим процессором, хранилищем и другими компонентами, такими как оперативная память. В случае рабочих процессов DPX скорость вашего хранилища просто намного важнее, чем обычно при работе с другими типами кодеков.
*Adobe Premiere Pro часто может грузить совершенно не связанный компонент на 100%, как на видео ниже: