Дисковая подсистема
...........................Дисковая подсистема для видеомонтажа.
Вольный перевод статьи "Understanding Storage for Video Editing" от Puget Systems.
Введение. Во многих случаях основное внимание при настройке рабочей станции для редактирования видео, как правило, уделяется процессору, видеокарте и памяти. Однако тип и конфигурация вашего локального хранилища во многих отношениях являются еще более важным фактором. В конце концов, не имеет значения, насколько мощный у вас процессор, если ваши накопители не справляются с работой.
Правильная настройка дискового пространства может не только помочь вашей рабочей станции работать наилучшим образом, но и повысить долговечность и надежность вашей системы. В этой статье мы хотим дать вам базовое представление о дисковом пространстве, включая различные типы локальных дисков (HDD, SSD и NVMe), внутренние и внешние накопители, а также идеальные конфигурации хранилища в зависимости от вашего бюджета и рабочего процесса.
...........................
Типы накопителей. На базовом уровне существует три категории накопителей, которые используются внутри рабочей станции:
- Жесткие диски (HDD).
- Твердотельные накопители с SATA интерфейсом (SSD).
- Твердотельные накопители с PCIe интерфейсом выполненные в M.2 форм-факторе (NVMe).
Каждый из этих накопителей имеет свои сильные и слабые стороны, и рабочая станция часто будет иметь два, если не все три типа накопителей.
Из этих трех типов накопителей традиционные накопители на жестких дисках имеют наибольшую емкость и являются наиболее доступными по цене. В настоящее время они доступны в моделях объемом до 20 ТБ и продаются примерно по 1/4 цены за ТБ от цены SSD-накопителя SATA. Они также имеют самое длительное время хранения данных при выключенном питании (в большинстве случаев минимум несколько лет), что делает их особенно подходящими для долгосрочного резервного копирования и архивирования данных.
Недостатком жестких дисков является то, что они работают медленнее, чем другие типы накопителей, обычно максимальная скорость составляет около 250 МБ/с для устойчивого доступа к данным. Кроме того, из-за механической природы приводов они также имеют значительно меньшее время произвольного доступа (или "быстродействие") по сравнению с твердотельными накопителями, что делает их менее идеальными для работы непосредственно в рабочих процессах среднего и высокого класса. В отличие от твердотельных накопителей, жесткие диски также слышны при использовании, и на современных рабочих станциях могут быть одним из самых громких компонентов в системе.
Твердотельные накопители SATA в несколько раз быстрее, чем жесткий диск, с постоянной скоростью передачи данных около 560 Мбит/с. У них также нет движущихся частей, что означает, что случайный доступ к данным значительно лучше, чем на жестком диске. Они действительно имеют более высокую стоимость, но если вы регулярно получаете доступ к данным на диске, улучшенная производительность часто стоит вложенных средств. Твердотельные накопители SATA также в настоящее время являются самым надежным оборудованием, которое мы используем на наших рабочих станциях, с ошеломляющей частотой отказов 0% за последние 4 года в этой области. Благодаря своей высокой производительности и надежности эти накопители отлично подходят для широкого спектра задач, таких как хранение вашей операционной системы и приложений (системный диск), хранение медиа файлов и проектов, над которыми вы активно работаете, или в качестве накопителя кэша/файла подкачки.
Накопители NVMe в настоящее время являются самым быстрым типом хранилища на рынке, причем многие модели имеют максимальную пропускную способность 7000 МБ/с или более. Они немного дороже SSD, хотя в последние годы цена резко снизилась до такой степени, что они, как правило, всего на 50% дороже SSD SATA. Но в обмен на 50% более высокую цену вы можете получить более чем в двенадцать раз большую производительность!
Однако в большинстве случаев разница в производительности в реальном мире с накопителем NVMe не так велика, поскольку современный стандартный SSD уже достаточно быстр, что редко является узким местом производительности, прежде чем другое оборудование, такое как ваш процессор или графический процессор, станет ограничивающим фактором. Их высокая скорость действительно играет важную роль, если вы работаете с кадрами с особенно высоким битрейтом (~2000 Мбит / с или выше) или проектами с несколькими камерами, в которых вы сможете использовать более высокие скорости. Они также все чаще используются в качестве системных/загрузочных накопителей, а также накопителей кэша в системах более высокого класса, где повышенная цена не так важна.
...........................
Мегабит vs Мегабайт. Одна сложность может возникнуть при определении того, какой тип накопителя выбрать, как правило, производители NVMe/SSD/HDD указывают последовательные скорости чтения/записи в: Мегабайт в секунду (МБ/с) aka Megabytes per second (MB/s or MBps), в то время как большинство видеофайлов снятых видеокамерами/камерами оперируют значением Мегабит в секунду (Мб/с) aka megabits per second (Mb/s or mbps).
Хотя разница между байтом и битом (или прописной буквой Б и строчной буквой б) может показаться незначительной, если вы с ними не знакомы, на самом деле они сильно отличаются. Обоснование этого немного сложнее, чем мы хотим изложить в этом посте, но важно знать, что один байт данных эквивалентен восьми битам. Итак, для преобразования между ними вам нужно либо умножить на 8 (при переходе от байтов к битам), либо разделить на 8 (при переходе от битов к байтам).
*Реально куча случаев, когда пользователи путались в этих двух соснах, в обсуждениях моих роликов на YouTube про тестирование накопителей, есть посты, где путают мегабиты с мегабайтами.
Еще один способ подумать об этом заключается в том, что если носитель, с которым вы работаете, имеет 4K или Apple ProRes 422 (HQ) (скорость передачи ~750 Мбит/с), вам не нужно полностью переходить на диск NVMe, чтобы получить необходимую пропускную способность. Поскольку 750 Мбит/с на самом деле составляет всего 93 МБ/с, даже стандартный жесткий диск (HDD) технически сможет обеспечить достаточную пропускную способность для воспроизведения двух потоков одновременно.
*По факту это не всегда соответствует действительности, так как при прыжках/скраббинге на таймлайне с одним потоком DSLR видео (~75 Мбит/с), жесткий диск уходил в "красную зону" и подвисал. Т.е. прошивка жесткого диска, его наполняемость, работа Adobe Premiere Pro с дисковой подсистемой через "костыли" также усложняют этот момент.
Это может привести к путанице, поэтому наш лучший совет-просто помнить, что мб и МБ - это две разные единицы измерения. Если вы когда-нибудь столкнетесь с тем, что эти два параметра смешаны, вы можете использовать Yandex для быстрого преобразования, выполнив поиск, аналогичный "750 Мбит/с в МБ/с".
...........................
Внешнее и сетевое хранилище. В дополнение к хранилищу на вашем компьютере существует также несколько способов подключения дополнительного хранилища к вашему компьютеру. Наиболее распространенным способом является использование внешних накопителей, которые используют такие соединения, как USB и Thunderbolt. Внешние накопители могут использоваться только одним пользователем одновременно, но они относительно недороги и являются отличным вариантом для локального архивирования, резервного копирования или быстрой передачи больших объемов данных между двумя системами.
Одна из наиболее распространенных проблем с внешними дисками заключается в том, что их необходимо форматировать по-разному в зависимости от того, используете ли вы систему macOS или Windows. Вы можете использовать программное обеспечение, подобное Paragon, чтобы позволить системам macOS читать и записывать на диски в формате ПК (и наоборот), но даже это иногда вызывает проблемы и обычно рекомендуется только при перемещении данных между системами, а не в качестве активного рабочего диска.
Более продвинутый способ расширения хранилища за счет использования сетевые системы хранения данных (NAS-устройства), где хранилища на файловом сервере, который вы подключаетесь через локальную сеть. Эти решения для хранения данных, как правило, дороже, но их можно легко увеличить, если вам нужно больше места в будущем и позволяет нескольким пользователям подключаться одновременно. Это делает их идеальными, когда у вас есть несколько редакторов, которым необходимо иметь доступ к файлам проекта и мультимедиа одновременно. Еще одним преимуществом является то, что, поскольку управление файлами осуществляется через файловый сервер, вам не нужно беспокоиться о форматировании macOS против Windows, что, как мы уже отмечали, является распространенной проблемой с внешними дисками.
Как внешние, так и решения для хранения данных NAS различаются по скорости, надежности и простоте использования. Наиболее типичная установка использует один или несколько традиционных жестких дисков, чтобы обеспечить максимальную ёмкость при минимальных затратах, но модели, использующие SSD-накопители SATA (и даже NVMe), становятся все более распространенными. Фактически, многие современные устройства NAS используют жесткие диски для основной части хранилища, но также используют SSD или кэш-накопитель NVMe для ускорения производительности при доступе к общим файлам.
В отличие от локального хранилища, где тип диска является основным показателем производительности, для внешнего хранилища используемое подключение также является основной частью того, насколько быстро вы сможете получить доступ к своим файлам. Например, если у вас есть внешний накопитель NVMe (7000 МБ/с), который подключается через USB 3.1 Gen1 (4,8 Гб/с или 600 МБ/с), вы не достигнете производительности, на которую способен накопитель NVMe, поскольку тип подключения будет серьезным узким местом. Внешние приводы должны быть сопоставимы по скорости с типом подключения, что редко бывает узким местом для внутреннего накопителя, но это типичная проблема для сетевого накопителя, так как даже если NAS устройство поддерживает высокоскоростные сети, такие как, 10Gb Ethernet (~1250 МБ/с), локальный компьютер - и все сетевые кабели и свичи должны поддерживать 10Gb Ethernet сеть.
*На самом деле всё немного сложнее, как правило контроллеры используемые во внешних коробочках могут сильно ограничивать теоретическую пропускную способность интерфейса (для USB 3.0 это 5Гбит/с), плюс при масштабировании скорости, они могут сильно варьироваться у разных накопителей, у кого-то сильнее просаживаться, у кого-то меньше. Также важны: качество кабеля подключения, порты на рабочей станции, могут делить линии с другими устройствами, и также есть влияние на скорость, при использовании разных USB контроллеров.
В целом, решения для хранения внешних данных и NAS отлично подходят для долгосрочного резервного копирования и архивирования, но без должного рассмотрения они могут вызвать проблемы при попытке использовать их в качестве активной части рабочего процесса. В частности, внешние диски иногда могут отключаться на долю секунды, что может привести к появлению сообщений "медиа в автономном режиме" в приложениях для редактирования видео. Устройства NAS обычно не имеют этой проблемы, но скорость часто является препятствием при работе по сети. Стандартная гигабитная сеть, используемая в большинстве домов и офисов, имеет максимальную пропускную способность около 120 МБ/с, что едва ли достаточно для одного пользователя, работающего с носителями H.264/HEVC, но недостаточно при работе с более крупными кодеками, такими как ProRes или RAW. Если у вас несколько пользователей, скорость сети становится еще большим тормозом, что может потребовать довольно дорогостоящего апгрейда сети, чтобы обеспечить достаточную пропускную способность.
...........................
RAID. В дополнение к наличию нескольких отдельных дисков, вы также можете объединить несколько дисков вместе, чтобы повысить производительность, обеспечить избыточность или их комбинацию. Для самых базовых уровней RAID требуется два диска, работающих совместно с аппаратным или программным RAID-контроллером, но в рейдах более высокого уровня могут использоваться 3, 5 или даже больше дисков одновременно.
Недостатком RAID является то, что он вводит дополнительные точки отказа. RAID 1 или 5 может обеспечить избыточность данных за счет хранения ваших данных на нескольких дисках, но сам RAID-контроллер может выйти из строя или ухудшиться по ряду причин. В большинстве случаев ваши данные в этих случаях безопасны, но для восстановления RAID в рабочее состояние и восстановления доступа к вашим данным может потребоваться время и усилия.
Это одна из основных причин, по которой подчеркивается, что, хотя RAID может обеспечить избыточность, это не все, что вам нужно для резервного копирования. Это может быть одной из частей вашего плана резервного копирования, но она не идеальна и должна быть только одной из многих частей общего решения для резервного копирования.
В целом, мы не часто рекомендуем использовать RAID внутри вашей локальной рабочей станции, поскольку производительность может быть достигнута другими способами (с помощью SSD-накопителей или накопителей NVMe), а дополнительные точки сбоев, создаваемые RAID, как правило, не стоят того, чтобы использовать меньшие массивы из 2-3 дисков. Однако место, где RAID имеет смысл, - это для более крупных сетевых систем хранения данных. Эти решения для хранения данных могут использовать от 5 до 24 (или более) дисков, что часто делает RAID необходимым.
...........................
Типы файлов для редактирования видео и куда их помещать. Хотя это в некоторой степени зависит от того, насколько подробным вы хотите быть, мы обычно считаем, что существует четыре основных "типа" файлов, которые ваша система будет использовать, когда вы работаете над проектом:
- Файлы ОС и приложений (системный диск).
- Общие документы/загрузка файлов.
- Носители проекта (видео, изображения, звук и т.д.).
- Кэш/скретч-файлы.
Ваша операционная система и файлы приложений (Windows, Chrome, Premiere Pro, Photoshopи т.д.) Являются основными строительными блоками вашей системы, и в целом их следует оставить для установки в местах по умолчанию на вашем основном диске операционной системы. Любая приличная современная рабочая станция будет иметь эти файлы, по крайней мере, на твердотельном накопителе SATA, хотя снижение цен на накопители NVMe означает, что их все чаще можно размещать на более быстром диске NVMe. Разница в производительности невелика (даже несмотря на то, что накопители NVMe технически в 7 с лишним раз быстрее SSD SATA), поскольку ваш процессор часто будет значительным узким местом при запуске Windows или открытии приложений, но во многих случаях разница в стоимости относительно невелика.
Что касается размера, вам нужен как минимум диск с ОС ёмкостью 500 ГБ или больше, в зависимости от того, сколько приложений вы, как правило, установили. Общие документы и загруженные файлы также идеально подходят для размещения на главном диске операционной системы (системном накопителе), хотя вам может потребоваться увеличить емкость диска в зависимости от того, сколько файлов вы обычно храните.
Если у вас ограниченный бюджет, вы также можете хранить носители проекта, включая файлы проекта, видео, изображения, аудио и другие ресурсы , включая прокси-серверы, на главном диске операционной системы, хотя с организационной точки зрения часто лучше иметь их на отдельном выделенном диске. С точки зрения производительности главное, чтобы сам накопитель обеспечивал достаточную пропускную способность, чтобы не отставать от вашего носителя и рабочего процесса. В общем, мы рекомендуем использовать накопитель, который может обрабатывать примерно четырёхкратный битрейт вашего носителя (или больше в зависимости от того, работаете ли вы с последовательностями с несколькими камерами aka мультикам с несколькими углами).
Для большинства пользователей SSD-накопитель SATA должен быть более чем достаточно быстрым для этого, хотя пользователям, работающим с 8K или необработанными кадрами, может потребоваться накопитель NVMe. Просто имейте в виду, что скорость передачи мультимедиа часто представлена в "Мбит/с" (мегабиты в секунду), в то время как скорость накопителя обычно указывается как МБ/с (мегабайты в секунду). В байте 8 бит, поэтому вам нужно обязательно преобразовать числа в одни и те же единицы измерения, прежде чем решать, какой тип накопителя использовать.
Если у вас есть особенно большие файлы проекта или команда редакторов, эти файлы часто размещаются на NAS, а не хранятся на локальной рабочей станции. Это потрясающий способ обработки больших файлов, но просто имейте в виду, что NAS должен быть в состоянии обслуживать эти файлы достаточно быстро, чтобы не стать узким местом. В дополнение к рекомендации "увеличить скорость передачи данных в 4 раза", которую мы рекомендуем для внутренних дисков, вам также необходимо умножить ее на количество одновременных пользователей, которые, как вы ожидаете, будут подключаться к NAS одновременно.
Файлы кэша и скретча лучше всего хранить по крайней мере на твердотельном накопителе SATA, но в идеале они должны располагаться на более быстром диске NVMe, если это возможно. Приложения для редактирования постоянно читают и записывают файлы кэша, и более быстрый диск может иметь небольшое значение, которое со временем увеличивается. Это также файлы, которые мы больше всего рекомендуем хранить на собственном выделенном диске, если это вообще возможно. Мы не только обнаружили, что их отделение от файлов вашей операционной системы и приложений может обеспечить небольшое повышение производительности, но это также хорошая идея с точки зрения надежности.
Это связано с тем фактом, что SSD-накопители и накопители NVMe имеют ограниченное количество операций записи, которые они могут выполнять до того, как возрастет риск сбоя накопителя. Объем варьируется в зависимости от модели и емкости накопителя, но поскольку кэш - файлы и скретч-файлы часто являются одним из крупнейших источников записи на диск, их размещение на собственных выделенных дисках увеличивает время записи, увеличивая долговечность всех дисков в вашей системе. В качестве дополнительного преимущества, если большое количество записей файлов кэша приводит к сбою диска, все, что вы теряете, - это временные данные, которые не являются критичными. Все ресурсы вашей операционной системы и проекта находятся в безопасности на других дисках, и ваш NLE должен автоматически вернуться к записи файлов кэша на основной диск операционной системы до тех пор, пока вы не сможете заменить вышедший из строя диск.
Что касается места, то многие пользователи обнаружат, что для их файлов кэша достаточно даже диска объемом 500 ГБ. Однако, если вы используете такие приложения, как After Effects или Fusion, которые хранят большие объемы данных кэша, вам может потребоваться накопитель кэша объемом 1 ТБ или даже больше.
*В случае Adobe After Effects речь идёт о Disk Cache.
...........................
Лучшие конфигурации дисков для редактирования видео. Учитывая широкий спектр рабочих процессов и бюджетов, существующих в мире редактирования видео, не существует ни одной "лучшей" конфигурации хранилища. На самом базовом уровне вы можете просто сохранить все свои файлы на одном SSD или NVMe-диске и на этом закончить. Это может быть не идеально с точки зрения организации или надежности, но для многих это позволит выполнить работу.
Однако по мере того, как вы приступаете к более сложным проектам с активами с более высоким разрешением, объем пространства, который вы можете получить с помощью одного SSD или NVMe, скорее всего, станет проблемой, и вам захочется перейти на установку с несколькими дисками по ряду причин, включая производительность, надежность и организацию.
Одной из наиболее распространенных конфигураций, которые мы используем на наших рабочих станциях, является разделение данных на три диска:
1. ОС/приложения - SSD или NVMe (500 ГБ+).
2. Файлы/ресурсы проекта - SSD, NVMe или NAS (2 ТБ+).
3. Кэш/Скретч - NVMe (500 ГБ+).
Эта настройка обеспечит вам наилучшую производительность, а также изолирует кэш с высокой нагрузкой и scratch файлы на их собственном диске, так что, если они приведут к преждевременному отказу диска, все, что вы потеряете, - это временные данные, которые ваши приложения могут легко восстановить по мере необходимости.
Хранение файлов и ресурсов проекта на собственном диске в основном связано с организацией, но это также облегчает задачу, если вам когда-либо понадобится восстановить или переустановить операционную систему. Поскольку все важные файлы находятся на собственном диске, они должны быть в безопасности, даже если ваша операционная система будет повреждена. Во многих случаях вы можете использовать SSD-накопитель или NVMe-накопитель для файлов вашего проекта, разница зависит от вашего бюджета и от того, нужен ли он вам для обработки битрейта исходного носителя для вашего рабочего процесса.
На самом деле единственный диск, который мы настоятельно рекомендуем использовать по умолчанию для использования диска NVMe, предназначен для файлов кэша/скретча, но даже в этом случае стандартный SSD-накопитель SATA, безусловно, справится с этой задачей, если использование NVMe приведет к превышению бюджета.
В дополнение к этим трем дискам некоторые люди также решают добавить в свою систему ряд других дисков. Это может быть несколько дисков для файлов и ресурсов проекта или традиционный жесткий диск, который будет выступать в качестве промежуточного уровня резервного копирования/архивирования перед копированием данных на внешний диск или в удаленную резервную копию.
...........................
Как настроить хранилище для приложения для редактирования.В то время как некоторые вещи, такие как расположение ваших медиаактивов и файлов проекта, вы должны делать вручную, настройка расположения файлов кэша-это то, что отличается для каждого приложения. Вместо того, чтобы пытаться вместить все в один пост, мы решили, что было бы лучше опубликовать дополнительные статьи, подробно описывающие это для ряда приложений:
Как настроить хранилище для Adobe Premiere Pro 2022.
Как настроить хранилище для After Effects (скоро будет!).
Как настроить хранилище для DaVinci Resolve (скоро будет!).
...........................
Выбор PCIe 4.0 NVMe накопителей.
Читаем о создании RAID 0 массива.