Как рассчитать окно резервного копирования

Окно резервного копирования — это отрезок времени, в который копия должна быть снята полностью. Обычно он ограничен ночными часами, когда нагрузка на продуктивные системы минимальна. Если полная копия в этот отрезок не укладывается, она либо задевает рабочий день, либо остаётся незавершённой, и восстановление опирается на предыдущую копию.

Расчёт окна делается до закупки, потому что от него зависит и выбор приёмника копии, и схема копирования. Ниже разобрано, из чего складывается время, как считается полезная скорость потока и что меняется, когда окно не закрывается. Оборудование собрано в разделах дисковые полки, ленточные накопители и библиотеки и дисковые массивы.

Из чего складывается время полной копии

• Объём данных, который входит в задание. Считается не по ёмкости массива, а по занятому месту плюс прирост за время до планового пересмотра схемы.
• Полезная скорость потока. Определяется самым медленным звеном цепочки: чтением с продуктивного хранилища, пропускной способностью сети, записью на приёмник и производительностью сервера резервного копирования.
• Число параллельных потоков. Один поток почти никогда не загружает приёмник целиком. Несколько заданий, идущих одновременно, дают суммарную скорость выше, но требуют, чтобы её выдержал источник.
• Служебные операции. Обход файловой системы перед копированием, запись каталога, проверка копии после записи, смена картриджа в библиотеке и перемотка. На больших объёмах мелких файлов обход занимает сопоставимое с копированием время.
• Окончание задания. Копия считается снятой не в момент последней записи, а после завершения записи каталога — иначе восстановление по ней невозможно.

Как считается окно

Расчёт идёт в двух шагах. Сначала объём делится на полезную скорость звена-ограничителя, затем к полученному времени прибавляются служебные операции. Удобная единица — терабайты в час: один терабайт в час соответствует примерно 280 МБ/с непрерывного потока.

Пример. Объём полной копии — 40 ТБ, приёмник — ленточный накопитель поколения LTO-8 с номинальной скоростью 360 МБ/с, то есть около 1,3 ТБ/ч на несжимаемых данных. Время записи — порядка 31 часа, и в ночное окно такая копия не укладывается ни при каком расписании. Варианты: добавить второй накопитель в библиотеку и разделить задание на два потока, перейти на поколение LTO-9, либо отказаться от еженедельной полной копии в пользу схемы с инкрементальными заданиями и синтетической полной копией на дисковом уровне.

Пропускная способность звеньев

Указанные для ленты значения относятся к несжимаемым данным. Аппаратное сжатие в накопителе поднимает и скорость, и ёмкость картриджа, но коэффициент зависит от характера данных: текстовые выгрузки и образы баз сжимаются, а уже сжатые архивы, образы дисков и видео — нет. Расчёт окна ведётся по номинальным значениям, иначе он не выполнится.

Где теряется время

• Мелкие файлы. Миллион файлов по сто килобайт копируется в разы дольше, чем тот же объём в нескольких больших файлах: на каждый файл приходятся открытие, чтение атрибутов и запись в каталог.
• Один поток на нескольких источниках. Задание, последовательно обходящее десяток серверов, простаивает на каждом переключении.
• Неравномерный поток на ленту. Накопитель рассчитан на непрерывную запись. Когда источник отдаёт данные медленнее, лента останавливается и позиционируется заново, и фактическая скорость падает ниже номинальной.
• Проверка копии в том же окне. Чтение записанного удваивает время. Если проверка обязательна, она планируется отдельным заданием вне окна.
• Смена картриджей. В библиотеке с одним накопителем каждая смена — это выгрузка, перемотка и загрузка нового картриджа. При объёме копии, кратно превышающем ёмкость картриджа, из этих пауз складываются часы.
• Общая сеть. Канал, по которому идёт копирование, обслуживает и остальные задачи. Расчёт по номинальной скорости порта без выделенного сегмента не выполняется.

Что меняют, когда окно не закрывается

• Схему копирования. Полная копия раз в неделю и ежедневные инкрементальные задания сокращают ночной объём в разы. Полная копия при этом переносится на выходные или собирается из инкрементальных на дисковом уровне.
• Приёмник. Промежуточный дисковый буфер принимает поток быстро, а выгрузка на ленту идёт потом, уже вне окна и непрерывным потоком. Для буфера берут дисковые полки или отдельный дисковый массив.
• Число потоков. Второй накопитель в библиотеке или разделение задания по серверам. Это работает, только если источник способен отдать оба потока.
• Поколение накопителя. Переход с LTO-7 на LTO-9 поднимает и скорость, и ёмкость картриджа — число смен сокращается вместе со временем записи.
• Состав данных. Из задания исключаются временные файлы, образы виртуальных машин с прежних копий и каталоги, восстановление которых не требуется.
• Сеть копирования. Выделенный сегмент на 10 Гбит/с или подключение приёмника напрямую к серверу копирования по SAS. Оборудование — раздел сетевое оборудование.

Что из каталога берут под задачу

• Ленточные библиотеки с одним или двумя накопителями — HPE MSL2024, HPE MSL3040, IBM TS4300 и приводы LTO-7, LTO-8 и LTO-9 из раздела ленточные накопители и библиотеки.
• Дисковые полки под промежуточный буфер — исполнения HPE, Dell, Huawei, Lenovo и Synology в разделе дисковые полки. Подбираются по числу отсеков, интерфейсу подключения и типу накопителей.
• Накопители под буфер — жёсткие диски большой ёмкости для хранения копий и твердотельные накопители для каталога и журналов задания.
• Сервер резервного копирования — серверы в стоечном исполнении. Для него считаются число ядер под сжатие, объём памяти под каталог и число портов.
• Массив под вторую площадку, если копия вывозится или передаётся по сети, — раздел дисковые массивы.

Частые вопросы

Можно ли считать окно по сжатой ёмкости картриджа? Нет. Коэффициент сжатия заранее неизвестен и для части данных равен единице. Расчёт ведётся по номинальным значениям, а сжатие остаётся запасом, а не основанием плана.

Что быстрее при равном бюджете — лента или диск? Приём копии быстрее на диске, долгое хранение дешевле на ленте. Поэтому при жёстком окне обычно берут оба уровня: дисковый буфер принимает поток в окне, выгрузка на ленту идёт позже.

Сколько потоков задавать? Столько, сколько выдерживает источник. Увеличение числа потоков на одном массиве переводит чтение из последовательного в случайное, и суммарная скорость падает. Число подбирается замером, начиная с двух.

Нужно ли включать проверку копии? Для копий, на которые опирается восстановление критичных систем, — нужно, но отдельным заданием вне окна. Проверка в том же окне удваивает время записи.

Что прислать для расчёта? Объём занятого места по системам и прирост за месяц, характер данных, допустимое окно в часах, требуемую глубину хранения копий, схему сети между источниками и приёмником, текущий состав оборудования и требование к проверке копий.

Что мы делаем

Считаем окно по объёму и звену-ограничителю, подбираем приёмник под требуемую скорость, сравниваем варианты с дисковым буфером и без него, считаем число картриджей на заданную глубину хранения и называем сроки поставки. Разделы — ленточные накопители и библиотеки, дисковые полки, дисковые массивы и серверы.

Пришлите объёмы и допустимое окно на server@tkasiatorg.ru — посчитаем время полной копии, подберём приёмник и накопители под нужную скорость и соберём спецификацию с картриджами на заданную глубину хранения.