Сколько полезной ёмкости останется в дисковом массиве

Заявленная ёмкость дискового массива и ёмкость, доступная приложениям, различаются в полтора-два раза. Между цифрой на коробке и объёмом, который увидит сервер, стоят перевод единиц измерения, потери на уровень массива, запасные диски, служебные области контроллера и резерв файловой системы. Если эти потери не учесть при закупке, места не хватит раньше окончания срока службы оборудования.

Разберём, куда уходит ёмкость на каждом шаге, как считается полезный объём для разных уровней массива, какой запас закладывается под рост и какие данные нужны для расчёта. Готовые решения лежат в разделе систем хранения данных, отдельные диски — в разделе накопителей.

Куда уходит объём между коробкой и сервером

• Перевод единиц. Производитель считает терабайт как 10¹² байт, операционная система — как 2⁴⁰. Диск на 4 ТБ отображается как 3,64 ТиБ, то есть около 9 % теряется до всяких расчётов.
• Уровень массива. Часть дисков или часть объёма каждого диска занята контрольными суммами и зеркалом. Это основная статья потерь, она считается по формуле уровня.
• Диски горячей замены. Резервные накопители стоят в корзине, но в полезную ёмкость не входят. На массиве из двадцати четырёх дисков обычно выделяется один-два.
• Служебные области. Метаданные, журналы, области под снимки и кэш записи. У систем с дедупликацией и сжатием служебная часть заметно больше.
• Форматирование и резерв файловой системы. На уровне сервера или гипервизора отнимается ещё несколько процентов.
• Рабочий запас производительности. Заполненный выше 80 % массив на флеш-накопителях теряет скорость записи, поэтому пятая часть объёма держится свободной намеренно.

Полезная ёмкость по уровням массива

Расчёт ведётся для двенадцати дисков по 4 ТБ. Показана ёмкость после перевода единиц и вычета потерь уровня, без служебных областей и резерва файловой системы.

Из таблицы видно главное: разница между RAID 5 и RAID 10 на тех же дисках — почти двукратная по объёму, но обратная по устойчивости и скорости записи. Уровень выбирается не по ёмкости, а по характеру нагрузки, и уже под выбранный уровень считается количество дисков.

Почему на больших дисках не используют RAID 5

При отказе диска массив восстанавливает данные, читая все оставшиеся накопители целиком. Для диска на 16 ТБ такое восстановление занимает от суток до нескольких суток, и всё это время массив работает без защиты: второй отказ или единичная неисправимая ошибка чтения приводит к потере группы. Чем крупнее диск, тем выше вероятность встретить такую ошибку за один полный проход.

• На дисках до 2 ТБ RAID 5 остаётся рабочим вариантом для небольших групп из четырёх-шести накопителей.
• На дисках от 4 ТБ применяется RAID 6 или распределённая защита с двумя контрольными суммами.
• Группы большого размера разбиваются на две-три меньшие и объединяются — восстановление идёт внутри своей группы и заканчивается быстрее.
• Современные системы хранения восстанавливают не диск целиком, а только занятые блоки, и распределяют запись по всем накопителям полки — время сокращается в разы.
• Отдельно проверяется, поддерживает ли контроллер нужный уровень аппаратно или считает контрольные суммы силами процессора сервера.

Что добавляют и что отнимают дедупликация и сжатие

Производители систем хранения указывают ёмкость с учётом сокращения данных — обычно в соотношении от 2:1 до 5:1. Реальный коэффициент зависит от типа данных и проверяется на своей нагрузке, а не берётся из брошюры.

• Виртуальные машины с одинаковой операционной системой сокращаются хорошо: совпадающих блоков много, соотношение 3:1 и выше достижимо.
• Базы данных сокращаются умеренно, и часть из них шифрует данные сама — тогда сокращение не работает вовсе.
• Архивы, видео, фотографии и уже сжатые файлы не сокращаются: закладывать выигрыш по ним нельзя.
• Сокращение данных занимает вычислительные ресурсы контроллера, поэтому на массивах с интенсивной записью его иногда отключают для отдельных томов.
• Тонкое выделение позволяет отдать серверам больше логического объёма, чем есть физически, — но требует контроля заполнения, иначе массив останавливает запись.

Как считается запас на срок службы

• Берётся текущий занятый объём и прирост за последние шесть-двенадцать месяцев в терабайтах в месяц.
• Прирост умножается на срок, на который покупается система, — обычно три или пять лет.
• К результату добавляется объём под снимки и резервные копии, если они хранятся на этой же системе.
• Добавляется резерв под разовые задачи: миграция, тестовые среды, копия базы для разработчиков.
• Итог делится на 0,8 — так учитывается рабочий запас, который нельзя занимать.
• Проверяется, до какой ёмкости систему можно нарастить дисками и полками расширения без замены контроллеров.

Линейки, из которых подбирается система

• HPE — самый широкий выбор по классам: от массивов начального уровня до систем для нагруженной виртуализации.
• Dell — массивы с распределённой защитой данных и быстрым восстановлением группы.
• Huawei — гибридные и полностью твердотельные системы, включая линейки для дата-центра.
• Infortrend — блочные и файловые массивы среднего уровня с большим числом дисковых отсеков.
• QNAP и Synology — файловые хранилища для небольших площадок и резервного копирования.
• Диски под массив подбираются из раздела накопителей с проверкой по списку совместимости производителя системы.

Что прислать для расчёта

• Текущий занятый объём и прирост данных за последние месяцы.
• Характер нагрузки: базы данных, виртуальные машины, файловый архив, видеонаблюдение.
• Требуемая скорость записи и допустимая задержка, если они заданы.
• Срок, на который планируется система, и допустимое время восстановления после отказа диска.
• Нужны ли на этой же системе снимки и резервные копии.
• Серверы и платформы, которые будут подключены, и тип подключения.

Частые вопросы

Почему массив показывает меньше, чем сумма дисков, даже без RAID? Из-за перевода единиц измерения. Производитель считает в десятичных терабайтах, операционная система — в двоичных. Потеря около 9 % возникает всегда и ни на что не влияет, кроме цифры в отчёте.

Можно ли обойтись без дисков горячей замены? Можно, если на площадке лежит запасной накопитель и его успевают установить в течение суток. На удалённом объекте без дежурного персонала резервный диск в корзине обязателен.

Сколько места занимают снимки? Зависит от частоты изменения данных: снимок хранит не копию тома, а изменённые блоки. Для базы данных с активной записью недельная глубина снимков может занять до трети объёма тома, для файлового архива — единицы процентов.

Стоит ли рассчитывать на заявленное сокращение данных? При закупке лучше считать ёмкость без сокращения, а выигрыш от него оставить как запас. Так система не окажется переполненной, если данные сожмутся хуже ожидаемого.

Что дешевле — доложить диски или купить полку расширения? Пока в корзине есть свободные отсеки, дешевле диски. Полка нужна, когда отсеки закончились, и её стоит закладывать в проект заранее: не каждая система поддерживает произвольное число полок.

Что мы делаем

Считаем полезную ёмкость по вашей нагрузке с учётом уровня массива, дисков горячей замены и рабочего запаса, подбираем систему хранения и диски по списку совместимости производителя, проверяем предел наращивания без замены контроллеров и комплектуем поставку контроллерами и кабелями подключения к серверам. Поставляем оборудование из Китая с проверкой комплектности при приёмке.

Пришлите текущий объём данных, прирост за последние месяцы и характер нагрузки на server@tkasiatorg.ru — рассчитаем полезную ёмкость, подберём уровень массива и дадим спецификацию системы с ценами и сроками поставки.