Объектное S3-хранилище YADRO TATLIN.OBJECT для приложений и архивов

Одно хранилище – отдельные политики для каждого сервиса

Документы информационной системы, медиатека и архив могут иметь разные требования к доступности, числу копий и размещению. В TATLIN.OBJECT политики хранения задаются на уровне контейнеров: можно определять количество копий и расположение объектов.

Для разделения ресурсов используются права доступа, мультитенантность и квоты на объем, количество бакетов и объектов. Это позволяет контролировать потребление ресурсов разными приложениями и подразделениями.

Как защита данных влияет на емкость и бюджет

В расчете разделяем три величины:

• Полезный объем – данные, которые требуется хранить.
• Физическая емкость – пространство для данных, выбранной защиты и технологических расходов.
• Лицензируемая емкость – полезный объем, на который приобретаются права использования ПО.

TATLIN.OBJECT лицензируется по полезной емкости с шагом 1 ТБ. Дополнительные копии данных для защиты отдельно не лицензируются.

Условный пример расчета

Предположим, требования проекта предусматривают три копии для данных приложения и две – для медиаматериалов.

Для хранения всех 100 ТБ в трех копиях потребуется 300 ТБ. При трех копиях данных приложения и двух копиях медиаматериалов – 220 ТБ. Разница возникает за счет меньшего числа копий медиаданных. Количество копий выбираем по требованиям к сохранности каждого набора данных.

Лицензируемый полезный объем в обоих случаях составляет 100 ТБ.

Расчет иллюстрирует влияние числа копий. Сжатие, служебные данные, версии объектов и свободный резерв учитываются дополнительно.

Для каждого проекта сопоставляем репликацию и Erasure Coding. Выбранная схема определяет расход емкости, допустимые отказы и требования к производительности.

В коммерческом предложении показываем, сколько пространства доступно приложениям, какой объем требуется для защиты и сколько стоит выбранная архитектура.

Размер объектов учитываем вместе с объемом данных

Одинаковая емкость может означать разную нагрузку на хранилище. Например, 100 ТБ объектов размером около 1 МБ – это примерно 100 млн объектов. При размере около 100 МБ тот же объем составит примерно 1 млн объектов.

Поэтому для подбора нужны количество и размеры объектов, число операций чтения и записи, параллельные подключения и требования ко времени ответа.

Для емких наборов данных рассматриваем гибридные узлы с HDD и опциональным SSD-кэшем. Для интенсивной работы с мелкими объектами – All-SSD. Оба типа узлов могут использоваться в одной системе.

При использовании All-SSD производитель предусматривает не менее двух таких узлов при соблюдении общего минимума узлов на площадке. Состав кластера рассчитываем под профиль нагрузки.

Совместимость S3 проверяем по операциям приложения

До закупки определяем, какие функции объектного хранилища использует ваша система.

Через S3 можно загрузить объект размером до 5 ГБ одним запросом или до 50 ТБ с помощью составной загрузки Multipart Upload. Для крупных файлов проверяем поддержку составной загрузки в приложении.

S3 Lifecycle позволяет автоматически очищать незавершенные составные загрузки по заданным правилам, освобождая занятое их частями пространство.

При миграции определяем порядок переноса, проверки целостности и переключения приложений. Объем этих работ включаем в расчет до поставки оборудования.

Если в проекте также нужны файловые ресурсы по SMB/NFS и блочные тома по FC/iSCSI, дополняем объектное хранилище СХД YADRO TATLIN.FLEX.

Размещение на одной площадке и в нескольких ЦОД

Минимальная конфигурация TATLIN.OBJECT включает четыре узла на каждой площадке хранения. Для трех площадок потребуется не менее 12 узлов. Дальнейшее расширение выполняется добавлением отдельных узлов.

В геораспределенном проекте фиксируем:

• где должны находиться данные каждого приложения;
• какие копии размещаются на разных площадках;
• какой порядок записи используется;
• какие отказы должна выдерживать система;
• какие каналы связи необходимы для выбранной нагрузки.

На каждом узле предусмотрены два порта Ethernet 10/25 Гбит/с для внутреннего обмена и еще два – для доступа к данным. Сеть хранения, подключения приложений и управление учитываем в общей архитектуре.

В проекте YADRO для ДОМ.РФ и Банка ДОМ.РФ поставлены 52 узла TATLIN.OBJECT: 34 для ДОМ.РФ и 18 для банка. Хранилище распределено по трем дата-центрам.

Проект и поставка с расчетом на рост данных

Предложение СИНТО объединяет три результата:

1. Схему хранения. Наборы данных, правила доступа, защита и размещение по площадкам.
2. Архитектуру подключения. Узлы, сеть, необходимые операции S3 и порядок переноса данных.
3. Расчет бюджета. Оборудование, лицензии, запуск, интеграция, поддержка и последующее расширение до согласованного объема.

В КП отдельно указываем стоимость стартовой конфигурации и расчет расширения. Фиксируем комплектацию, сроки поставки, условия оплаты, порядок учета НДС, гарантию, программу поддержки производителя и услуги сопровождения СИНТО.