У нас было 2 ящика Huawei 2488 V5, набитых под завязку 64 Гб слотами оперативной памяти и Melanox-ами, одна СХД с 75 SSD дисками, 2 полки WD HGST Ultrastar Data60 c 60 дисками на борту, пол ящика трансиверов и гора оптики, успокоительных и всего такого, всех цветов, а ещё литр кофе и две дюжины арахисовых батончиков.
Единственное, что нас беспокоило — это оптика. В мире нет никого более беспомощного, безответственного и безнравственного, чем человек с перепутанной оптикой в руках. И мы знали, что довольно скоро мы в это окунёмся.
На рынке присутствует масса решений для виртуализации систем хранения данных (СХД) и построения программно-определяемых систем хранения данных (SDS). Каждая из систем приносит в инфраструктуру свои плюсы и минусы, системы виртуализации СХД позволяют расширить функционал и увеличить производительность, SDS позволяет перейти на стандартизированное оборудование массового сегмента, улучшить масштабируемость, снизить стоимость решения.
В нашей инфраструктуре широко используется решение от Western Digital - WD HGST Ultrastar Data60, мы рассказывали про наше хранилище для резервного копирование на базе Acronis и о легкости масштабирования репозиторий Veeam, взяв WD HGST Ultrastar Data60 за основу одного из слоев для реализации SDS решения вместе с виртуализацией СХД, мы собрали тестовый стенд и в очередной раз окунулись в тестирование. Задача была на первый взгляд простой, нужно было:
- Все распаковать
- Смонтировать
- Скоммутировать
- И собрать пирамиду
Логистика
Поставка пришла разом, фотографировать было некогда, оформление заняло большую половину дня и нужно было ускорятся, в целом стандартная процедура всех крупных компаний, за исключением того, как все упаковано, уверен, что если бы транспорт с доставкой перевернулся, наши полки добрались бы до нас в целости и сохранности…
Монтаж
Монтаж и коммутацию произвели за один полный день, так как полок WD HGST Ultrastar Data60 нам привезли много, фото будут вперемешку с еще одной инсталляцией на нескромные 3,2 Пб, которая в отдельной статье по ссылке.
Рыбку расположили в соседней стойке под WD HGST Ultrastar Data60
Рассказывать про сборку и монтаж полок, пожалуй, не станем, все удобно, логично, отличные салазки и удобные ARM комплекты, если вы собрали все правильно, один инженер без каких-либо проблем способен произвести перекоммутацию полки, заменить диск и, в целом, произвести любые работы, не связанные с демонтажом полки.
Важно обратить внимание на внутреннюю архитектуру WD HGST Ultrastar Data60, мы имеем отлично продуманную и удобную схему замены всех комплектующих полки и отличный воздушный поток, т.к. диски, расположенные в последнем ряду в слотах 48-59, в наших тестах, при расположении полки в 35-38 юнитах, не прогревались выше 49 градусов. Диски первого ряда находились при стабильных 26 градусах. И во время нагрузочного теста, который длился месяц, мы не потеряли ни одного диска, в отличие от нашихNetApp-ов, но это отдельная история.
Верхнеуровневая структура решения
- На двух серверах Huawei 2488 V5 была поднята система, объединяющая функционал SDS и виртуализации СХД, увы, пока не расскажем на базе какого решения;
- СХД Huawei Dorado 6000v3 мы подготовили в разбивке 6 LUN емкостью 30Тб каждый, каждому хосту было презентовано по 3 LUNа, луны разбалансированы между контроллерами СХД;
- Каждая из СХД NetApp E2812 была разбита на два дисковых пула, по 3 LUNа емкость 50Тб. В нашем тесте присутствует 2 сервера и 2 NetApp, т.к. в тесте подразумевалось полное зеркалирование всех данных, за каждым хостом был, закреплен один NetApp;
- Дисковые полки WD HGST Ultrastar Data60 подключены к серверам через контроллеры MegaRAID SAS 9380-8e + CacheVault LSICVM02, контроллеры установлены в PCI-Express 3.0 x8.
Для конфигурации дисковых полок есть три варианта:
- SP Boot Huawei – долго, нудно и требуется даун-тайм сервера;
- StorageCLI MegaRAID – гибко, но не очень удобно для использования;
- MegaRAID Storage Manager - стабильный GUI, must have для Windows серверов.
Конфигурация
WD HGST Ultrastar Data60 конфигурировали жестко, с огоньком RAID60 дисковые группы, из 60 доступных дисков - 6 дисков мы отправили в GlobalHotSpares.
Было собрано - 3 дисковые группы RAID60 с двумя SPAN каждая из 18 дисков, в каждой RAID группе создано по 3 виртуальных диска.
Суммарно, у наc получилась, задуманная нами структура распределения дисковых ресурсов, симметричная для каждого из серверов, с полным зеркалированием ресурсов.
Дальше было море нагрузочных и деструктивных тестов, бессонные ночи и часы международных звонков…
А что потом?
Кейсы, кейсы, кейсы …
Перерастёт ли тест в коммерцию, пока вопрос, в целом, есть вопросы к прослойке виртуализации систем хранения данных и SDS решению.
Озвучивать реальные результаты нагрузочного тестирования данного построения пока рано, замечу лишь, что мы не получили нужных преимуществ, на которые рассчитывали и не вышли на расчетный bandwidth и IOPs в рамках локальной инсталляции и полученных результатов тестирования каждого слоя отдельно.
Мы уверены, что нашим архитекторам совместно с вендором системы виртуализации СХД удастся решить все технические вопросы и мы сможем рассказать Вам более подробно о результатах тестирования и наглядно показать реальные примеры использования решения в действительно сложных инфраструктурах. Но пока классический принцип построения инфраструктуры с использованием проверенных временем решений, на наш взгляд, более стабилен, целесообразен и приносит большее количество плюсов для наших клиентов.
