132 Сервера в стойке или как уплотниться и не лопнуть

132 Сервера в стойке или как уплотниться и не лопнуть

Два года назад я в первый раз поведал в блоге о серверах DELL, каковые мы используем в собственной работе. Пришла пора поведать о новом оборудовании, за это время очень многое изменилось. Пост продолжительно не желал писаться, фотографии успели запылиться, но лучше поздно, чем ни при каких обстоятельствах.В этом посте я поведаю о новых серверах DELL PowerEdge серии C (С – от Cloud), и о том, как благодаря новому оборудованию мы удвоили емкость отечественной площадки в ДЦ и наряду с этим сохранили затраты на эксплуатацию на прошлом уровне.
Смотрите кроме этого: Cisco UCS unboxing

В отечественный центр компетенции приехала громадная куча коробок с защитными марками и логотипами CISCO. Наконец-то мы смогли вживую заметить, как выглядят сервера CISCO UCS. Ниже воображаем фотоотчет осмотра и процесса распаковки блейд-серверов.Для нас это событие знаковое: 12 сентября этого года мы взяли специализацию CISCO Advanced Unified Computing Technology, и сейчас, учитывая золотой статус NetApp и Enterprise VMware, мы взяли возможность собрать полноценный FlexPod.

Унылый нерезиновый мир (терпение, фотки дальше)Приблизительно годом ранее перед Русониксом без шуток поднялась неприятность инфраструктурного роста. Мы ставим серверы в классном, но очень дорогом ДЦ (Комкор/Акадо на Варшавском). Любая стойка стоит как самолет, но площадка разрешает выделять большое количество электричества, до 10-15 кВт на стойку. Для сравнения, в обычном столичном дата-центре экономного класса на стойку выделяется от 3 до 5 кВт.

Имеется и другие плюсы, но на данный момент не об этом.Итак, для нас было очень накладно расти экстенсивно, вширь. Помимо этого, во всем, что мы делаем, мы стараемся применять имеющиеся ресурсы максимально действенно. Переезд в недорогой ДЦ – не отечественный способ, корпоративные клиенты просто не осознают. Помимо этого, мы весьма желали запустить проект по аренде брендовых делловских серверов.Так, перед нами появились задачи:

  • инфраструктурно обеспечить рост клиентской базы;
  • запустить проект по аренде серверов DELL;
  • попытаться избежать повышения постоянных затрат на эксплуатацию (аренда стоек и обслуживание серверов).

Нулевой вариант мы реализовали сходу — повыкидывали старье в помойку.Важных вариантов ответа было пара:

  1. переезд в недорогой дата-центр;
  2. частичный перевод некритичных одолжений в средний дата-центр с умеренными стоимостями;
  3. уплотнение оборудования на имеющейся площадке.

Первый вариант действительно не рассматривался – через чур большие затраты, риски и не прогнозируемый итог.Разглядев второй вариант и взвесив все за и против, мы заключили , что овчинка выделки не следует. Точек отказа делается больше, риски возрастают, постоянные затраты возрастают.Оставался сценарий с уплотнением оборудования на существующей площадке. К сожалению, в отечественный дата-центр резиновые стойки еще не завезли. Было нужно трудиться с тем, что имеется.

В стойке 42 юнита – ни больше, ни меньше. И мы занялись пятнашками – перетасовкой серверов между стойками, заменой коммутаторов и другими увлекательными, но не весьма действенными вещами.На отечественное счастье DELL в 2011 году объявил серверы PowerEdge C5220 и С6100. В этот самый момент началось самое занимательное.Слава всевышнему ты пришел (фотки еще дальше)C5220 – это 8 либо 12 серверов/следов (sled в терминологии DELL) уровня R210 в одном 3U корпусе.

Фото с сайта dell.comC6100 – это 4 сервера уровня R610 в одном 2U корпусе (спойлер: зверь, а не машина. C6100 заслуживает отдельного поста).Фото с сайта dell.comМы случайно определили о скором выходе новой линейки и сходу запросили в русском представительстве данные о возможности поставки таких серверов. Серверов не то дабы не было в наличии – их кроме того не было на американском сайте DELL. И конечно же платформы не были сертифицированы в Российской Федерации.

Потянулись продолжительные месяцы ожидания стоимостей, квот на сертификации и поставку.Российский DELL сработал весьма оперативно и вот в ноябре к нам пришли первые серверы на платформе C5000. Одни из первых в мире и первые в Российской Федерации. Стоит ли сказать, что чудо-железки собрали около себя как отечественных инженеров, так и представителей Вирта — отечественного дистрибьютора.C5000 является корпусом с охлаждением и центральным питанием. В корпус засунуты «картриджи» — следы. Их возможно 8 либо 12.

на данный момент мы используем лишь 12-следовую конфигурацию. В 8-следовые возможно установить более карты расширения и мощные процессоры. Первая партия 8-следовых уже прошла таможню и будет у нас со дня на сутки. Любой след – отдельный сервер с собственными дисками, памятью, сетевым интерфейсом и квм.Слот для процессора лишь один: поддерживаются Xeon серии E3 с TDP до 65Вт (до 95Вт в 8-следовой конфигурации).

Мы ставим E3-1260L, на отечественный взор это самый оптимальный процессор из современной линейке E3, сочетающий в себе низкое электропотребление, высокую производительность (4 ядра, 8 потоков, TurboBoost с 2.4 до 3.3ГГц) и разумную цена. Имеется подобная платформа и для процессоров AMD, но мы продукцию этого вендора в работе не используем, исходя из этого ничего про них сообщить не могу.4 слота для памяти рекомендуется занимать всецело для быстродействия и оптимального охлаждения.

Максимально сервер поддерживает до 32Гб DDR3 ECC UDIMM (1333 MHz).В следе имеется место для двух 3.5-дюймовых дисков либо четырех 2.5-дюймовых. Мы ставим по два больших диска. Установка четырех дисков для аналогичных применений нам думается очень расточительным и не рациональным. Но в случае если будет спрос – подумаем над закупкой и таких конфигураций.В каждом сервере предусмотрены два сетевых интерфейса. Один мы используем для связи с внешним миром, а второй для бэкнета.

Бэкнет нужен для отечественной управляющей совокупности: по нему мы устанавливаем и настраиваем ПО, мигрируем пользователей и при необходимости делаем бэкапы. Помимо этого, в шасси имеется единый управляющий центр, делающий роль KVM для доступа к низкоуровневым настройкам каждого из серверов (IPMI 2.0, Virtual Media и другие прелести удаленного администрирования).

И само собой разумеется через центр вероятен удаленный мониторинг состояния всех железок, установленных в шасси.Не обращая внимания на много возможностей удаленного администрирования, вероятна обстановка, в то время, когда нужно подключиться к какому-либо из серверов физически. Для этого любой из них оснащен разъемом D-SUB и двумя портами USB 2.0. Потому, что площадь передней панели очень мелка, было крайне важно покинуть побольше пространства для воздуховодов.

Исходя из этого все разъемы интегрированы в один универсальный. Все дело в чудесных проводках.Следы вставляются в шасси приблизительно как картриджи в детские приставки начала 90-х. Через эти разъемы идет обмен и подача питания данными с управляющим центром.В задней части шасси установлены блоки охлаждения с резервированием N+1.

В действительности для охлаждения достаточно одного последовательности кулеров. Второй — для резервирования.Питание подводится через два блока с тёплой заменой, один из них – резервный. Блоки питания подключены к двум различным лучам, благо дата-центр это разрешает. Так, серверы защищены как от внутреннего сбоя – выхода из строя одного из блоков, так и от внешнего фактора – выключения питания на одном из лучей.Внимательный читатель увидит как здорово продуман фиксатор блока питания.

Блок нельзя вытащить, не опустив замки-собачки, а ручка для опускания замков (зеленая на фото) заблокирована до тех пор пока БП не обесточен.Для нас серверы C-серии стали громадным подарком со стороны инженеров DELL, т.к. они разрешили нам решить удешевления инфраструктуры и сложную задачу уплотнения при сохранении качества одолжений. С одной стороны, такие серверы очень сильно дешевле в обслуживании и эксплуатации, а с другой – снабжают резервирование и большую надёжность, нежели простые одноюнитовые DELL PowerEdge R210 со схожими чертями.Серверы превосходно сработались с отечественной совокупностью управления Parallels Automation и виртуализацией Parallels Virtuozzo Containers (PVC).

Так, мы смогли интегрировать их с отечественной существующей инфраструктурой и применять для установки готовые комплекты настроенного ПО (панель управления, узкие настройки под разные CMS и другое). В следствии аккаунты на новых VPS 2012-го тарифного года при апдейте на аренду сервера машинально мигрируются с VPS-нод на отдельную машину.

Прозрачная миграция между серверами – это отдельная занимательная тема, о которой я в обязательном порядке поведаю в одном из следующих постов.Что в следствии?Благодаря платформе c5000 плотность размещения серверов под аренду в простых 42U шкафах составила 132 сервера на шкаф (более чем в 3 раза выше простого). Кроме этого посредством серверов на платформе C6100 (на данный момент уже C6220) мы увеличили плотность размещения продакшн-серверов, каковые употребляются для виртуализации, в 2 раза.

С учетом отечественного стандартного оборудования DELL PowerEdge серии R, еще оставшегося в эксплуатации, за год мы увеличили количество физических и виртуальных серверов более чем в 2 раза и наряду с этим избежали роста постоянных затрат на эксплуатацию дата-центра.В то время, когда уже была написана статья я с удивлением понял, что у нас нет ни одной хорошей фотографии следа во всю длину. Вот все что нашлось.В обязательном порядке перефотографируем в то время, когда придет следующая партия.P.S. В случае если кому пригодится — у нас возможно забрать сервер в аренду.

Случайная статья:

СЕРВЕРНЫЙ ШКАФ — наводим порядок — #pereezdd


Похожие статьи:

Комментирование и размещение ссылок запрещено.

Обсуждение закрыто.