По последним изучениям компании EMC, количество данных, сгенерированных в 2012 году образовывает 2.8 зеттабайта (10^21 байт) а к 2020 году эта цифра дорастет до 40 зеттабайт, что превосходит прошлые прогнозы на 14%. Возможно смело констатировать, что мы уже столкнулись с «великим потопом данных» и одним из ответов на это есть рост доли самых громадных дата-центров, каковые довольно часто именуют «мега-ЦОД» — их часть по различным оценкам образовывает приблизительно 25% рынка современных серверов.
Смотрите кроме этого: Мега-ЦОДы — пионеры инноваций. Часть 2

Мы продолжаем знакомство с современными очень большими дата-центрами, начатое прошедшей статьей, и сейчас поболтаем о том, как решается одна из самые важных неприятностей — хранение данных. Помимо этого, мы мало поболтаем о ближайшем будущем таких мега-ЦОД.Очевидно, совокупность хранения данных не имела возможности не стать узким местом для весьма и весьма многих применений мега-ЦОД. Не обращая внимания на громадный прорыв в данной области, не всегда существующих ответов достаточно для беспроблемного ответа поднимающихся задач.

Так же, как, к примеру, в гонках «Формула-1», инновации зарождаются именно там, где нужны запредельные показатели, но уже скоро очень многое из этих новшеств внедряется в простых серийных машинах. Так же и мега-ЦОДы являются одними из основных центров инноваций в информационных разработках. Многие компании применяют примеры очень больших дата-центров в собственных ответах для обработки «громадных данных», частных вычислительных кластерах и облаках.

Мега-ЦОДы являются полигонами, на которых обкатываются ультрасовременные ответы по масштабированию, экономичности и повышению эффективности.Значительно чаще мегацентры обработки данных строят компании-гиганты, типа Apple, Гугл, Facebook (более увлекательный и редкий пример — китайские компании типа Tencent и Baidu), исходя из этого эти дата-центры не узкоспециализированные. Сервера этих дата-центров занимаются и хранением данных, и обслуживанием СУБД, и обеспечением web-серверов, и более специфичными для компаний задачами: поиск, анализ поисковых запросов, аналитика и без того потом.

Масштабы таких ДЦ поражают — в большинстве случаев они содержат от 200 000 до 1 000 000 серверов, в которых установлены до 10 миллионов накопителей. В зависимости от задач сервера смогут содержать лишь загрузочные диски, незащищенные диски либо же защищенные RAID-массивы для критичных данных.

Обычно для ускорения работы дисковых систем употребляются гибридные ответы на базе flash-памяти, к примеру, такие как LSI Nytro, о которых я уже писал в прошедшей статье [ссылка].Сервера в большинстве случаев объединяются в кластеры, которые содержат приблизительно от 200 до 2000 узлов. Такие кластеры проектируются так, чтобы возможно было скоро отключить проблемный узел при сбоя и перераспределить нагрузку между оставшимися.

В большинстве случаев это делается на программном уровне.Потому, что в мега-ЦОД одно приложение обычно трудится на сотнях и тысячах тысяч узлов, скорость передачи информации между узлами делается весьма критичной. Для преодоления этих неприятностей в громадных дата-центрах употребляются разработке 10 GbE и 40 GbE.

Так как сети мега-ЦОДов в большинстве случаев статические (это также оказывает помощь снизить время обработки транзакций), довольно часто употребляется программно-конфигурируемая сеть (SDN).Виртуализация употребляется редко, по большей части для дублирования образов и упрощения внедрения. ПО, значительно чаще open source, разрешает осуществлять более узкую его настройку и доработку (мега-ЦОДы — это в неспециализированном-то штучные явления, создающиеся для конкретных целей конкретных компаний).

В таких дата-центрах поразительно остро стоит вопрос понижения эксплуатационных затрат методом отказа от всего лишнего (очевидно до определенного предела). Цель оптимизации — упразднить все, что не относится к главным задачам, даже в том случае, если это «достается безвозмездно», потому, что кроме того бесплатное изначально ответ может привести к предстоящим эксплуатационным расходам.

Несложный пример: в случае если добавить в любой сервер ненужный светодиод, то при наличии 200 000 серверов цена светодиодов составит порядка 10 000 американских долларов, а также в случае если эти светодиоды будут «бесплатными» — электропотребление вырастет где-то на 20 кВт.Неприятности мега-ЦОДовВообще, в плане неприятностей подобные центры обработки данных похожи на собственных «младших собратьев»: им так же нужно снабжать возможности выполнения тяжелых приложений с большой скоростью, так же принципиально важно оптимизация и масштабирование затрат. Единственное исключение — в силу размера каждая неточность, неприятность либо неэффективность обходится заметно дороже.

Одной из таких неприятностей являются отказы дисков. Не обращая внимания на низкую цена замены, массированные отказы являются серьезнейшей проблемой, вызывающей важные сбои в работе отдельных кластеров, а иногда и всего ЦОДа. Архивные хранилища, каковые в большинстве случаев применяют для ответа данной неприятности, потребляют большое количество других ресурсов и электричества, даже в том случае, если информация на них употребляется нечасто.

Особенно это заметно при росте количеств данных, каковые иногда исчисляются уже не петабайтами, а экзабайтами. Уроки мега-ЦОДовКак я уже писал выше, многие архитектурные ответы очень больших дата-центов находят собственный место среди ЦОДов мельче, потому, что они разрешают получать немыслимой эффективности в соотношении затраченных вычислительной мощности и ресурсов. Что же это за правила?

Первый, и, пожалуй, основной — это необходимость сделать инфраструктуру максимально однородной (гомогенной). Такую инфраструктуру существенно проще поддерживать и масштабировать. Оптимизация затрат в том месте, где это не критично разрешает высвободить средства, каковые нужно вкладывать в более идеальные архитектурные ответы, к примеру такие, что разрешат создавать обслуживание с минимальным вмешательством.

Второй принцип пребывает в том, что попытки поддерживать надежность кроме того на уровне «пять девяток» — для громадного центра обработки данных это дорого, да и в целом невозможно. Вместо этого нужно проектировать инфраструктуру так, дабы системы имели возможность подвергаться сбоям, но вся совокупность в целом работала . Нужные для этого программные и аппаратные ответа уже дешёвы на рынке, но пока еще они не свойственны в корпоративных совокупностях.

Случайная статья:

• Применение нейронных сетей в робототехнике: перспективы и преимущества
• Defender cobra m5 — для тех, кто хочет в небо

Дата-центр Facebook (ЦОД Facebook)

Похожие статьи:

• Мега-цоды — пионеры инноваций. часть 2

  Мы продолжаем знакомство с современными очень большими дата-центрами, начатое прошедшей статьей, и сейчас поболтаем о том, как решается одна из самые…

• Ibm: пять инноваций, которые изменят вашу жизнь в течение пяти лет

  «Умные» классные помещения, салоны продаж с совокупностями дополненной действительности, новые лечения рака и способы диагностирования, персональные…

• Ibm: пять инноваций, которые изменят вашу жизнь через пять лет

  Эксперты уверены в том, что компьютеры овладеют людскими эмоциями, а потому отечественные пять эмоций выйдут на новую высоту. Корпорация IBM представила…