Компоненты базовой архитектуры ЦОД

В ЦОД условно можно выделить несколько базовых уровней:

• инженерный,
• сетевой,
• серверный,
• уровень хранения данных.

Кроме этого, немаловажную роль играют вспомогательные уровни обеспечения климата, мониторинга и прочие сервисы.

1. Инженерный уровень

Требования к подсистеме энергоснабжения ЦОД
На территории РФ в дополнение к ANSI/TIA-942 существуют "Правила устройства электроустановок (ПУЭ)". Этот документ выделяет категории надежности электроснабжения (объекты I, II категории и объекты особой группы первой категории) и дает общие рекомендации по обеспечению каждого из уровней. Стандарт TIA-942 определяет четыре уровня бесперебойной работы и, соответственно, требований к системе электроснабжения ЦОД.

ЦОД уровня 1 не имеет резервирования (избыточности). В его топологии один путь для распределения электропитания и охлаждения.

ЦОД уровня 2 имеет резервированные (избыточные) компоненты, но только один путь. Он имеет один путь для распределения электропитания и охлаждения, но имеет ре-зервированные (избыточные) компоненты на этом пути распределения. Проектные воз-можности ИБП (UPS) и генераторов имеют оценку N 1 (Need plus One), что означает од-нопоточный путь распределения по всей площади. Техническое обслуживание и ремонт критического пути электроснабжения и других частей инфраструктуры объекта потребует остановки процесса обработки данных.

ЦОД уровня 3 имеет несколько путей распределения электропитания и охлажде-ния, но только один путь активен. Поскольку резервированные компоненты имеются не на одном пути распределения, это позволяет производить техническое обслуживание и ремонты параллельно с работой ЦОД. Возможности уровня 3 позволяют осуществлять любую плановую деятельность инфраструктуры объекта без какого-либо нарушения нор-мального хода работы технических средств машинного зала.

ЦОД уровня 4 предусматривает полное резервирование. Такой центр должен быть оснащен, как минимум, двумя полностью независимыми электрическими системами, на-чиная от фидеров электропитания и входных магистралей от провайдеров услуг связи и заканчивая дублированием блоков питания серверных лезвий.

Большое значение при проектировании ЦОД уровней 3 и 4 имеет выбор источника бесперебойного питания (ИБП), обеспечивающего электроснабжение в случае выхода ос-новного. Представленные на рынке системы ИБП имеют самые разнообразные функции и варианты исполнения. В настоящее время применяются три основных типа: резервные (Offline или Standby), линейно-интерактивные (Line-interactive) и активные (Online) систе-мы.

Резервные системы, согласно предписаниям IEC 620403, класс 3, получили новое название: системы с зависимостью от напряжения и частоты (Voltage and Frequency Dependent, VFD). Они защищают оборудование лишь при исчезновении напряжения, па-дении напряжения, а также повышении напряжения, поэтому не пригодны для использо-вания в ЦОД, серверных помещениях и не применяются в технологиях автоматизации.

ИБП интерактивного типа - в соответствии с классификацией IEC 620403, класс 2, это системы с независимостью от напряжения (Voltage Independent, VI) - помимо прочего, защищают от коротких замыканий во внешней электросети и от линейных шумов. Этот тип ИБП применяется, прежде всего, в тех сферах, где выравнивание напряжения не имеет критического значения для эксплуатации систем. ИБП классов 2 и 3 схожи в том, что переход на работу от батарей происходит только в случае исчезновения напряжения в электросети. Их владельцам нужно принимать во внимание время, необходимое на переключение, так как для критически важных приложений оно может оказаться слишком большим.

Системы с независимостью от частоты и напряжения (Voltage and Frequency Independent, VFI) класса 1 по стандарту IEC 620403 соответствуют активным системам с двойным преобразованием и обеспечивают наивысший уровень защиты, действуя как генераторы, они непрерывно создают собственное сетевое напряжение. Поэтому подклю-ченные устройства постоянно и без ограничений снабжаются сетевым напряжением, фор-ма которого соответствует правильной синусоиде. В отличие от решений класса 2, они защищают оборудование от высоких пиков напряжения, отклонений частоты, пиков включения и верхних гармоник и, тем самым, поддерживают работу основных критически важных для предприятия приложений.

Требования к подсистеме обеспечения климата. Дополнительные требования к инженерным подсистемам ЦОД

Современные ИБП с двойным преобразованием работают без трансформаторов, а некоторые оснащены выпрямителями на биполярных транзисторах с изолированным за-твором (Insulated Gate Bipolar Transistor, IGBT). В результате они не только обеспечивают больший КПД (по сравнению с ранее выпускавшимися устройствами), но на их изготовление требуется меньше железа и меди.

К примеру, если нужно защитить ЦОД, построенный на базе блэйд- серверов и создающий большую емкостную нагрузку, то традиционные системы работают с очень низким КПД, составляющим около 89%, поскольку используют трансформаторную технологию, рассчитанную на индуктивные нагрузки. На бестрансформаторные ИБП это практически никак не влияет. И при такой нагрузке их КПД достигает 90?95%. Таким образом, даже при использовании в ЦОД блэйд-серверов, мощность ИБП может быть снижена.

Для определения экономической эффективности ИБП важно учитывать не только стоимость приобретения, но и затраты, возникающие в случае потенциального сбоя, а также эксплуатационные расходы, рассчитываемые за весь период использования сис-темы. В избыточных системах с немодульной архитектурой для обеспечения требуемой защиты от сбоев применяются два идентичных устройства. В случае отказа одного, второе сможет полностью обеспечить необходимую мощность. Однако такой подход имеет ряд недостатков. В частности, обе системы постоянно включены, даже если условия позволяют обходиться лишь одной из них. К тому же они функционируют в режиме частичной нагрузки с крайне низким КПД. А поскольку модернизировать такие системы сложно, они, как правило, планируются с чрезмерным запасом мощности.

В случае модульных систем со вставными элементами ИБП формата 19" избыточ-ность обеспечивается по формуле "N 1". Это означает, что при сбое одного модуля ос-тальные способны взять на себя всю нагрузку. Так, мощность 120 кВА будут обеспечи-вать не две установки по 120 кВА каждая, а четыре модуля по 40 кВА. При такой концеп-ции все модули работают с оптимальной загрузкой и очень высоким КПД, поэтому доба-вочная нагрузка в энергетическом балансе будет гораздо меньше.

Требования к системе охлаждения и кондиционирования

В соответствии с предложенной Uptime Institute моделью расчетов систем климатики для ЦОД определяются три класса систем бесперебойного охлаждения, выбор которых зависит от нагруженности стоек и объема воздуха в машинном зале в расчете на стойку:

• класс A (вентиляторы кондиционеров и циркуляционные водяные насосы питаются от ИБП, между чиллером и кондиционером имеется гидроаккумулятор в водяной петле),
• класс B (вентиляторы кондиционеров работают от ИБП),
• класс C (традиционное электроснабжение системы охлаждения: только от гарантированного электропитания с перерывом на время запуска ДГУ и повторного включения системы охлаждения).

Большое значение имеет выбор системы обеспечения климата с современной системой управления, позволяющей динамически (автоматически) регулировать ее производительность в зависимости от потребляемой мощности ЦОД, тем самым добиваться существенного повышения эффективности ЦОД при эксплуатации. Для большей сбалансированности системы электроснабжения и кондиционирования необходимо проектировать одновременно.

Дополнительные требования к инженерным подсистемам ЦОД

Помимо отмеченных (предотвращение отказа ЦОД по сбою электропитания и системы обеспечения климата), при проектировании ЦОД также следует учитывать и ряд других требований, обеспечивающих его отказоустойчивость (в основном для ЦОД классов 3 и 4), в частности, от:

• катастроф (основной и резервный ЦОД должны находится на расстоянии не менее 100 км - эта цифра может меняться в зависимости от отраслевых требований и географической специфики);
• пожаров и задымлений;
• затоплений, резких температурных изменений, пыли;
• частичного разрушения здания;
• электромагнитных излучений;
• несанкционированного доступа, взлома, краж.

В полной мере требования к ЦОД по уровням надежности и доступности определяются исходя из бизнес-требований, в частности, например, исходя из показателей RPO/RTO и возможных убытков в случае снижения уровня доступности ЦОД.

2. Сетевой уровень

В настоящее время сетевая инфраструктура ЦОД может быть представлена несколькими типами сетей: LAN, SAN, Infiniband и др. При ограниченных требованиях к ЦОД вся сетевая инфраструктура может строится на базе LAN (TCP/IP) и соответственно одном типе оборудования. С возрастанием требований к ЦОД количество типов сетей может возрастать. Однако уже в ближайшей перспективе эта ситуация может существенно измениться. ИТ-отрасль стоит на пороге больших изменений, касающихся сетевой архитектуры, - перехода к конвергентным сетям.

Для того, чтобы это было реализовано, необходимо обеспечить удовлетворение разных особенностей этих типов протоколов. Трафик LAN меньше всего "привередлив" к характеристикам сети, но активно задействует свойственные Ethernet технологии широковещательной /групповой рассылки, виртуальных LAN (VLAN), инсталляции по принципу plug-and-play. Трафику SAN (особенно Fibre Channel) необходима малая задержка и передача без потерь пакетов. А трафику HPC-кластеров требуется еще меньшая задержка и широкая полоса пропускания.

Расширения спецификации LAN-Ethernet, связанные с реализацией FCoE (или улучшения работы Ethernet в ЦОД и управления им), получили термин Data Center Ethernet (DCE), или СЕЕ - Converged Enhanced Ethernet. Эти расширения регламентируются стандартом IEEE 802.1 и содержат 3 основные опции:

• Priority-Based Flow Control (PFC);
• Enhanced Transmission Selection (ETS);
• DCB Capability eXchange Protocol (DCB CXP).

Опция PFC расширяет возможности Ethernet в качестве транспорта без потерь пакетов данных с возможностью поддержки на одном физическом соединении до 8 виртуальных линий. Предотвращение потери данных в DCE реализуется за счет отправки портом-получателем данных управляющего фрейма PAUSE для приостановки передачи данных в случае переполнения его буфера. Помимо этого, PFC обеспечивает:

• выделение ресурсов для каждой виртуальной линии (VL);
• o дифференцированное поведение для каждой VL, например, возможность приостановки передачи данных для приоритетной виртуальной линии при перегрузках (VL2).

Опция ETS осуществляет поддержку гарантированной полосы пропускания для заданной виртуальной линии(й) в соответствии с заданными приоритетами, а также разделение полосы пропускания между виртуальными линиями.

Наконец, последняя из опций (ее называют Data Center Bridging eXchange) обеспечивает согласование настроек между сетевыми компонентами для:

• управления полосой по классам;
• управления потоком по классам;
• управления перегрузками(BCN/QCN).

Благодаря своей чрезвычайной гибкости, Ethernet сегодня доминирует в большинстве сетевых сред, а поддерживающее эту технологию оборудование выпускается в огромных объемах. Представленные сегодня решения обеспечивают скорость 10 Гбит/с на один канал. В ближайшем будущем нас ожидают 40 и 100 Гбит/с продукты. А в более отдаленной перспективе не исключено появление терабитного варианта Ethernet.

Переход от нескольких разнотипных сетей к единой инфраструктуре ЦОД на основе унифицированной технологии позволит значительно сократить капитальные и эксплуатационные расходы: потребуется меньше сетевых адаптеров в серверах, меньше кабелей, меньше коммутаторов. Конвергентные сетевые инфраструктуры с поддержкой FCoE, полностью сохраняя всю функциональность FC, позволят полностью унифицировать сетевые серверные адаптеры, объединить LANи SAN-сети, существенно упростить управление ими за счет развития новых технологий. При этом стоимость порта в таких сетях должна быть сопоставима с Ethernet.

Поддержка серверной виртуализации для стандартных серверов на уровне программных виртуальных коммутаторов и технологии N-port ID виртуализации (назначение индивидуальных worldwide port names каждой виртуальной машине), обеспечивающие прозрачность всех настроек ВМ при их перемещении с одного физического сервера на другой, в настоящее время полностью поддерживается всеми сетевыми вендорами. Помимо этого, уже анонсированы новые решения на базе технологий Direct I/O и стандарт Virtual Ethernet Port Aggregator (VEPA) позволяющие еще дальше расширить имплементацию этого типа серверной виртуализации на сетевом уровне, а также повысить производительность и упростить администрирование сети.

3. Серверный уровень

Серверный уровень в составе ЦОД является основным, и, как правило, имеет наибольшее энергопотребление и архитектурно обеспечивает основные требования, предъявляемые к поддержке бизнес-приложений.

Все ведущие производители серверного оборудования (HP, IBM, Fujitsu Siemens, Sun Microsystems) выпускают несколько линеек серверов, ориентированные на разные особенности применения. При этом в линейках среднего и старшего классов серверов активно используются собственные (или совместно разрабатываемые с ведущими производителями элементной базы) микропроцессоры/наборы микросхем. Архитектура серверов у всех вендоров разная и имеет свои отличительные особенности.

В серверах начального уровня, как правило, используется симметричная многопроцессорная архитектура (SMP), построенная на базе стандартных процессоров/элементной базы.

При переходе от серверов начального уровня к средним и старшим линейкам возрастает масштабируемость сервера по числу ядер, уменьшаются задержки при передачи пакетов данных внутри сервера, возрастает надежность сервера.

В архитектуре ЦОД построенной на серверах начального уровня также можно обеспечить требуемый уровень масштабируемости по числу ядер, но при этом коммутация уже будет происходить через внешний коммутатор, что увеличивает задержки, ус-ложняет управление при этом уровень поддерживаемой функциональности может существенно зависеть от ПО виртуализации (разрабатываемого сторонними вендорами - не производителями серверного оборудования).

Неотъемлемой компонентой серверной инфраструктуры является системное ПО виртуализации, позволяющее в значительной степени повысить ее эффективность, доступность, снизить эксплуатационные и капитальные затраты.

В настоящее время существует два класса ПО для виртуализации серверов. Первый класс развивается самими производителями RISC-серверов, второй - сторонними разработчиками ПО, который ориентирован на серверы стандартной архитектуры.

Все производители RISC-серверов имеют собственные разработки для их виртуализации. Отметим некоторые.

Для RISC-серверов НР пакет ПО для виртуализации - HP Virtual Server Environment (VSE) - поставляется с конца 2004 г. Данный тип виртуализации предполагает использование VM Host и VM Guest машин. VM Host это ОС, которая управляет гостевыми виртуальными машинами, а также аппаратными ресурсами физического сервера. В настоящее время в качестве ОС для VM Host используется HP-UX, а гостевые машины работают под управлением HP-UX, Microsoft Windows, Linux и OpenVMS. С 2008 г. средства управления VSE позволяют консолидировано управлять гетерогенными серверами НР.

Технология аппаратной виртуализации в UNIX-серверах IBM (на процессорах POWER™) называется PowerVM™ и дает возможность запускать на одном сервере несколько виртуальных машин под управлением операционных систем AIX, Linux и IBM i (ранее i5/OS®).

PowerVM обеспечивает следующую функциональность:

• поддержка гипервизора для разбиения на микроразделы и динамическое выделение ресурсов разделам. Технология PowerVM Micro-Partitioning поддерживает до де-сяти динамических LPAR (Logical Partitions) на каждое ядро процессора. В зависимости от модели на одном физическом сервере Power можно запускать до 254 независимых серверов - каждый с собственными ресурсами процессоров и памяти;
• поддержка Virtual I/O Server - специальной партиции, названной Hosting Partition, которая обеспечивает виртуальными ресурсами ввода/вывода клиентские партиции. Эта опция позволяет минимизировать требуемое число физических адаптеров;
• Virtual Storage - совместное использование дисковой памяти несколькими разделами;
• Virtual LAN - совместное использование одного NIC несколькими разделами;

С апреля 2010 г. PowerVM (v2.1.3) поддерживает технологию N-Port ID Virtualization (NPIV) на Fibre Channel over Converged Enhanced Ethernet (FCoEE) адаптерах.

В последние несколько лет особую популярность получает виртуализация на базе серверов стандартной архитектуры. Среди наиболее распространенных платформ следующие: VMware, Citrix Xen, Microsoft Hyper-V, Parallels Virtuozzo Containers, Red Hat KVM и др. С 2008 г. все основные разработчики серверов включили встроенную поддержку гипервизоров VMware, Citrix Xen и Microsoft Hyper-V в свои решения, что существенно упростило развертывание прикладных систем на их основе.

Выделяют несколько типов виртуализации стандартных серверов, основными из которых являются:

• гипервизорная виртуализация;
• пара-виртуализация;
• ОС-виртуализация.

Рост интереса к технологиям виртуализации на базе x86 серверов объясняется во многом и тем, что они достигли определенного уровня "зрелости". Применение таких технологий позволяет получить высокую утилизацию аппаратного обеспечения и развертывать высококритичные приложения, оптимизируя ИТ-бюджет. Также активному продвижению этого класса виртуализации серверов способствует ее поддержка всеми сетевыми вендорами и разработчиками серверных адаптеров.

Выбор оптимальной серверной архитектуры при проектировании ЦОД - задача многофакторная и требует отдельного решения с точки зрения оптимизации требований бизнес-приложений и затрат на построение ЦОД.

4. Уровень хранения данных

Основное преимущество ЦОД в сравнении с разрозненными "островками" ресурсов хранения - консолидация всей информации в общем пуле с единым унифицированным управлением ею на основе правил, политик, шаблонов. В этой связи виртуализация на уровне хранения является ключевой технологией, позволяющей достичь всех преимуществ ЦОД.

Виртуализация хранения - это объединение в общий пул разрозненных ресурсов хранения. Виртуализаторы СХД - консолидируют гетерогенные СХД в один общий пул и управляют им как единым целым. Данные решения бывают программные (Symantec, FalconStor) и аппаратно-программные (IBM SVC, HP SVSP, HDS USP-V, NetApp, ЕМС VPLEX и Invista и др.). Те организации, у которых множество подобных разрозненных систем хранения разных производителей могут получить в этом случае существенный резерв по емкости и производительности.

Во-вторых, в отдельный класс на базе блочных СХД необходимо выделить т.н. технологию виртуализации - Thin Provisioning, которая позволяет внутри СХД на базе общего пула для всех LUN выделять приложениям LUN по размеру больше физического и автоматически управлять им на основе политик. Как результат - экономия до 40% требуемых физических ресурсов хранения. В настоящее время поддерживается практически всеми СХД среднего класса и, конечно, уровня enterprise. Аналогичная технология - vStorage Thin Provisioning - только для виртуальных томов виртуальных машин (VDMK) появилась в составе 4-й версии VMware. Совместное использование этих двух технологий может дать экономию по емкости до 80%.

Говоря об эффективности использования ресурсов отдельных СХД, следует обращать внимание на технологии балансировки нагрузки, которые активно стали развиваться во всех современных СХД всех уровней и типов - блочных, файловых, классических, кластерных. Они позволяют практически линейно наращивать нагрузку СХД до достижения ею физического максимума, который в достаточно широких пределах может масштабироваться (как по емкости, так и по производительности) в онлайновом режиме, избегая при этом множества проблем с масштабированием и "расшитием" узких мест по производительности. Данные технологии от ряда вендоров активно развиваются и продвигаются также и как программные на базе стандартных серверов для создания кластерных СХД.