Google

Краткий обзор IBM Storwize V5000

Опубликовано:Январь 8, 2015
Comments
Add One
0

Компания IBM в октябре 2013 года анонсировала появление системы среднего уровня Storwize V5000. После выхода новых релизов программного обеспечения система стала поддерживать больше полезного функционала и конфигураций аппаратуры. В этой статье мы кратко расскажем о системе и её новых возможностях.

Об особенностях аппаратуры V5000 мы поговорим чуть позже, а сейчас рассмотрим основные характеристики системы.

Основные характеристики (Type – Model: 2078-24С):

  • На каждом контроллере используется 4-х ядерный 64-битный процессор Intel, основанный на архитектуре Ivy Bridge. Т.О. суммарно на паре контроллеров используется 8 ядер.
  • Объем памяти на контроллерную пару – 16 ГБ, т.е. 8 ГБ на контроллер.
  • Доступ к хостам может быть организован следующими внешними интерфейсами для блочного доступа: FC – 8 Gbps, iSCSI – 1 Gbps и 10 Gbps, FCoE – 10 Gbps, SAS – 6 Gbps.
  • Коммутация между основными компонентами ввода-вывода построена на стандарте PCIE V3. Пропускная способность этого стандарта позволяет поддерживать доступ к SAS Backend устройствам на скорости до 6 Gbps.
  • Максимальное количество дисков на контроллерную пару – 480.
  • Форм-фактор полки с контроллерной парой – 2U в 19-ти дюймовом шкафу.
  • В полку с контроллерной парой (2078-24С) может быть установлено 24 диска размером 2.5”.
  • В полку с контроллерной парой (2078-12С) может быть установлено 12 дисков размером 3.5”.
  • В дисковую полку расширения (2078-24E) может быть установлено 24 диска размером 2.5”.
  • В дисковую полку расширения (2078-12E) может быть установлено 12 дисков размером 3.5”.
  • Поддерживаются Flash диски с форм-фактором 2.5”, размером 200, 400, 800 ГБ c интерфейсом 12 Gbps SAS.
  • Поддерживаются SAS диски с форм-фактором 2.5”, размером 146, 300, 600 ГБ со скоростью вращения 15К, интерфейсом 6 Gbps SAS (600 ГБ – 12 Gbps SAS).
  • Поддерживаются SAS диски с форм-фактором 2.5”, размером 600, 900, 1200, 1800 ГБ со скоростью вращения 10К и интерфейсом 6 Gbps SAS (1800 ГБ – 12 Gbps SAS).
  • Поддерживаются SAS диски с форм-фактором 3.5”, размером 300, 600 ГБ со скоростью вращения 15К, интерфейсом 6 Gbps SAS (600 ГБ – 12 Gbps SAS).
  • Поддерживаются SAS диски с форм-фактором 3.5”, размером 900, 1200, 1800 ГБ со скоростью вращения 10К, интерфейсом 6 Gbps SAS (1800 ГБ – 12 Gbps SAS).
  • • Поддерживаются NL-SAS диски с форм-фактором 2.5”, размером 1ТБ со скоростью вращения 7.2К и интерфейсом 6 Gbps SAS.
  • Поддерживаются NL-SAS диски с форм-фактором 3.5”, размером 2, 3, 4, 6 ТБ со скоростью вращения 7.2К и интерфейсом 6 Gbps SAS (6 ТБ – 12 Gbps SAS).
  • • Порты на новых дисках SAS 12 Gbps работают на скорости портов SAS контроллеров 6 Gbps.
  • Диски разных типов одного форм-фактора могут быть использованы в одной дисковой полке.
  • Контроллерная пара может поддерживать до 19 дисковых полок.
  • Технология тонкого выделения ресурсов (Thin Provisioning).
  • Гибридные пулы с автоматической миграцией данных между уровнями хранения (Hybrid Pools with Automated Tiering – Easy Tier V3).
  • Полноценная виртуализация внешних СХД.
  • Локальная репликация (FlashCopy).
  • Удаленная репликация синхронная и асинхронная (Remote Mirror).
  • Для поддержки новых дисков SAS 12 Gbps необходима версия ПО 7.4 или выше.

Программное обеспечение

Используется унифицированное программное обеспечение, основанное на программном коде для San Volume Controller (SVC). Схема организации RAID и пулов позаимствована от систем уровня предприятия серии DS8xxx. Базовая платформа – Linux.

В версии 7.1 появились следующие возможности:

  • Поддержка 10 Gbps iSCSI/FCoE карт.

В версии 7.2 появились следующие возможности:

  • Репликация данных между системами по IP.
  • Миграция данных между системами, используя подключения по SAS.

В версии 7.3 произошли изменения:

  • Поменялась архитектура памяти на контроллерах.
  • Максимальное количество дисковых полок на пару контроллеров – 9. Дисков на пару контроллеров – 240.
  • Появилась поддержка 3-х уровней в гибридных пулах (EasyTier V3).

В версии 7.4 появились следующие возможности:

  • Поддержка новых дисков c интерфейсом SAS 12 Gbps (NL-SAS 6TB 7K 3.5”, SAS 1,8TB 10K 3.5”, SAS 1,8TB 10K 2.5”).
  • Максимальное количество дисковых полок на пару контроллеров – 19. Дисков на пару контроллеров – 480.

Контроллеры

Форм-фактор контроллеров V5000 не отличается от V3700. На каждом контроллере есть один PCIE слот, в который могут быть установлены различные карты.

12062014_v3700_rear

Встроенные порты на контроллере:

  • 2 разъема Ethernet 1 Gbps, при этом 1 порт используется для технических нужд (первоначальная настройка и т.п.). Порты могут быть использованы для блочного доступа по протоколу iSCSI 1 Gbps.
  • 2 USB разъема (используются для конфигурации).
  • 4 разъема SAS. Первые 2 разъема используются для подключения хостов, 3-й и 4-й порты используются для подключения дисковых полок. Каждый разъем состоит из 4-х двунаправленных последовательных линий, каждая из которых работает на скорости 6 Gbps (макс. теоретическая пропускная способность).

01082015_v5000_frontend_ports

Подключение дисковых полок

Для подключения Backend используется 3-й и 4-й SAS разъёмы (первый и второй справа). Типовая схема подключения представлена на рисунке ниже. Отметим, что 19 полок подключаются по цепочкам так, что 9 полок подключаются к 4-му SAS разъему, а остальные 10 полок подключаются к 3-му SAS разъему. Таким образом, мы видим небольшой дисбаланс по количеству дисковых полок между 3-м и 4-м SAS разъемами контроллеров.

12262014_v5000007

PCIE карты для контроллеров

В PCIE слот на контроллере можно установить различные карты:

  • 4 портовая карта FC 8Gbps. В базе комплектуется Shot Wave SFP 8Gbps трансиверами. Есть возможность использовать Long Wave SFP 8Gbps трансиверы.
  • 2 портовая карта iSCSI, FCoE 10Gbps. В базе комплектуется SFP+ трансиверами.

Недоступны карты с SAS 6Gbps и iSCSI, FCoE 1Gbps. Т.е. на 2 карты меньше, чем в V3700.

В таблице указаны возможные конфигурации портов:

встроенные порты дополнительные порты
SAS 6Gbps iSCSI 1Gbps FC 8Gbps iSCSI / FCoE 10Gbps
4 4
4 4 8
4 4 4

Особенности

Из новых вещей хочется отметить, что теперь появилась возможность настройки репликации по протоколу Ethernet, используя встроенные порты 1Gbps и порты на 10Gbps картах.

При использовании карт FCoE 10 Gbps поддерживается подключение хостов только через сетевую инфраструктуру, т.е. прямое подключение к хостам не поддерживается.

Так же есть рекомендация разделения протоколов FCoE и iSCSI между различными портами.

Ключевые компоненты решения

Вообще, стоит отметить, что система V5000 не сильно отличается от V3700 в части использования SAS чипов и PCIE коммутаторов.

Дело в том, что обе системы используют одни и те же SAS чипы, которые отвечают за Backend и SAS Frontend. При этом программно меняется конфигурация. Например, в V3700 из 4-х SAS портов на контроллере, только 1 порт используется для подключения дисковых полок, а в V5000 на контроллере используются 2 SAS порта. Поэтому V5000 поддерживает в 2 раза больше дисковых полок и дисков. Для обеспечения необходимой производительности контроллеров используются более мощные процессоры.

Основным отличием V5000 от V3700 является использование более производительных процессоров. Это позволяет поддерживать больше дисков в системе и расширить функционал, обеспечивающий виртуализацию внешних систем.

Ключевым элементом в контроллере является использование 4-х ядерного процессора Intel Хeon E3-1265L V2, основанного на архитектуре Ivy Bridge. Частота ядер – 2.5 ГГц. Встроенное видео ядро. Поддержка стандарта PCIE V3. Поддерживает оперативную память с коррекцией ошибок (ECC). Процессор совместно с IO чипсетом (PCH) образуют производительную 2-чиповую платформу, обладающую широким функционалом, низкой стоимостью и компактно расположенными элементами.

01072015_cpu_E3_scheme

Процессор поддерживает достаточное большое количество конфигураций портов PCIE. Мы предполагаем, что используется конфигурация 4 (2×8, 1×4). В этом случае, конфигурация состоит из двух портов по 8 линий и одного порта из 4 линии. Возможные конфигурации портов представлены ниже.

01072015_Intel_E3_pcie_configurations

На каждом контроллере используется SAS чип PMC-Sierra Inc. PM8018 Tachyon SPCv 16x6G. Этот чип имеет большое количество SAS портов. Поддерживает стандарт PCIE V3. Для подключения к PCIE фабрике используется 8 линий PCIE. Один и тот же SAS чип используется для подключения дисковых полок (Backend) и хостов (Frontend).

Не менее 2-х SAS портов используется для подключения дисков в контроллерной полке (2 контроллера). Так как SAS чипы имеют большое количество портов, то мы предполагаем, что диски в контроллерной полке подключены большим количеством SAS портов. Это дает повышенную пропускную способность для этой дисковой полки. Отсюда следует рекомендация устанавливать высокопроизводительные Flash диски в контроллерную полку.

Для подключения хостов по FC используется тот же FC HBA, что и в первом поколении V7000. Это 4-х портовый адаптер PCIE V2 фирмы PMC-Sierra, Inc. PM8032 Tachyon QE8. Для подключения используется 8 линий PCIE.

Информацию по PCI ids аппаратных компонент, используемых в V5000 можно посмотреть здесь.

Если внимательно посмотреть на эту информацию, то можно увидеть, что для соединения некоторых PCIE устройств используются бюджетные 8 портовые PCIE V2 коммутаторы PEX8609 компании PLX Technology. Количество PCIE линий на одном коммутаторе – 8. Т.е. фактически они используются для соединений двух устройств с помощью 4-х линий PCIE. Количество таких коммутаторов – 3.

Мы предполагаем, что один из этих коммутаторов используется для организации обмена данными между контроллерами. В этом случае, порт x4 PCIE V3 на процессоре подключается к коммутатору PCIE V2. Поэтому, пропускная способность между контроллерами должна быть не больше скорости 4-х линий PCIE V2 (2GBps теоретическая и 1,6GBps более реальная). Это говорит о том, что скорость на запись, не превысит этих значений, так как при операциях записи необходимо копировать данные на другой контроллер.

Остальные 2 коммутатора PEX8609 PCIE V2 должны использоваться для организации подключения FC HBA PM8032 к порту x8 PCIE V3 процессора.

Архитектура кеш памяти и гибридные пулы EasyTier V3

С приходом версии 7.3 изменилась архитектура кеш памяти и появилась возможность использовать гибридные пулы с 3-мя уровнями хранения. Более детальную информацию по этим вопросам можно посмотреть в статье «Второе поколение IBM V7000».

Оценки производительности контроллеров, сделанные на основе backend калькулятора, можно найти в статье «Оценка IOPS для контроллеров IBM V5000».

Заканчиваем наш обзор небольшой сравнительной таблицей:

IBM Storwize V5000
Макс число дисков на контроллерную пару (IO Group) 480
ОЗУ на контроллер, ГБ 8
ОЗУ на контроллерную пару (IO Group), ГБ 16
Тип процессора Xeon E3
Процессоров на контроллер 1
Кол-во ядер на процессор 4
Частота ядра, ГГц 2,5
Макс к-во FC 8Гбит/c портов на контроллер (для доступа серверов) 4
Макс к-во FC 8Гбит/c портов на пару контроллеров (для доступа серверов) 8
Макс к-во iSCSI, FCoE 10Гбит/c портов на контроллер 2
Макс к-во iSCSI, FCoE 10Гбит/c портов на пару контроллеров 4
Макс к-во SAS 6Гбит/c портов на контроллер для подключения хостов 2
Макс к-во SAS 6Гбит/c портов на пару контроллеров для подключения хостов 4
Типы RAID 0,5,6,10
Макс кол-во дисков в RAID группе 16
Макс кол-во дисков в пуле 128
Add Comment Register



Leave a Comment