Рекорд пропускной способности 2,2 Гбайт/с: массив из 16 SSD

Введение

Несколько месяцев назад PR-агентство A&R Edelman (занимающееся Samsung в США) сообщило нам о видеоролике на YouTube, где были представлены 24 твёрдотельных накопителя Samsung PB22-J в RAID-массиве на high-end ПК. Авторы видео неплохо поработали и получили скорость передачи данных выше 2 Гбайт/с на контроллере линейки Adaptec 5 и плате Areca 1680ix на системе с двумя CPU Intel Skulltrail. Нас заинтересовал этот проект, и мы решили посмотреть, сможем ли обойти этот результат.

Зачем нужна такая производительность?

Данный проект имеет смысл, если смотреть на него под одним из двух углов. Вы можете рассматривать проект как забавный пример того, когда деньги не имеют значение, или как своего рода взгляд в будущее на производительность накопителей. Видеоролик Samsung показывает, чего можно ожидать от супербыстрого массива на SSD. Массив способен загружать приложения за долю того времени, которое требуется сегодня, он также эффективно устраняет все "узкие места", связанные с производительностью подсистемы хранения. Впрочем, конечно понятно, что использование 24 (или даже 16 накопителей как у нас) совершенно непрактично для настольного ПК.

Суперскоростной RAID-массив

Выбор накопителей

Впрочем, ситуация в мире high-end серверов иная, там максимальное количество операций ввода/вывода в секунду (IOPS) весьма важно для критичных приложений. Мы решили не только взять большое число SSD на флэш-памяти, но и выбрали наилучшие на рынке твёрдотельные накопители, которые позволили бы нам преодолеть пропускную способность массива Samsung, а также дать сенсационно высокое число операций ввода/вывода в секунду.

Нашим выбором стали SSD Intel X25-E, которые базируются на более дорогой флэш-памяти на одноуровневых ячейках (single-level cell, SLC). По сравнению с флэш-памятью Samsung на многоуровневых ячейках (MLC), память SLC может давать меньшие задержки и большую пропускную способность как для чтения, так и для записи. Но есть и недостаток: если накопители Samsung PB22-J предоставляют внушительную ёмкость 256 Гбайт, то профессиональные SSD Intel X25-E по-прежнему ограничены максимумом 64 Гбайт. К счастью, разница в ёмкости не очень значима в нашей гонке за производительностью, и всего 16 SSD-накопителей Intel оказываются достаточными, чтобы обойти 24 накопителя в видеоролике Samsung.

Приступим!

Intel тоже заинтересовалась нашим проектом и предоставила шестнадцать 64-Гбайт накопителей X25-E для тестов. Между тем мы запросили у Adaptec два RAID-контроллера 5805 PCI Express. На них мы создали гнездовой массив, состоящий из двух аппаратных массивов RAID 0, которые затем легли в основу программного массива RAID 0 под Windows. Наш подход оказался правильным, как вы вскоре увидите.

Накопители: Intel X25-E 64 GB SSD

Суперскоростной RAID-массив

Мы уже тестировали профессиональные SSD-накопители Intel X25-E в начале 2009 года, и наши выводы были очевидными: данный продукт не может обойти другие производительные накопители по пропускной способности чтения, но он даёт более высокую пропускную способность записи, а также способен обеспечивать массивную производительность ввода/вывода. Так X25-E выдаёт от 10x до 25x больше производительности по сравнению с одним жёстким диском корпоративного класса на 15 000 об/мин, в то же время обеспечивая превосходную пропускную способность. Рецепт успеха кроется в 10-канальном контроллере флэш-памяти Intel с интегрированной кэш-памятью для оптимизации уровня износа ячеек, а также и производительности записи. Последние обновления прошивки Intel, которые можно скачать на сайте компании, пока не охватывают профессиональные накопители X25-E.

Суперскоростной RAID-массив

64-Гбайт версия накопителя, построенная на 50-нм памяти SLC NAND, по-прежнему является топовой моделью Intel. Устройства следующего поколения должны перейти на более совершенный 34-нм техпроцесс. Это позволит удвоить ёмкость до 128 Гбайт в производительном сегменте и до 320 Гбайт у потребительских моделей X25-M. Есть ещё и потенциал дальнейшего увеличения производительности, но интерфейс SATA/300 скоро может стать очередным "узким местом". К счастью, SATA/600 уже готов прийти на смену.

Мы желали построить в массив с наибольшим возможным количеством накопителей X25-E, но ожидали достичь пропускной способности больше 2 Гбайт/с с намного меньшим количеством SSD, чем 24 в проекте Samsung. После того, как мы получили 16 SSD Intel, мы протестировали несколько конфигураций, чтобы получить максимальную пропускную способность и производительность ввода/вывода.

Контроллеры: Adaptec RAID 5805

Суперскоростной RAID-массив

Современной линейкой унифицированных host-контроллеров Adaptec является пятая. В ней много различных моделей, каждая из которых нацелена на разные внутренние/внешние требования к организации хранилища, например, низкий профиль или карты полной высоты, да и число портов различается. Модель 5805 является низкопрофильной, с восемью внутренними портами SAS/SATA.

Adaptec на данный момент предлагает одиночные карты с количеством портов до 28, но мы намеренно взяли две восьмипортовые карты вместо одной с большим числом портов, чтобы распределить пропускную способность по двум слотам PCI Express. Если посмотреть на интерфейс типичного RAID-контроллера SAS/SATA, то мы получим соединение x8 PCI Express первого поколения, максимальная скорость которого составляет 2 Гбайт/с. Поскольку мы хотели получить более высокую пропускную способность, то взяли две карты и создали программный RAID-массив средствами операционной системы.

Мы тестировали линейку 5 Adaptec более года назад, однако она по-прежнему остаётся топовой в семействе продуктов компании. Последним добавлением в семейство была линейка 5Z, с которой Adaptec добавила защиту Zero Maintenance Cache. Обычные RAID-контроллеры поставляются с кэш-памятью, как правило ECC DRAM, и опциональным резервным аккумулятором, который сохранит данные в кэше в случае сбоя питания. Подход Adaptec заключается в интеграции на контроллеры флэш-памяти, которая сохраняет своё содержимое и без подачи энергии.

Суперскоростной RAID-массив

Конфигурация системы

Мы решили не собирать специальную систему для проекта, поскольку хотели, чтобы наш проект из 16 накопителей SSD можно было повторить на любом компьютере топового уровня, например, на эталонной системе для тестов накопителей. Наша тестовая платформа состояла из процессора Core i7-920 (2,66 ГГц) на материнской плате Supermicro X8SAX, 3 Гбайт памяти Corsair CM3X1024 DDR3 и блока питания OCZ EliteXstream на 800 Вт.

Единственное, мы изменили конфигурацию видеокарты на нашей эталонной тестовой системе. С Radeon HD 3450 пришлось расстаться, поскольку используемый ей слот PCI Express нам потребовался для RAID-контроллера. Заменой стала старая GeForce 4 MX 440 со 128 Мбайт памяти и интерфейсом PCI.

Создание массива, часть I: на уровне контроллера

Суперскоростной RAID-массив

Суперскоростной RAID-массив

Мы выбрали опцию ручной конфигурации в окне Мастера настройки Adaptec Storage Manager.

Мы установили в систему обе карты Adaptec 5805, используя слоты PCI Express 1 и 3. Утилита Storage Manager сразу же определила карты, и мы подключили к каждому контроллеру по восемь накопителей. Мастер настройки Adaptec значительно облегчает создание RAID-массива на каждой карте. Все детали приведены на скриншотах.

Суперскоростной RAID-массив

Мы выбрали RAID 0, поскольку не хотели терять производительность на более сложных массивах.

Суперскоростной RAID-массив

Мы выбрали максимальный размер блока 256 кбайт и отключили опции энергосбережения для данного проекта. Мастер приводит точную конфигурацию накопителей справа.

Суперскоростной RAID-массив

Всё готово! Наш первый массив RAID 0 создан. Мы повторили этот процесс на втором контроллере, а уже затем перешли к Диспетчеру устройств/Device Manager в Windows.

Создание массива, часть II: на уровне операционной системы

Теперь у нас есть два массива RAID 0, каждый с восемью флэш-накопителями Intel X25-E. Поскольку мы знали, что максимальная пропускная способность PCI Express в обоих направлениях у интерфейса x8 составляет 2 Гбайт/с, мы хотели создать программный RAID-массив, в котором два дисковых массива будут объединены в RAID 0 средствами ОС. Мы запустили панель "Управление дисками/Disk management" и создали программный RAID на двух аппаратных массивах.

Суперскоростной RAID-массив

Два динамических диска по 475 Гбайт готовы к использованию.

Суперскоростной RAID-массив

Мы нажали на контроллере правой клавишей мыши и выбрали “New striped volume” для создания нового массива RAID, теперь уже средствами Windows.

Создание массива, часть II: на уровне операционной системы

Выберите оба виртуальных диска, чтобы их можно было использовать в новом массиве RAID 0.

Создание массива, часть II: на уровне операционной системы

Для большинства тестов нужно присвоить букву диска.

Создание массива, часть II: на уровне операционной системы

Windows нужно преобразовать виртуальные диски, представляющие собой массивы RAID 0 контроллеров, в динамические диски.

Суперскоростной RAID-массив

Сменившийся цвет говорит о том, что два диска теперь используются в массиве с чередованием, которому была присвоена буква диска "D:".

Тестовая конфигурация


Системное аппаратное обеспечение
CPU Intel Core i7-920 (45 нм, 2,66 ГГц, кэш L2 8 Мбайт)
Материнская плата (Socket 1366) Supermicro X8SAX, Revision: 1.0, Chipset Intel X58 + ICH10R, BIOS: 1.0B
Память 2 Гбайт DDR3-1333 Corsair CM3X1024-1333C9DHX
Системный жёсткий диск Seagate NL35 400 Гбайт, ST3400832NS, 7200 об/мин, SATA/150, 8 Мбайт
Контроллер (2x) Adaptec RAID 5805, 8 портов SAS, кэш 512 Мбайт
Блок питания OCZ EliteXstream 800W, OCZ800EXS-EU
Видеокарта Nvidia GeForce 4 MX440 (NV18, 150 нм), 32-битная шина PCI (3,3 В)
Тесты
Измерение производительности h2benchw 3.12
PCMark Vantage 1.0
Производительность ввода/вывода IOMeter 2006.07.27
Fileserver-Benchmark
Webserver-Benchmark
Database-Benchmark
Workstation-Benchmark
Streaming Reads
Streaming Writes
Системное ПО и драйверы
Операционная система Windows Vista Ultimate SP1
Чипсет Intel 9.1.0.1007
Драйверы Intel Matrix Storage Drivers 8.7.0.1007

Результаты тестов

Производительность ввода/вывода

Помните, что производительность ввода/вывода ограничивается не только количеством накопителей, но также RAID-контроллером и host-системой, которые должны давать достаточную производительность для максимального числа операций ввода/вывода в секунду. В данном случае более быстрый процессор смог бы ускорить производительность ввода/вывода ещё сильнее. Платформа Core i7 920, которую мы использовали, не всегда является лучшим выбором, но мы получили вполне достойные результаты.

Профили IOMeter Чтение Случайный доступ Размер блока Исполнители
Сервер баз данных 67% 100% 8 кбайт - 100% 4
Файловый сервер 80% 100% 512 байт - 10%
1 кбайт - 5%
2 кбайт - 5%
4 кбайт - 60%
8 кбайт - 2%
16 кбайт - 4%
32 кбайт - 4%
64 кбайт - 10%
4
Web-сервер 100% 100% 512 байт - 22%
1 кбайт - 15%
2 кбайт - 8%
4 кбайт - 23%
8 кбайт - 15%
16 кбайт - 2%
32 кбайт - 6%
64 кбайт - 7%
128 кбайт - 1%
512 кбайт - 1%
4
Рабочая станция 80% 80% 8 кбайт - 100% 4
Потоковое чтение 100% 0% 64 кбайт - 34%
128 кбайт - 33%
256 кбайт - 33%
4
Потоковая запись 0% 0% 64 кбайт - 34%
128 кбайт - 33%
256 кбайт - 33%
4

Производительность ввода/вывода

Доступ к базам данных, который осуществляется блоками размером по 8 кбайт, является 100% случайной операцией с долей чтения 67%. В данном случае наш массив из 16 накопителей смог дать в 5,6x большую производительность по сравнению с одним SSD на нашей системной конфигурации.

Производительность ввода/вывода

Профиль файлового сервера использует 100% случайный доступ и 80% операций чтения, но с разными размерами блоков. Преимущество нашего массива обеспечило 3,1x прирост производительности.

Производительность ввода/вывода

Наш тест web-сервера построен на 100% случайных операциях и 100% чтении с небольшими размерами блоков, типичными для небольших графических или HTML-файлов. Прирост производительности составил 3,3x.

Производительность ввода/вывода

Производительность рабочей станции особо не увеличилась.

В целом, вполне очевидно, что намного меньшего числа SSD-накопителей на флэш-памяти уже достаточно, чтобы нагрузить нашу тестовую систему четырьмя рабочими потоками. Вероятно, более высокую производительность ввода/вывода можно получить, если перейти на систему с двумя четырёхъядерными процессорами. Это позволило, например, в проекте Samsung запустить восемь рабочих потоков. Впрочем, Samsung не публикует значение производительности ввода/вывода, поэтому перейдём к пропускной способности.

Пропускная способность


Пропускная способность

Это мы и хотели получить! В наших тестах потокового чтения размер блока составляет 4 Мбайт, в результате чего 256-кбайт размер блока (stripe) у 16 накопителей используется в полной мере. Мы получили максимальную пропускную способность 2,23 Гбайт/с - больше, чем у 24 SSD Samsung в ролике.

Пропускная способность

Чтение или запись дают близкие результаты. Наша тестовая система с 16 SSD Intel X25-E смогла дать 2,23 Гбайт/с для операций обоего типа.

Мы также попытались проверить и другие размеры блоков, меньше и больше выбранного уровня 4 Мбайт, но максимальную производительность в нашей конфигурации мы получили именно с блоками по 4 Мбайт.

Заключение


Заключение

Самый быстрый массив в мире? Мы не встречали других решений DAS, обеспечивающих пропускную способность почти 2,3 Гбайт/с.

В теории массив, который состоит из 16 SSD на флэш-памяти, способных обеспечить 200 Мбайт/с каждый, должен давать пропускную способность до 3200 Мбайт/с. К сожалению, мы не добрались до этого уровня, несмотря на все проведённые оптимизации, но мы обошли массив из твёрдотельных накопителей Samsung. Данный массив работал с 24 SSD PB22-J. Мы же использовали всего 16 твёрдотельных накопителей Intel X25-E, после чего достигли более высокого уровня. Основной целью было получение более высокой постоянной пропускной способности, и нам было очень приятно добраться до уровня 2,23 Гбайт/с у нашего массива X25-E RAID против 2,12 Гбайт/с у массива Samsung PB22-J.

"Узкие места", как нам кажется, связаны с производительностью CPU, а также и с платформой - вплоть до уровня контроллеров накопителей. Хотя теоретический предел каждого интерфейса PCI Express x8 должен составлять 2 Гбайт/с, действительная пропускная способность может быть существенно меньше.


RSS лента ВСЕГО блога с комментариями RSS лента ВСЕГО блога БЕЗ комментариев RSS лента этой КАТЕГОРИИ с комментариями RSS лента этой КАТЕГОРИИ и БЕЗ комментариев RSS лента ЭТОГО ПОСТА с комментариями к нему



Прыг: 31 32 33 34 35 36 37 38 39 40 41
Скок: 10 20 30 40


Похожие ресурсы:



Copyright © 2009 Версия компьютеры
Сейчас 24 октября 2018, 03:27
Система авторегистрации в каталогах, 
           статьи про раскрутку сайтов, web дизайн, flash, photoshop, хостинг, рассылки; форум, баннерная сеть, каталог сайтов, услуги 
           продвижения и рекламы сайтов

Рейтинг популярности - на эти заметки чаще всего ссылаются: