Рекорд пропускной способности 2,2 Гбайт/с: массив из 16 SSD

Введение

Несколько месяцев назад PR-агентство A&R Edelman (занимающееся Samsung в США) сообщило нам о видеоролике на YouTube, где были представлены 24 твёрдотельных накопителя Samsung PB22-J в RAID-массиве на high-end ПК. Авторы видео неплохо поработали и получили скорость передачи данных выше 2 Гбайт/с на контроллере линейки Adaptec 5 и плате Areca 1680ix на системе с двумя CPU Intel Skulltrail. Нас заинтересовал этот проект, и мы решили посмотреть, сможем ли обойти этот результат.

Зачем нужна такая производительность?

Данный проект имеет смысл, если смотреть на него под одним из двух углов. Вы можете рассматривать проект как забавный пример того, когда деньги не имеют значение, или как своего рода взгляд в будущее на производительность накопителей. Видеоролик Samsung показывает, чего можно ожидать от супербыстрого массива на SSD. Массив способен загружать приложения за долю того времени, которое требуется сегодня, он также эффективно устраняет все "узкие места", связанные с производительностью подсистемы хранения. Впрочем, конечно понятно, что использование 24 (или даже 16 накопителей как у нас) совершенно непрактично для настольного ПК.

Выбор накопителей

Впрочем, ситуация в мире high-end серверов иная, там максимальное количество операций ввода/вывода в секунду (IOPS) весьма важно для критичных приложений. Мы решили не только взять большое число SSD на флэш-памяти, но и выбрали наилучшие на рынке твёрдотельные накопители, которые позволили бы нам преодолеть пропускную способность массива Samsung, а также дать сенсационно высокое число операций ввода/вывода в секунду.

Нашим выбором стали SSD Intel X25-E, которые базируются на более дорогой флэш-памяти на одноуровневых ячейках (single-level cell, SLC). По сравнению с флэш-памятью Samsung на многоуровневых ячейках (MLC), память SLC может давать меньшие задержки и большую пропускную способность как для чтения, так и для записи. Но есть и недостаток: если накопители Samsung PB22-J предоставляют внушительную ёмкость 256 Гбайт, то профессиональные SSD Intel X25-E по-прежнему ограничены максимумом 64 Гбайт. К счастью, разница в ёмкости не очень значима в нашей гонке за производительностью, и всего 16 SSD-накопителей Intel оказываются достаточными, чтобы обойти 24 накопителя в видеоролике Samsung.

Приступим!

Intel тоже заинтересовалась нашим проектом и предоставила шестнадцать 64-Гбайт накопителей X25-E для тестов. Между тем мы запросили у Adaptec два RAID-контроллера 5805 PCI Express. На них мы создали гнездовой массив, состоящий из двух аппаратных массивов RAID 0, которые затем легли в основу программного массива RAID 0 под Windows. Наш подход оказался правильным, как вы вскоре увидите.

Накопители: Intel X25-E 64 GB SSD

Мы уже тестировали профессиональные SSD-накопители Intel X25-E в начале 2009 года, и наши выводы были очевидными: данный продукт не может обойти другие производительные накопители по пропускной способности чтения, но он даёт более высокую пропускную способность записи, а также способен обеспечивать массивную производительность ввода/вывода. Так X25-E выдаёт от 10x до 25x больше производительности по сравнению с одним жёстким диском корпоративного класса на 15 000 об/мин, в то же время обеспечивая превосходную пропускную способность. Рецепт успеха кроется в 10-канальном контроллере флэш-памяти Intel с интегрированной кэш-памятью для оптимизации уровня износа ячеек, а также и производительности записи. Последние обновления прошивки Intel, которые можно скачать на сайте компании, пока не охватывают профессиональные накопители X25-E.

64-Гбайт версия накопителя, построенная на 50-нм памяти SLC NAND, по-прежнему является топовой моделью Intel. Устройства следующего поколения должны перейти на более совершенный 34-нм техпроцесс. Это позволит удвоить ёмкость до 128 Гбайт в производительном сегменте и до 320 Гбайт у потребительских моделей X25-M. Есть ещё и потенциал дальнейшего увеличения производительности, но интерфейс SATA/300 скоро может стать очередным "узким местом". К счастью, SATA/600 уже готов прийти на смену.

Мы желали построить в массив с наибольшим возможным количеством накопителей X25-E, но ожидали достичь пропускной способности больше 2 Гбайт/с с намного меньшим количеством SSD, чем 24 в проекте Samsung. После того, как мы получили 16 SSD Intel, мы протестировали несколько конфигураций, чтобы получить максимальную пропускную способность и производительность ввода/вывода.

Контроллеры: Adaptec RAID 5805

Современной линейкой унифицированных host-контроллеров Adaptec является пятая. В ней много различных моделей, каждая из которых нацелена на разные внутренние/внешние требования к организации хранилища, например, низкий профиль или карты полной высоты, да и число портов различается. Модель 5805 является низкопрофильной, с восемью внутренними портами SAS/SATA.

Adaptec на данный момент предлагает одиночные карты с количеством портов до 28, но мы намеренно взяли две восьмипортовые карты вместо одной с большим числом портов, чтобы распределить пропускную способность по двум слотам PCI Express. Если посмотреть на интерфейс типичного RAID-контроллера SAS/SATA, то мы получим соединение x8 PCI Express первого поколения, максимальная скорость которого составляет 2 Гбайт/с. Поскольку мы хотели получить более высокую пропускную способность, то взяли две карты и создали программный RAID-массив средствами операционной системы.

Мы тестировали линейку 5 Adaptec более года назад, однако она по-прежнему остаётся топовой в семействе продуктов компании. Последним добавлением в семейство была линейка 5Z, с которой Adaptec добавила защиту Zero Maintenance Cache. Обычные RAID-контроллеры поставляются с кэш-памятью, как правило ECC DRAM, и опциональным резервным аккумулятором, который сохранит данные в кэше в случае сбоя питания. Подход Adaptec заключается в интеграции на контроллеры флэш-памяти, которая сохраняет своё содержимое и без подачи энергии.

Конфигурация системы

Мы решили не собирать специальную систему для проекта, поскольку хотели, чтобы наш проект из 16 накопителей SSD можно было повторить на любом компьютере топового уровня, например, на эталонной системе для тестов накопителей. Наша тестовая платформа состояла из процессора Core i7-920 (2,66 ГГц) на материнской плате Supermicro X8SAX, 3 Гбайт памяти Corsair CM3X1024 DDR3 и блока питания OCZ EliteXstream на 800 Вт.

Единственное, мы изменили конфигурацию видеокарты на нашей эталонной тестовой системе. С Radeon HD 3450 пришлось расстаться, поскольку используемый ей слот PCI Express нам потребовался для RAID-контроллера. Заменой стала старая GeForce 4 MX 440 со 128 Мбайт памяти и интерфейсом PCI.

Создание массива, часть I: на уровне контроллера

Мы выбрали опцию ручной конфигурации в окне Мастера настройки Adaptec Storage Manager.

Мы установили в систему обе карты Adaptec 5805, используя слоты PCI Express 1 и 3. Утилита Storage Manager сразу же определила карты, и мы подключили к каждому контроллеру по восемь накопителей. Мастер настройки Adaptec значительно облегчает создание RAID-массива на каждой карте. Все детали приведены на скриншотах.

Мы выбрали RAID 0, поскольку не хотели терять производительность на более сложных массивах.

Мы выбрали максимальный размер блока 256 кбайт и отключили опции энергосбережения для данного проекта. Мастер приводит точную конфигурацию накопителей справа.

Всё готово! Наш первый массив RAID 0 создан. Мы повторили этот процесс на втором контроллере, а уже затем перешли к Диспетчеру устройств/Device Manager в Windows.

Создание массива, часть II: на уровне операционной системы

Теперь у нас есть два массива RAID 0, каждый с восемью флэш-накопителями Intel X25-E. Поскольку мы знали, что максимальная пропускная способность PCI Express в обоих направлениях у интерфейса x8 составляет 2 Гбайт/с, мы хотели создать программный RAID-массив, в котором два дисковых массива будут объединены в RAID 0 средствами ОС. Мы запустили панель "Управление дисками/Disk management" и создали программный RAID на двух аппаратных массивах.

Два динамических диска по 475 Гбайт готовы к использованию.

Мы нажали на контроллере правой клавишей мыши и выбрали “New striped volume” для создания нового массива RAID, теперь уже средствами Windows.

Выберите оба виртуальных диска, чтобы их можно было использовать в новом массиве RAID 0.

Для большинства тестов нужно присвоить букву диска.

Windows нужно преобразовать виртуальные диски, представляющие собой массивы RAID 0 контроллеров, в динамические диски.

Сменившийся цвет говорит о том, что два диска теперь используются в массиве с чередованием, которому была присвоена буква диска "D:".

Тестовая конфигурация

Результаты тестов

Производительность ввода/вывода

Помните, что производительность ввода/вывода ограничивается не только количеством накопителей, но также RAID-контроллером и host-системой, которые должны давать достаточную производительность для максимального числа операций ввода/вывода в секунду. В данном случае более быстрый процессор смог бы ускорить производительность ввода/вывода ещё сильнее. Платформа Core i7 920, которую мы использовали, не всегда является лучшим выбором, но мы получили вполне достойные результаты.

Доступ к базам данных, который осуществляется блоками размером по 8 кбайт, является 100% случайной операцией с долей чтения 67%. В данном случае наш массив из 16 накопителей смог дать в 5,6x большую производительность по сравнению с одним SSD на нашей системной конфигурации.

Профиль файлового сервера использует 100% случайный доступ и 80% операций чтения, но с разными размерами блоков. Преимущество нашего массива обеспечило 3,1x прирост производительности.

Наш тест web-сервера построен на 100% случайных операциях и 100% чтении с небольшими размерами блоков, типичными для небольших графических или HTML-файлов. Прирост производительности составил 3,3x.

Производительность рабочей станции особо не увеличилась.

В целом, вполне очевидно, что намного меньшего числа SSD-накопителей на флэш-памяти уже достаточно, чтобы нагрузить нашу тестовую систему четырьмя рабочими потоками. Вероятно, более высокую производительность ввода/вывода можно получить, если перейти на систему с двумя четырёхъядерными процессорами. Это позволило, например, в проекте Samsung запустить восемь рабочих потоков. Впрочем, Samsung не публикует значение производительности ввода/вывода, поэтому перейдём к пропускной способности.

Пропускная способность

Это мы и хотели получить! В наших тестах потокового чтения размер блока составляет 4 Мбайт, в результате чего 256-кбайт размер блока (stripe) у 16 накопителей используется в полной мере. Мы получили максимальную пропускную способность 2,23 Гбайт/с - больше, чем у 24 SSD Samsung в ролике.

Чтение или запись дают близкие результаты. Наша тестовая система с 16 SSD Intel X25-E смогла дать 2,23 Гбайт/с для операций обоего типа.

Мы также попытались проверить и другие размеры блоков, меньше и больше выбранного уровня 4 Мбайт, но максимальную производительность в нашей конфигурации мы получили именно с блоками по 4 Мбайт.

Заключение

Самый быстрый массив в мире? Мы не встречали других решений DAS, обеспечивающих пропускную способность почти 2,3 Гбайт/с.

В теории массив, который состоит из 16 SSD на флэш-памяти, способных обеспечить 200 Мбайт/с каждый, должен давать пропускную способность до 3200 Мбайт/с. К сожалению, мы не добрались до этого уровня, несмотря на все проведённые оптимизации, но мы обошли массив из твёрдотельных накопителей Samsung. Данный массив работал с 24 SSD PB22-J. Мы же использовали всего 16 твёрдотельных накопителей Intel X25-E, после чего достигли более высокого уровня. Основной целью было получение более высокой постоянной пропускной способности, и нам было очень приятно добраться до уровня 2,23 Гбайт/с у нашего массива X25-E RAID против 2,12 Гбайт/с у массива Samsung PB22-J.

"Узкие места", как нам кажется, связаны с производительностью CPU, а также и с платформой - вплоть до уровня контроллеров накопителей. Хотя теоретический предел каждого интерфейса PCI Express x8 должен составлять 2 Гбайт/с, действительная пропускная способность может быть существенно меньше.