Восстановление данных с накопителей на основе NAND флэш-памяти

Восстановление данных с накопителей на основе NAND флэш памяти Накопители на основе флэш-памяти с каждым днем принимают все больше изощренные и миниатюрные формы, что повышает их мобильность до запредельной. Сейчас большинство электронных устройств, неспособных к перемещению в пространстве, теряют как самое меньшее привлекательность посреди основной массы потребителей, и, как максимум, возможность очутиться в нужном месте в нужное время. Такая мобильность иногда чревата последствиями. Вспомним и сравним, как нередко мы теряли HDD-диски и сколь чаще теряем флэшки. Что касается производителей, то они оценили преимущества флэш-памяти и благополучно используют ее во многих мобильных устройствах. В  числе наиболее востребованных на рынке — накопители на основе NAND флэш-памяти. Область их применения все время растет: от мобильных телефонов до маршрутизаторов. Такая популярность совершает актуальным вопросительный мотив сохранности и безопасности информации с устройств такого типа. Как раз это и устало поводом для детального рассмотрения основных принципов и особенностей восстановления информации с накопителей на основе NAND флэш-памяти.

Нам кажется, что при восстановлении данных предельный заинтересованность представляют как раз комплексные решения — сочетание собственных аналитических методов восстановления, экономящих пора, и гибкость полуавтоматических режимов, которые помогают вручную исследовать и дать оценку состояние накопителя.

По статистике нашего центра восстановления данных, порция случаев обращения пользователей с флеш-накопителями в процентном соотношении постоянно растет, и в июне 2009 года сравнялась с количеством случаев для IDE HDD. Из  100% случаев восстановления, на IDE HDD и флэш-накопители приходится по 20%. На современный день, максимальный объем работ по восстановлению данных мы производим на SATA-накопителях. В то же момент по нашим прогнозам, примерно сквозь год количество случаев с FLASH-накопителями существенно потеснит случаи восстановления данных с SATA.

Изумительно, но мало кто знает, что буквально при любом повреждении флэш-накопителя данные разрешено восстановить в большинстве случаев! Однако необходимо выбрать справедливый алгоритм, недостаточно просто считать информацию с микросхем памяти. Полезные данные располагаются в микросхемах памяти не в том виде, в котором они представлены пользователю. Сложность восстановления содержится в повторении алгоритма размещения данных, тот, что был использован в накопителе.

Зачем ломаются накопители, или немного теории

Кушать два основных типа повреждений флэш-накопителей:

  1. Логический, при котором носитель физически определяется в системе при штатном подключении, но содержит повреждения, препятствующие получению доступа к данным стандартными средствами операционной системы. В данном случае для восстановления данных применимы все логические инструменты, позволяющие восстанавливать логическую структуру файловой системы носителя.
  2. Материальный или повреждение служебных данных — в этом случае проход к содержимому микросхем флэш-памяти невозможен. К сожалению, подавляющее большинство случаев повреждения относится аккурат к такому типу.

Разницу промеж логическим и физическим повреждением флэшки разрешено обрисовать простым примером. При логическом повреждении довольно только сделать форматирование, позже чего накопитель исправен, «чист» и готов к использованию. Ежели повреждение физическое, то ваш накопитель не определится в системе и, в соответствии, не сможет находиться отформатирован.

Следующие 20 КБ информации специально подготовлены для тех, кто хочет подробнее выяснить об этих типах повреждений.

Итак, вернемся к логическим повреждениям.

Во-первых, это повреждения в результате программного сбоя или аппаратных особенностей служебной области данных, используемой контроллером в работе механизма трансляции. Виной этому, раньше всего, износ, приводящий к появлению избыточного числа битовых ошибок, которые нельзя скорректировать реализованным алгоритмом ECC. Не менее вероятны и сбои внутреннего программного обеспечения.

Во-вторых, ухудшение теплопроводности корпуса флэш-накопителя приводит к повышению температуры внутренних компонентов, что повышает возможность сбоев и возникновения ошибок. Известия операционной системы о необходимости отформатировать накопитель или предложение «Вклинить диск» — это как раз последствия и признаки подобных ошибок. При этом нередко накопитель как физическое устройство в системе определяется идентификатором производителя (Vendor ID) и типом устройства (Device ID), соответствующим установленному в нем контроллеру.

При обнаружении неустранимой ошибки служебной области, контроллер перестает превращаться к микросхемам памяти, возвращая в реакция на команду чтения загодя сформированный сектор (чаще всего, заполненный нулями). Еще он мочь  «сообщать» об отсутствии носителя. Подобная тактика объясняется, главным образом, необходимостью уменьшить воздействие на микросхемы памяти и не предположить дальнейшего повреждения данных. При этом данные, в большинстве случаев, остаются целиком корректными и располагаются в микросхемах памяти, но проход к ним через штатного интерфейса становится невозможным.

К слову, использование общедоступных специализированных утилит (в частности, находящихся на сайте http://www.flashboot.ru) при повреждениях служебной информации подчас позволяет отдать накопителю работоспособность, но при этом пользовательские данные без малого наверно будут уничтожены.

Действия, выполняемые стандартными утилитами от производителя, состоят из стирания всех микросхем памяти и восстановления формата поврежденной служебной области. Идет  переучет блоков с нестабильным чтением. Надо думать, что сохранение данных пользовательской зоны не является приоритетным при таковский операции, и подобное заявочное пожелание гораздо усложнило бы утилиту.

В подобных случаях наиболее надежным методом восстановления данных является использование специализированных комплексов, которые позволяют трудиться напрямую с микросхемами памяти, реализуя эмуляцию работы контроллера без применения штатного, аппаратного контроллера  и интерфейса.

Что касается физических, то это повреждения контроллера, платы электроники и линий интерфейса, приводящие к невозможности функционирования накопителя как цельного устройства. Тут причинами могут пребывать как механические воздействия, так и воздействие электрических факторов. В частности, статического электричества, неверной полярности  USB разъемов ПК, проблем с питанием адаптеров или картоводов. Флэш-накопитель с подобной неисправностью при штатном (напрямую или сквозь картовод) подключении не определяется в системе или сопровождается сообщением системы о «неопознанном устройстве». При воздействии электрических факторов повреждается, в основном, как раз контроллер и окружающие элементы. Микросхемы памяти, как правило, остаются работоспособными. При этом данные пользователя на них всецело сохраняются.

Кушать возможность успешного возобновления работы накопителя при замене МС контроллера на заведомо официальный, целиком совпадающий или «близкий», но эта возможность отчаянно мала. Более того сравнительно одинаковые контроллеры отличаются по применяемым алгоритмам распределения данных и алгоритмам ECC, в результате чего при замене возможны ситуации несовместимости. При этом работоспособность накопителя не восстановится, но свежеиспеченный контроллер, обнаружив несоответствие формата данных на микросхемах памяти, по-видимому, переформатирует ее «под себя», уничтожив пользовательские данные. Хотя подчас подобная практика и имеет счастливый момент.

Как и в случае с логическим повреждением, в этом месте кроме того рекомендуемым методом восстановления данных является употребление специализированных комплексов, работающих напрямую с микросхемами памяти. Уместно сказать, нужный совет. Ежели выберете способ восстановления «заменой контроллера», то лучше предварительно считайте содержимое всех микросхем памяти. Так удастся возродить данные, ежели свежий контроллер переформатирует микросхемы памяти «под себя».

Получается, что при любом типе неисправности, ежели данные недоступны, восстановление информации напрямую с микросхем памяти является больше универсальным способом, и имеет меньше рисков повреждения данных, чем всякий из методов, работающих сквозь штатный интерфейс и контроллер накопителя.

Восстановление данных в деталях

Следственно, как мы уже сказали, наиболее частые причины повреждения флэш-накопителей любого типа  — это проблемы электрического и теплового характера. Статическое электричество, некорректное подключение питания USB-разъемов на панели системного блока и другие проблемы с питанием становятся причинами сгорания контроллера накопителя. Это, безусловно, совершает невозможным каждый проход к содержимому микросхем флэшки. Ежели помехи питания кратковременны или незначительны, тогда маловероятно, что сам контроллер выйдет из строя, но и он смочь поспособствовать сбою при модификации данных на микросхемах памяти. В результате, нарушается логика работы механизма трансляции— по внешним признакам это эквивалентно повреждению контроллера. Учитывая, что контроллер оперирует блоками данных минимальным размером вблизи 128К байт, таковский кратковременный сбой смочь привести к полному стиранию основных структур файловой системы. Это, вероятно, сделает невозможным дальнейшее функционирование накопителя.

Так как воссоздать данные? Чтобы выполнить это прямо с микросхемами памяти, нужно исполнить цепочку трех последовательных действий:

  1. используя паяльную станцию, выпаять все микросхемы памяти, присутствующие в накопителе
  2. с помощью считывающего устройства прочесть содержимое всех микросхем памяти
  3. используя специализированное программное обеспечение,  эмулировать работу штатного контроллера флэш-накопителя и заработать итог — роль диска с пользовательскими данными.

Все это с успехом аккумулировано в программно-аппаратном комплексе PC-3000 Flash, вестимо,  за исключением процедуры выпаивания микросхем памяти.

Программное обеспечение сего комплекса позволяет разрешить следующие задачи:

  • устранить перемешивание данных, вызванное аппаратными особенностями накопителя (контроллера) и конфигурации платы электроники
  • назначить примененный в контроллере приём и его параметры
  • при необходимости, логически возродить разрушения файловой системы.

В комплексе PC 3000 Flash реализовано значительное количество автоматических методов восстановления и методов, позволяющих реализовать отдельные действия всего процесса. Посреди автоматических режимов комплекса хочется подчеркнуть режимы «Восстановление по контроллеру», когда для полного восстановления данных довольно исключительно сориентировать тип примененного в флэш-накопителе контроллера. В этом случае все действия, необходимые для восстановления корректного доступа к данным, будут выполнены автоматически, и результатом станет роль диска с восстановленными данными. Комплекс включает большую базу данных о микросхемах флэш-памяти для автоматизации процесса считывания.

При всем при том автоматические режимы восстановления и анализа — это не все, на что способен комплекс. Еще в нем заложены свободные возможности для индивидуального изучения задачи восстановления при помощи разнообразного набора специализированных утилит. Ещё в состав PC 3000 Flash входит пополняемая база данных контроллеров, позволяющая ускорить ход восстановления информации с помощью прямого указания типа контроллера. Исключительно кое-какой список поддерживаемых комплексом производителей контроллеров:

  • AlcorMicro
  • SK
  • SM
  • ChipsBank
  • iCreate
  • Lexar
  • USBest
  • PHISON
  • OTI
  • SSS
  • TOSHIBA

Изображение работы по восстановлению информации было бы неполным без статистики, собранной и обработанной с декабря 2007 года. Возле 80 процентов данных с флэш-накопителей  NAND удается возродить в автоматическом режиме, то кушать с помощью одного щелчка мышью. При детальном «ручном» восстановлении — 90 процентов данных обретают вторую бытие. Немедля оговоримся, что оставшиеся 10 процентов информации также вероятно спасти. Для сего понадобится пора и сочетание технологий автоматического и механического восстановления.

Интересна и статистика восстановления данных при различных типах повреждений. От общего объема восстановления информации на накопителях на основе NAND флэш-памяти 45% приходится на устранение  неисправностей логического характера, согласно, 55% — физического.

Не надобно находиться большим аналитиком, чтобы ухватить тенденцию постоянного роста числа мобильных устройств. По-видимому, что численность информации, доверенной флэш-памяти, будет вырастать еще стремительнее. От сохранности данных и, в случае ЧП, их оперативного восстановления, зависит многое. Аккурат поэтому не стоят на вместе и технологии восстановления данных. Будем удерживать руку на пульсе информации!


RSS лента ВСЕГО блога с комментариями RSS лента ВСЕГО блога БЕЗ комментариев RSS лента этой КАТЕГОРИИ с комментариями RSS лента этой КАТЕГОРИИ и БЕЗ комментариев RSS лента ЭТОГО ПОСТА с комментариями к нему

Рекорд пропускной способности 2,2 Гбайт/с: массив из 16 SSD

Введение

Несколько месяцев назад PR-агентство A&R Edelman (занимающееся Samsung в США) сообщило нам о видеоролике на YouTube, где были представлены 24 твёрдотельных накопителя Samsung PB22-J в RAID-массиве на high-end ПК. Авторы видео неплохо поработали и получили скорость передачи данных выше 2 Гбайт/с на контроллере линейки Adaptec 5 и плате Areca 1680ix на системе с двумя CPU Intel Skulltrail. Нас заинтересовал этот проект, и мы решили посмотреть, сможем ли обойти этот результат.

Зачем нужна такая производительность?

Данный проект имеет смысл, если смотреть на него под одним из двух углов. Вы можете рассматривать проект как забавный пример того, когда деньги не имеют значение, или как своего рода взгляд в будущее на производительность накопителей. Видеоролик Samsung показывает, чего можно ожидать от супербыстрого массива на SSD. Массив способен загружать приложения за долю того времени, которое требуется сегодня, он также эффективно устраняет все "узкие места", связанные с производительностью подсистемы хранения. Впрочем, конечно понятно, что использование 24 (или даже 16 накопителей как у нас) совершенно непрактично для настольного ПК.

Суперскоростной RAID-массив

Выбор накопителей

Впрочем, ситуация в мире high-end серверов иная, там максимальное количество операций ввода/вывода в секунду (IOPS) весьма важно для критичных приложений. Мы решили не только взять большое число SSD на флэш-памяти, но и выбрали наилучшие на рынке твёрдотельные накопители, которые позволили бы нам преодолеть пропускную способность массива Samsung, а также дать сенсационно высокое число операций ввода/вывода в секунду.

Нашим выбором стали SSD Intel X25-E, которые базируются на более дорогой флэш-памяти на одноуровневых ячейках (single-level cell, SLC). По сравнению с флэш-памятью Samsung на многоуровневых ячейках (MLC), память SLC может давать меньшие задержки и большую пропускную способность как для чтения, так и для записи. Но есть и недостаток: если накопители Samsung PB22-J предоставляют внушительную ёмкость 256 Гбайт, то профессиональные SSD Intel X25-E по-прежнему ограничены максимумом 64 Гбайт. К счастью, разница в ёмкости не очень значима в нашей гонке за производительностью, и всего 16 SSD-накопителей Intel оказываются достаточными, чтобы обойти 24 накопителя в видеоролике Samsung.

Приступим!

Intel тоже заинтересовалась нашим проектом и предоставила шестнадцать 64-Гбайт накопителей X25-E для тестов. Между тем мы запросили у Adaptec два RAID-контроллера 5805 PCI Express. На них мы создали гнездовой массив, состоящий из двух аппаратных массивов RAID 0, которые затем легли в основу программного массива RAID 0 под Windows. Наш подход оказался правильным, как вы вскоре увидите.

Накопители: Intel X25-E 64 GB SSD

Суперскоростной RAID-массив

Мы уже тестировали профессиональные SSD-накопители Intel X25-E в начале 2009 года, и наши выводы были очевидными: данный продукт не может обойти другие производительные накопители по пропускной способности чтения, но он даёт более высокую пропускную способность записи, а также способен обеспечивать массивную производительность ввода/вывода. Так X25-E выдаёт от 10x до 25x больше производительности по сравнению с одним жёстким диском корпоративного класса на 15 000 об/мин, в то же время обеспечивая превосходную пропускную способность. Рецепт успеха кроется в 10-канальном контроллере флэш-памяти Intel с интегрированной кэш-памятью для оптимизации уровня износа ячеек, а также и производительности записи. Последние обновления прошивки Intel, которые можно скачать на сайте компании, пока не охватывают профессиональные накопители X25-E.

Суперскоростной RAID-массив

64-Гбайт версия накопителя, построенная на 50-нм памяти SLC NAND, по-прежнему является топовой моделью Intel. Устройства следующего поколения должны перейти на более совершенный 34-нм техпроцесс. Это позволит удвоить ёмкость до 128 Гбайт в производительном сегменте и до 320 Гбайт у потребительских моделей X25-M. Есть ещё и потенциал дальнейшего увеличения производительности, но интерфейс SATA/300 скоро может стать очередным "узким местом". К счастью, SATA/600 уже готов прийти на смену.

Мы желали построить в массив с наибольшим возможным количеством накопителей X25-E, но ожидали достичь пропускной способности больше 2 Гбайт/с с намного меньшим количеством SSD, чем 24 в проекте Samsung. После того, как мы получили 16 SSD Intel, мы протестировали несколько конфигураций, чтобы получить максимальную пропускную способность и производительность ввода/вывода.

Контроллеры: Adaptec RAID 5805

Суперскоростной RAID-массив

Современной линейкой унифицированных host-контроллеров Adaptec является пятая. В ней много различных моделей, каждая из которых нацелена на разные внутренние/внешние требования к организации хранилища, например, низкий профиль или карты полной высоты, да и число портов различается. Модель 5805 является низкопрофильной, с восемью внутренними портами SAS/SATA.

Adaptec на данный момент предлагает одиночные карты с количеством портов до 28, но мы намеренно взяли две восьмипортовые карты вместо одной с большим числом портов, чтобы распределить пропускную способность по двум слотам PCI Express. Если посмотреть на интерфейс типичного RAID-контроллера SAS/SATA, то мы получим соединение x8 PCI Express первого поколения, максимальная скорость которого составляет 2 Гбайт/с. Поскольку мы хотели получить более высокую пропускную способность, то взяли две карты и создали программный RAID-массив средствами операционной системы.

Мы тестировали линейку 5 Adaptec более года назад, однако она по-прежнему остаётся топовой в семействе продуктов компании. Последним добавлением в семейство была линейка 5Z, с которой Adaptec добавила защиту Zero Maintenance Cache. Обычные RAID-контроллеры поставляются с кэш-памятью, как правило ECC DRAM, и опциональным резервным аккумулятором, который сохранит данные в кэше в случае сбоя питания. Подход Adaptec заключается в интеграции на контроллеры флэш-памяти, которая сохраняет своё содержимое и без подачи энергии.

Суперскоростной RAID-массив

Конфигурация системы

Мы решили не собирать специальную систему для проекта, поскольку хотели, чтобы наш проект из 16 накопителей SSD можно было повторить на любом компьютере топового уровня, например, на эталонной системе для тестов накопителей. Наша тестовая платформа состояла из процессора Core i7-920 (2,66 ГГц) на материнской плате Supermicro X8SAX, 3 Гбайт памяти Corsair CM3X1024 DDR3 и блока питания OCZ EliteXstream на 800 Вт.

Единственное, мы изменили конфигурацию видеокарты на нашей эталонной тестовой системе. С Radeon HD 3450 пришлось расстаться, поскольку используемый ей слот PCI Express нам потребовался для RAID-контроллера. Заменой стала старая GeForce 4 MX 440 со 128 Мбайт памяти и интерфейсом PCI.

Создание массива, часть I: на уровне контроллера

Суперскоростной RAID-массив

Суперскоростной RAID-массив

Мы выбрали опцию ручной конфигурации в окне Мастера настройки Adaptec Storage Manager.

Мы установили в систему обе карты Adaptec 5805, используя слоты PCI Express 1 и 3. Утилита Storage Manager сразу же определила карты, и мы подключили к каждому контроллеру по восемь накопителей. Мастер настройки Adaptec значительно облегчает создание RAID-массива на каждой карте. Все детали приведены на скриншотах.

Суперскоростной RAID-массив

Мы выбрали RAID 0, поскольку не хотели терять производительность на более сложных массивах.

Суперскоростной RAID-массив

Мы выбрали максимальный размер блока 256 кбайт и отключили опции энергосбережения для данного проекта. Мастер приводит точную конфигурацию накопителей справа.

Суперскоростной RAID-массив

Всё готово! Наш первый массив RAID 0 создан. Мы повторили этот процесс на втором контроллере, а уже затем перешли к Диспетчеру устройств/Device Manager в Windows.

Создание массива, часть II: на уровне операционной системы

Теперь у нас есть два массива RAID 0, каждый с восемью флэш-накопителями Intel X25-E. Поскольку мы знали, что максимальная пропускная способность PCI Express в обоих направлениях у интерфейса x8 составляет 2 Гбайт/с, мы хотели создать программный RAID-массив, в котором два дисковых массива будут объединены в RAID 0 средствами ОС. Мы запустили панель "Управление дисками/Disk management" и создали программный RAID на двух аппаратных массивах.

Суперскоростной RAID-массив

Два динамических диска по 475 Гбайт готовы к использованию.

Суперскоростной RAID-массив

Мы нажали на контроллере правой клавишей мыши и выбрали “New striped volume” для создания нового массива RAID, теперь уже средствами Windows.

Создание массива, часть II: на уровне операционной системы

Выберите оба виртуальных диска, чтобы их можно было использовать в новом массиве RAID 0.

Создание массива, часть II: на уровне операционной системы

Для большинства тестов нужно присвоить букву диска.

Создание массива, часть II: на уровне операционной системы

Windows нужно преобразовать виртуальные диски, представляющие собой массивы RAID 0 контроллеров, в динамические диски.

Суперскоростной RAID-массив

Сменившийся цвет говорит о том, что два диска теперь используются в массиве с чередованием, которому была присвоена буква диска "D:".

Тестовая конфигурация


Системное аппаратное обеспечение
CPU Intel Core i7-920 (45 нм, 2,66 ГГц, кэш L2 8 Мбайт)
Материнская плата (Socket 1366) Supermicro X8SAX, Revision: 1.0, Chipset Intel X58 + ICH10R, BIOS: 1.0B
Память 2 Гбайт DDR3-1333 Corsair CM3X1024-1333C9DHX
Системный жёсткий диск Seagate NL35 400 Гбайт, ST3400832NS, 7200 об/мин, SATA/150, 8 Мбайт
Контроллер (2x) Adaptec RAID 5805, 8 портов SAS, кэш 512 Мбайт
Блок питания OCZ EliteXstream 800W, OCZ800EXS-EU
Видеокарта Nvidia GeForce 4 MX440 (NV18, 150 нм), 32-битная шина PCI (3,3 В)
Тесты
Измерение производительности h2benchw 3.12
PCMark Vantage 1.0
Производительность ввода/вывода IOMeter 2006.07.27
Fileserver-Benchmark
Webserver-Benchmark
Database-Benchmark
Workstation-Benchmark
Streaming Reads
Streaming Writes
Системное ПО и драйверы
Операционная система Windows Vista Ultimate SP1
Чипсет Intel 9.1.0.1007
Драйверы Intel Matrix Storage Drivers 8.7.0.1007

Результаты тестов

Производительность ввода/вывода

Помните, что производительность ввода/вывода ограничивается не только количеством накопителей, но также RAID-контроллером и host-системой, которые должны давать достаточную производительность для максимального числа операций ввода/вывода в секунду. В данном случае более быстрый процессор смог бы ускорить производительность ввода/вывода ещё сильнее. Платформа Core i7 920, которую мы использовали, не всегда является лучшим выбором, но мы получили вполне достойные результаты.

Профили IOMeter Чтение Случайный доступ Размер блока Исполнители
Сервер баз данных 67% 100% 8 кбайт - 100% 4
Файловый сервер 80% 100% 512 байт - 10%
1 кбайт - 5%
2 кбайт - 5%
4 кбайт - 60%
8 кбайт - 2%
16 кбайт - 4%
32 кбайт - 4%
64 кбайт - 10%
4
Web-сервер 100% 100% 512 байт - 22%
1 кбайт - 15%
2 кбайт - 8%
4 кбайт - 23%
8 кбайт - 15%
16 кбайт - 2%
32 кбайт - 6%
64 кбайт - 7%
128 кбайт - 1%
512 кбайт - 1%
4
Рабочая станция 80% 80% 8 кбайт - 100% 4
Потоковое чтение 100% 0% 64 кбайт - 34%
128 кбайт - 33%
256 кбайт - 33%
4
Потоковая запись 0% 0% 64 кбайт - 34%
128 кбайт - 33%
256 кбайт - 33%
4

Производительность ввода/вывода

Доступ к базам данных, который осуществляется блоками размером по 8 кбайт, является 100% случайной операцией с долей чтения 67%. В данном случае наш массив из 16 накопителей смог дать в 5,6x большую производительность по сравнению с одним SSD на нашей системной конфигурации.

Производительность ввода/вывода

Профиль файлового сервера использует 100% случайный доступ и 80% операций чтения, но с разными размерами блоков. Преимущество нашего массива обеспечило 3,1x прирост производительности.

Производительность ввода/вывода

Наш тест web-сервера построен на 100% случайных операциях и 100% чтении с небольшими размерами блоков, типичными для небольших графических или HTML-файлов. Прирост производительности составил 3,3x.

Производительность ввода/вывода

Производительность рабочей станции особо не увеличилась.

В целом, вполне очевидно, что намного меньшего числа SSD-накопителей на флэш-памяти уже достаточно, чтобы нагрузить нашу тестовую систему четырьмя рабочими потоками. Вероятно, более высокую производительность ввода/вывода можно получить, если перейти на систему с двумя четырёхъядерными процессорами. Это позволило, например, в проекте Samsung запустить восемь рабочих потоков. Впрочем, Samsung не публикует значение производительности ввода/вывода, поэтому перейдём к пропускной способности.

Пропускная способность


Пропускная способность

Это мы и хотели получить! В наших тестах потокового чтения размер блока составляет 4 Мбайт, в результате чего 256-кбайт размер блока (stripe) у 16 накопителей используется в полной мере. Мы получили максимальную пропускную способность 2,23 Гбайт/с - больше, чем у 24 SSD Samsung в ролике.

Пропускная способность

Чтение или запись дают близкие результаты. Наша тестовая система с 16 SSD Intel X25-E смогла дать 2,23 Гбайт/с для операций обоего типа.

Мы также попытались проверить и другие размеры блоков, меньше и больше выбранного уровня 4 Мбайт, но максимальную производительность в нашей конфигурации мы получили именно с блоками по 4 Мбайт.

Заключение


Заключение

Самый быстрый массив в мире? Мы не встречали других решений DAS, обеспечивающих пропускную способность почти 2,3 Гбайт/с.

В теории массив, который состоит из 16 SSD на флэш-памяти, способных обеспечить 200 Мбайт/с каждый, должен давать пропускную способность до 3200 Мбайт/с. К сожалению, мы не добрались до этого уровня, несмотря на все проведённые оптимизации, но мы обошли массив из твёрдотельных накопителей Samsung. Данный массив работал с 24 SSD PB22-J. Мы же использовали всего 16 твёрдотельных накопителей Intel X25-E, после чего достигли более высокого уровня. Основной целью было получение более высокой постоянной пропускной способности, и нам было очень приятно добраться до уровня 2,23 Гбайт/с у нашего массива X25-E RAID против 2,12 Гбайт/с у массива Samsung PB22-J.

"Узкие места", как нам кажется, связаны с производительностью CPU, а также и с платформой - вплоть до уровня контроллеров накопителей. Хотя теоретический предел каждого интерфейса PCI Express x8 должен составлять 2 Гбайт/с, действительная пропускная способность может быть существенно меньше.


RSS лента ВСЕГО блога с комментариями RSS лента ВСЕГО блога БЕЗ комментариев RSS лента этой КАТЕГОРИИ с комментариями RSS лента этой КАТЕГОРИИ и БЕЗ комментариев RSS лента ЭТОГО ПОСТА с комментариями к нему

Методика тестирования флэш-накопителей, карт памяти и картоводов образца 2009 года

За без малого десять лет тестирования разнообразных флэш-накопителей и сопутствующих устройств, мы сменили уже несколько тестовых методик, однако ни одну из них подробно не описывали. Сейчас настал момент очередного изменения подхода к тестированию, но мы его (в текущих традициях) полностью задокументируем. Тем более что начиная с этого года методики тестирования всех накопителей будут взаимосвязаны, что позволит при желании сравнить даже внутренний винчестер с картой памяти, а флэшдрайв — с NAS. Просто количество тестов производительности будет отличаться, однако все они будут совместимы друг с другом. Т.е. наиболее полной методикой является принятая для внутренних жестких дисков и SSD, для ВЖД применяться ее подмножество, а для флэшдрайвов и карт памяти — подмножество подмножества :) Однако, разумеется, в статьях будет информация не только о производительности, но и о прочих важных (в ряде случаев — даже более важных) характеристиках устройств.

Знакомство с испытуемыми

Во-первых, сразу стоит отметить, что, подобно внутренним накопителям, но в отличие от ВЖД основной упор мы будем делать на сравнительные тестирования. В случае карт памяти или картоводов причина этого очевидна — они достаточно жестко стандартизованы. Разумеется, у производителей последних остается некоторая свобода маневра в выборе дизайна, и у всех — в плане дополнительной функциональности, однако программное обеспечение, прилагаемое к картам или картоводам, как правило, не так уж и сложно функционально, чтобы на описание каждого набора утилит пришлось бы тратить целую статью. Аналогичная ситуация наблюдается и на рынке флэш-накопителей с USB-интерфейсом. Тем более что в последнее время наблюдается тенденция отказа от полностью «самописного» ПО и использование стандартных приложений, немного кастомизированных под конкретного производителя. Причем программное обеспечение «подгоняется» не к каждой конкретной модели, а к целой линейке накопителей одной марки.

Таким образом, в большинстве случаев в каждом тестировании будет участвовать от трех до десяти устройств, объединенных одинаковым назначением и прочими особенностями. Чаще всего в одном обзоре будет присутствовать продукция одного производителя, реже — двух-трех. И первым делом мы будем знакомиться с участниками. Дизайн, дополнительное программное обеспечение, какие-либо другие интересные особенности — все это для большинства пользователей не менее важно, чем производительность, а иногда и емкость или функциональность устройств.

Реальная емкость

В отличие от винчестеров, различные флэш-накопители, формально имеющие одинаковый объем, на практике отличаются по количеству «дискового» пространства, доступного пользователю. Связано это с тем, что маркировка производится по «сырому» объему установленных в корпус устройства чипов флэш-памяти. Однако разные контроллеры используют его по-разному, что и приводит к весьма заметным флуктуациям. И, если для накопителей низкой емкости в абсолютном исчислении разница невелика, то для становящихся все более популярными карт памяти и флэшдрайвов от 8 ГБ и выше она вполне может достигать 100-200 МБ, что уже достаточно серьезно (этого, например, хватит на пару аудиоальбомов или на 30-50 фотографий). Разумеется, при прочих равных (а иногда и не равных) более предпочтительнрым является накопитель с большей реальной емкостью — ведь именно за нее мы и платим деньги в магазине. Поэтому такая информация будет приводиться для каждого из протестированных накопителей.

Положение несколько осложняется тем, что при использовании различных файловых систем полезная (доступная пользователю) емкость также меняется. К счастью, одинаковым образом, поэтому можно ограничиться лишь одной ФС, дабы не загромождать статью слишком большим количеством информации. А вот какой — вопрос сложный. Тем более, что выбранная файловая система будет существенным образом влиять и на показатели быстродействия в тестах высокого уровня. В текущем году для флэшдрайвов и карт памяти мы будем использовать FAT32 в качестве основной. Почему — стоит разъяснить подробнее.

Файловая система: проблема выбора

Даже если рассматривать не все многообразие существующих на рынке операционных систем, а только семейство Windows, причем только две самых последних версии, доступными для выбора оказываются целых четыре файловых системы. Все они имеют свои достоинства и недостатки, что непосредственный выбор затрудняет: в одних условиях лучше одна, в других — другая.

Начнем с FAT16. Самая простая и старая файловая система, своими корнями уходящая еще во времена MS DOS. Соответственно, и совместимость ее с различными хост-системами идеальная. Кроме того, в ее случае минимальны накладные расходы (например, на гигабайтном накопителе использование FAT16 позволяет «выжать» лишние 20 МБ сравнительно с FAT32) и максимальна производительность. Однако разделы данной системы ограничены размером 2 ГБ (можно создать и 4 ГБ, однако такой «не поймет» большинство устройств), что делает ее в настоящее время совершенно не интересной — основные продажи уже приходятся на накопители заметно большей емкости.

FAT32 позволяет получить не меньшую совместимость, нежели FAT16, однако в ее случае размер тома практически не ограничен. Точнее, штатными средствами Windows под FAT32 невозможно отформатировать раздел, больший чем 32 ГБ, однако все это легко обходится сторонними утилитами. Более того — последние предлагаются многими производителями флэшдрайвов и ВЖД, причем первые, как правило, и продаются отформатированными именно под FAT32. Однако есть у данной системы и недостатки. Во-первых, для внешних накопителей, отформатированных под FAT32, не работает полценно кэширование записи под Windows XP и Vista, что в ряде случаев приводит к сильной деградации производительности. Во-вторых, FAT32 накладывает ограничение на размер файлов — не более 4 ГБ. Поскольку емкие флэш-накопители часто приобретаются именно для хранения и переноса больших файлов, в ряде случаев это может доставлять большие неудобства пользователям. Для карт памяти эта проблема стоит менее остро — обычно они используются не для переноса информации, а для работы совместно с фото- и видеокамерами, а последние файлов, больших 2 ГБ не создают.

В качестве основной файловой системы для внутренних накопителей Microsoft давно уже пропагандирует NTFS. Мощная ФС, практически безальтернативная на томах очень большого объема лишена огромного количества недостатков, присущих FAT, но имеет свои собственные. В частности, это общая «тяжеловесность» системы, большие потребности в дисковой и оперативной памяти (впрочем, для современных компьютеров это давно неактуально, а вот для бытовой техники и MID все еще досадное неудобство), множество избыточных для сменных накопителей вещей (например, журналирование). Именно поэтому по-умолчанию флэшдрайв в ХР отформатировать под NTFS нельзя. В Vista — можно, да и никто не заставляет всегда и все использовать только по-умолчанию. Именно поэтому на USB-накопителях многие применяют NTFS — хотя бы потому, что в рамках данной системы нет ограничений на размер файлов. Но и с совместимостью с бытовой техникой все не идеально. Поэтому на флэшдрайве эту систему использовать можно разве что в тех случаях, когда он используется только для обмена данных между компьютерами под управлением Windows не старше, чем 2000 (с другими системами вполне возможны проблемы), а для карт памяти она вообще по-хорошему неприменима.

И, наконец, последнее слово — exFAT. Система является дальнейшим развитием FAT и лишена многих ограничений последней. В принципе, в ближайшее время именно ей суждено стать основной для некомпьютерного применения флэш-накопителей, что заставит и совместно с компьютерами применять чаще всего ее. Однако пока крайне болезненным остается вопрос совместимости — полноценно систему понимает только Windows Vista SP1 и XP с установкой специального апдейта (в число критических он не входит, так что по-умолчанию компьютером не скачивается), а также некоторые бытовые устройства, но меньшинство последних.

Итак, на практике может использоваться любая файловая система из четырех. Точнее, чаще всего, из трех — FAT16 неактуальна для устройств с емкостью более 2 ГБ. Однако основной на текущий момент следует считать FAT32. Несмотря на все свои недостатки, она продолжает оставаться наиболее универсальной и доставляет минимум проблем на большинстве устройств. Именно поэтому ее мы и «зафиксируем» в качестве стандартной в данной методике тестирования. Где-то через год существенно расширится «ареал обитания» exFAT, да и накопители емкостью более 32 ГБ начнут встречаться куда чаще, чем сейчас, поэтому мы «мигрируем» на новую систему. Но в текущем (2009) году во всех тестированиях флэш-памяти будет применяться FAT32. Соответственно, и емкость накопителей будет указываться в приложении к этой системе, и для всех тестов производительности, зависящих от ФС, будет использоваться исключительно она.

Тестирование производительности

Аппаратная часть

Оборудование для тестов, возможно, со временем будет меняться, однако частые смены его нежелательны — одинаковая тестовая платформа позволяет непосредственно сравнивать результаты из разных обзоров, а вот при изменении оборудования делать это нужно куда осторожнее. Впрочем, несмотря на определенный прогресс в компьютерной области, внешние интерфейсы более «консервативны», так что зафиксировать программно-аппаратную платформу на достаточно большой срок удается. В рамках данной версии методики тестовый стенд выглядит так:

Для подключения USB-накопителей используется встроенный в чипсет (в данном случае, nForce4 SLI) контроллер USB 2.0. Для обеспечения интерфейса eSATA (который уже начал встречаться во флэшках) на данный момент применяется чипсетный же SATA-контроллер с «выкидышем» на заднюю панель. Поскольку последний поддерживает все необходимые внешним накопителям «фичи», типа горячего подключения и т.п., да и его применение позволяет более корректно сравнивать производительность винчестеров при непосредственном подключении или в коробках, такой вариант наиболее интересен. А накопителей с интерфейсом USB 3.0 пока на рынке не появилось, так что проблема их поддержки все еще не стоит :)

Очевидно, что данного набора оборудования вполне достаточно для флэшдрайвов – как устройств самодостаточных. Для тестирования карт памяти требуются адаптеры. Их у нас два. Для карт CompactFlash будет применяться «переходник» RaidSonic Stardom SF2010-1F-S1, позволяющий эксплуатировать эти карты в максимально-скоростном режиме. А для всех остальных форматов — внутренний картовод Apacer AE161. Он уже не нов, однако все, что требуется, поддерживает. Разумеется, после появления карт SDXC придется «дорабатывать» методику тестирования (искать подходящий картовод как минимум, да и стандартной файловой системой для них является как раз exFAT), но поскольку пока ни карт, ни рассчитанного на них оборудования поблизости не наблюдается, этот вопрос мы временно отложим.

А для тестирования картоводов требуется набор карт памяти. В качестве последнего мы будем использовать следующие модели:

Программная часть

Все тестирования будут проводиться под управлением Windows XP SP3. Такой выбор был сделан потому, что никаких необходимых для флэш-накопителей нововведений в Vista не появилось, так что в плане работы с последними обе системы эквивалентны. В то же время Windows XP занимает примерно вдвое большую часть рынка, нежели Vista, ну а поскольку многие уже планируют подождать с апгрейдом системы до выхода Windows Seven (благо ждать по прогнозам придется менее года), такое положение дел может и не измениться никогда.

А для тестирования производительности будут использоваться три тестовых пакета — Lavalys Everest 5.0, IOMeter и Intel NAS Performance Toolkit. Точнее мы будем применять на практике лишь часть входящих в них тестов, причем немного разную для различного оборудования.

Производительность картоводов

Сами по себе эти устройства такой характеристикой, как «скорость работы» в чистом виде не обладают — все зависит от применяемых карт памяти. «Хороший» картовод от «плохого» отличается лишь тем, что позволяет последним продемонстрировать все, на что они способны, не накладывая искусственных ограничений. Для проверки того, как дела будут обстоять в каждом конкретном случае, мы будем использовать тесты линейного чтения и записи из Everest блоками по 64К байт. Такого простого метода вполне достаточно, чтобы установить, «выкладывается» ли карта на полную или ее ограничивает картовод. Оба теста будут выполняться для каждой карты из описанного выше набора, поддерживаемой картоводом.

Производительность флэшдрайвов и карт памяти

Для этих устройств методика оценки производительности будет несколько более сложной. Во-первых, измерение времени доступа при чтении и записи при помощи тестов из Lavalys Everest 5.0. Во-вторых, скорости последовательного чтения и записи в IOMeter. Это тоже можно делать в Everest, однако от данной практики мы отказываемся дабы получить возможность непосредственного сравнения результатов с демонстрируемыми внутренними и внешними винчестерами (как я уже сказал в начале, текущие тестовые методики для всех накопителей взаимно совместимы). Однако, в отличие от последних мы не будем «гонять» тесты со всеми возможными размерами блоков — для получения вполне достоверной картины достаточно ограничиться тремя значениями: 4, 64 и 1024 К байт. А для оценки накопителей в условиях, приближенных к реальным, мы будем использовать тесты высокого уровня из NASPT. Но не все — часть из них не актуальна ни для карт памяти, ни для флэшдрайвов. Но некоторые — крайне полезны. К ним относятся, например, все четыре теста копирования (соответственно, с и на устройства в виде одного большого файла или разветвленного дерева каталогов с кучей мелких файлов), тесты на запись и воспроизведение видео в один поток, а также шаблоны Content Creation и, безусловно, Photo Album.

А для всех, кому достаточно лишь грубого качественного (а не количественного) ответа на вопрос, какой внешний накопитель лучше, мы вводим и общий балл по тестированию. Получается он следующим образом:

Несложно понять, что «эталонной единицей» в данном случае является 1000 баллов, каковой результат и показывает наш референсный винчестер. А вот результаты всех остальных будут либо меньше, либо больше этого числа. И глядя на общий балл, можно примерно оценить, насколько в среднем один флэшдрайв или карта памяти лучше/хуже конкурентов по производительности. Оценка, разумеется, достаточно грубая, особенно при сравнении накопителей разного класса, но и весьма показательная — куда более чем выигрыш/проигрыш в одном конкретном тесте. Если интересуют последние, то их можно в любой момент посмотреть и оценить исходя из своих критериев и предполагаемой сферы применения накопителя.

Единственное, от чего сразу хочется предостеречь — не стоит пытаться «в лоб» сравнивать по итоговому баллу винчестеры (внешние и внутренние) и флэш-накопители. Разница между ними такая же, как между температурой в градусах Цельсия и Реомюра: ноль одинаковый, а вот размер каждого градуса разный. Так и здесь — эталон один, но вот тесты, по которым высчитывается «температура» разные. Поэтому для непосредственного сравнения (если возникнет такое желание) следует использовать сами результаты тестов — они приведены в одинаковых «градусах».

Энергопотребление USB-флэшдрайвов

Методика измерения проста и незамысловата: цифровой мультиметр Protek 506, «висящий» на шине USB между компьютером и тестируемым устройством, измеряет силу тока при выполнении различных операций и сбрасывает полученные данные на компьютер через последовательный интерфейс. После чего мы их обрабатываем, усредняем, округляем до целых миллиамперов (поскольку точность метода не очень велика) и... Все готово. Поскольку напряжение на порту мы тоже знаем (измерить легко), можно посчитать и потребляемую мощность. А можно и не считать — все равно абсолютно точного значения не получим, так что нас интересует лишь относительное сравнение различных устройств друг с другом, а это можно сделать и по полученной в результате измерения силе тока.

Итак, что измеряется в случае флэшдрайвов? Во-первых, потребляемый ток в тот момент, когда накопитель подключен к порту (Idle на диаграммах). Фактически в этом случае мы измеряем потребление самого контроллера и светодиода (если он есть и хоть как-то проявляет себя в состоянии покоя). Остальные три результата — потребляемый ток во время тестов на измерение времени доступа на операциях чтения, линейного чтения, времени доступа на операциях записи и линейной записи данных в Everest  (RAccess, Read, WAccess и Write соответственно). Здесь вовсю потребляет энергию вся начинка накопителя.

Цена

Технические характеристики, внешний вид и прочее представляют собой абстрактный интерес всегда, но для покупателя крайне важным является вопрос цены любого товара. К сожалению, цены имеют тенденцию меняться в зависимости от времени и места приобретения, поэтому какие-либо далеко идущие выводы на основании цены делать в статье занятие небезопасное. Поэтому и не будем :) В большинстве случаев, хотя иногда пару-тройку замечаний по поводу цены на момент написания статьи я делать буду. А в качестве некоего ориентира мы будем приводить среднюю розничную цену протестированных устройств в Москве, актуальную на момент чтения вам статьи (благо таковая техническая возможность есть).

Итого

В конце статьи, как и положено, будем делать выводы. Весьма важная часть, поскольку, как показала практика, многие читают только введение и заключение. Здесь же будем определять и победителя по производительности, что, впрочем, при наличии сводного балла по всем тестам (для картоводов такового не будет, но там и тестов совсем немного) особой проблемы не представляет. Однако и особо выдающиеся результаты в каких-то конкретных тестах также будут отмечены особо — не всем ведь важна «средняя температура по больнице», поскольку накопитель может приобретаться для решения какой-то определенной задачи (к примеру, от мультиформатного картовода требуется в первую очередь быстрая работа с CompactFlash, а остальные форматы нужны лишь «на всякий случай»). И, разумеется, во всех случаях, когда мы столкнемся с чем-то выделяющимся на общем фоне, именно в заключительной части будет проводиться раздача наших традиционных наград (если кто забыл, их у нас целых две).


RSS лента ВСЕГО блога с комментариями RSS лента ВСЕГО блога БЕЗ комментариев RSS лента этой КАТЕГОРИИ с комментариями RSS лента этой КАТЕГОРИИ и БЕЗ комментариев RSS лента ЭТОГО ПОСТА с комментариями к нему

Прыг: 01 02

Новости для озабоченных:

Анонсы статей по темам:

Оглавление категорий:

Сервисы:

февраль, 2012
пн вт ср чт пт сб вс
    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29        

Полезные сайты:
mitsubishi eclipse
www.cars.ru
Предлагаем Вам ознакомиться с реализуемым нами вентиляционным оборудованием на сайте.
www.ventland.ru

Похожие ресурсы:

Copyright © 2009 Версия компьютеры
Сейчас 05 февраля 2012, 21:59
Система авторегистрации в каталогах, 
           статьи про раскрутку сайтов, web дизайн, flash, photoshop, хостинг, рассылки; форум, баннерная сеть, каталог сайтов, услуги 
           продвижения и рекламы сайтов

Рейтинг популярности - на эти заметки чаще всего ссылаются: