хочу заменить все винты в RAID массиве на более емкие, но никогда не делал этого раньше. Не могли бы вы посоветовать как это сделать? Перечитал кучу информации, но остались не ясные моменты.
Можете написать последовательность действий?
Имеется сервер FreeBSD 6.2 (32-bit), RAID контроллер 3ware 9650SE-4LPML (4ех портовый, SATA). Работает в режиме RAID5. Стоят 4 одинаковых винта по 400Гб (общий объем массива чуть больше 1Тб). Все порты контроллера задействованы. Файловая система юнита подмонтирована в папку /data.
Как я понял для системы используется отдельный диск не подключенный к 3ware. Хочу поменять эти 4 диска на другие 4 диска по 2 Тб каждый. Вроде бы смотрел в инете, что эта версия FreeBSD, файловая система UFS2 и контроллер поддерживают тома более 2 Tb. Они будут использоваться только для хранения данных, а не для зарузки. Но непонятно, что насчет юзеров, использующих, Windows 7 Pro (32-bit) смогут ли они увидеть этот сетевой диск (размер как я понимаю будет около
На передней панели корпуса сервера 4 корзины с индикаторами. Как понять какой диск подключен к какому порту не разбирая корпус, чтобы не вытащить не тот диск?
Как я понимаю последовательность действий такая: 1. Забекапить все на внешний USB-винт (собираюсь купить для бекапов USB-HDD 3 TB с интерфейсом USB 3.0 и контроллер USB 3.0, кстати в какую ФС его лучше форматировать? в такую же как на сервере UFS2?) 2. Остановить первый винт соответсвующей командой контроллера 3ware. # tw_cli maint remove c0 p0. Удалять весь массив надеюсь сразу не нужно? 3. Вставить новый неразмеченныф 2Тб винт на место первого. 4. СДелать rebuild и дождаться его завершения. 5. Повторить пункты с 2го по 4ый для оставльных трех винтов. 6. Поймет ли RAID контроллер после того как вставлю четвертый винт (на этот момент они будут все одинакового размера), что можно увеличить размер массива с (4-1)*400 Gb до (4-1)*2000Gb? 7. Увеличить размер ФС.
И еще: то есть после того как командой отсоединили диск от массива, его можно сразу физически вынимать из корпуса? Как понять поддерживатся ли hot spare? это должно быть в спецификации корзинки для дисков?
Rebuild сам должен сделаться когда вставлю физически диск и сделаю rescan? или самому каждый раз делать? Извиняюсь за свои вопросы, но повторю раньше этого никогда не делал.
Желательно подробней напишите как проделать эту процедуру. В инете в основном теория написана. Какие могут быть подводные камни?
Сообщения: 6158 Благодарности: 1300
Конфигурация компьютера
Память: PC3-12800 2x4Gb
Видеокарта: Intel(R) Iris 5100
Ноутбук/нетбук: MacBook Pro MGX82RS/A
1. Забекапить все на внешний USB-винт (собираюсь купить для бекапов USB-HDD 3 TB с интерфейсом USB 3.0 и контроллер USB 3.0, кстати в какую ФС его лучше форматировать? в такую же как на сервере UFS2?) 2. Остановить первый винт соответсвующей командой контроллера 3ware. # tw_cli maint remove c0 p0. Удалять весь массив надеюсь сразу не нужно? 3. Вставить новый неразмеченныф 2Тб винт на место первого. 4. СДелать rebuild и дождаться его завершения. 5. Повторить пункты с 2го по 4ый для оставльных трех винтов. 6. Поймет ли RAID контроллер после того как вставлю четвертый винт (на этот момент они будут все одинакового размера), что можно увеличить размер массива с (4-1)*400 Gb до (4-1)*2000Gb? 7. Увеличить размер ФС. »
Не выйдет такой фокус. На каждом из 2Тбайтников будет использоваться только 400Гб, остальное пространство останется незадействованным и в итоге вы останетесь с массивом старого размера. Да и зачем вся эта катавасия, если будет сделан бекап?? Предлагаю такую последовательность действий: 1. Забекапить все на внешний USB-винт, остановив предварительно все сервисы, могущие писать на заменяемый массив, предупредив юзеров о простое. 1a. UPD (забыл, а это важно, иначе система завалится в панику на следующем этапе) Отмонтировать /data 2. Удалить массив при помощи утилиты менеджмента и снять старые диски. 3. Поставить новые диски и создать из них новый массив. 4. Создать на новом массиве таблицу разделов GPT (>2Тб ведь том теперь), сам раздел, отформатировать и смонтировать его. Не забыть отредактировать fstab. 5. Развернуть бекап с внешнего носителя на свежесозданный раздел. 6. Запустить сервисы, упомянутые в п.1 и дать отмашку юзерам.
Бекап и восстановление лучше всего делать при помощи dump/restore.
И еще: то есть после того как командой отсоединили диск от массива, его можно сразу физически вынимать из корпуса? Как понять поддерживатся ли hot spare? »
Последний раз редактировалось vadblm, 08-07-2011 в 12:42 .
хочу заменить все винты в RAID массиве на более емкие, но никогда не делал этого раньше. Не могли бы вы посоветовать как это сделать? Перечитал кучу информации, но остались не ясные моменты.
Можете написать последовательность действий?
Имеется сервер FreeBSD 6.2 (32-bit), RAID контроллер 3ware 9650SE-4LPML (4ех портовый, SATA). Работает в режиме RAID5. Стоят 4 одинаковых винта по 400Гб (общий объем массива чуть больше 1Тб). Все порты контроллера задействованы. Файловая система юнита подмонтирована в папку /data.
Как я понял для системы используется отдельный диск не подключенный к 3ware. Хочу поменять эти 4 диска на другие 4 диска по 2 Тб каждый. Вроде бы смотрел в инете, что эта версия FreeBSD, файловая система UFS2 и контроллер поддерживают тома более 2 Tb. Они будут использоваться только для хранения данных, а не для зарузки. Но непонятно, что насчет юзеров, использующих, Windows 7 Pro (32-bit) смогут ли они увидеть этот сетевой диск (размер как я понимаю будет около
На передней панели корпуса сервера 4 корзины с индикаторами. Как понять какой диск подключен к какому порту не разбирая корпус, чтобы не вытащить не тот диск?
Как я понимаю последовательность действий такая: 1. Забекапить все на внешний USB-винт (собираюсь купить для бекапов USB-HDD 3 TB с интерфейсом USB 3.0 и контроллер USB 3.0, кстати в какую ФС его лучше форматировать? в такую же как на сервере UFS2?) 2. Остановить первый винт соответсвующей командой контроллера 3ware. # tw_cli maint remove c0 p0. Удалять весь массив надеюсь сразу не нужно? 3. Вставить новый неразмеченныф 2Тб винт на место первого. 4. СДелать rebuild и дождаться его завершения. 5. Повторить пункты с 2го по 4ый для оставльных трех винтов. 6. Поймет ли RAID контроллер после того как вставлю четвертый винт (на этот момент они будут все одинакового размера), что можно увеличить размер массива с (4-1)*400 Gb до (4-1)*2000Gb? 7. Увеличить размер ФС.
И еще: то есть после того как командой отсоединили диск от массива, его можно сразу физически вынимать из корпуса? Как понять поддерживатся ли hot spare? это должно быть в спецификации корзинки для дисков?
Rebuild сам должен сделаться когда вставлю физически диск и сделаю rescan? или самому каждый раз делать? Извиняюсь за свои вопросы, но повторю раньше этого никогда не делал.
Желательно подробней напишите как проделать эту процедуру. В инете в основном теория написана. Какие могут быть подводные камни?
Конфигурация компьютера
Память: PC3-12800 2x4Gb
Видеокарта: Intel(R) Iris 5100
Ноутбук/нетбук: MacBook Pro MGX82RS/A
1. Забекапить все на внешний USB-винт (собираюсь купить для бекапов USB-HDD 3 TB с интерфейсом USB 3.0 и контроллер USB 3.0, кстати в какую ФС его лучше форматировать? в такую же как на сервере UFS2?) 2. Остановить первый винт соответсвующей командой контроллера 3ware. # tw_cli maint remove c0 p0. Удалять весь массив надеюсь сразу не нужно? 3. Вставить новый неразмеченныф 2Тб винт на место первого. 4. СДелать rebuild и дождаться его завершения. 5. Повторить пункты с 2го по 4ый для оставльных трех винтов. 6. Поймет ли RAID контроллер после того как вставлю четвертый винт (на этот момент они будут все одинакового размера), что можно увеличить размер массива с (4-1)*400 Gb до (4-1)*2000Gb? 7. Увеличить размер ФС. »
Не выйдет такой фокус. На каждом из 2Тбайтников будет использоваться только 400Гб, остальное пространство останется незадействованным и в итоге вы останетесь с массивом старого размера. Да и зачем вся эта катавасия, если будет сделан бекап?? Предлагаю такую последовательность действий: 1. Забекапить все на внешний USB-винт, остановив предварительно все сервисы, могущие писать на заменяемый массив, предупредив юзеров о простое. 1a. UPD (забыл, а это важно, иначе система завалится в панику на следующем этапе) Отмонтировать /data 2. Удалить массив при помощи утилиты менеджмента и снять старые диски. 3. Поставить новые диски и создать из них новый массив. 4. Создать на новом массиве таблицу разделов GPT (>2Тб ведь том теперь), сам раздел, отформатировать и смонтировать его. Не забыть отредактировать fstab. 5. Развернуть бекап с внешнего носителя на свежесозданный раздел. 6. Запустить сервисы, упомянутые в п.1 и дать отмашку юзерам.
Бекап и восстановление лучше всего делать при помощи dump/restore.
И еще: то есть после того как командой отсоединили диск от массива, его можно сразу физически вынимать из корпуса? Как понять поддерживатся ли hot spare? »
Последний раз редактировалось vadblm, 08-07-2011 в 12:42 .
Всем привет, очень рад, что вы снова зашли на мой IT блог. Сегодня я хочу рассказать поучительную историю, о том, как из-за невнимательности можно сильно попасть в не хорошую ситуацию из которой будет, очень сложно выйти без надлежащего опыта. Будет некий такой траблшутинг по восстановлению lsi raid массивов при замене вышедшего из строя диска. Думаю, что для людей, кто только знакомиться с избыточными массивами данных, будет очень полезно поучиться на чужом опыте.
Предыстория
В любом сервере рано или поздно начинают выходить из строя жесткие диски или ssd и преждевременная замена спасает вас от потери данных. Но при замене бывает такая вещь как человеческий фактор, который может все погубить.
И так есть сервер IBM с raid контроллером M5015 что в градации LSI 9260-8i. В lsi raid контроллере если диск начинает выходить из строя, то начинает срабатывать счетчик Pred Fail Count и диск следует менять. Как заказать замену диска у IBM я уже рассказывал, останавливать на этом не буду. Допустим диск вы получили и вам осталось его заменить, вы меняете его и обнаруживаете что вытащили не тот диск, что будет дальше.
А дальше все зависит от вида raid собранного у вас. У меня на lsi raid контроллере был raid 10. И когда мой коллега вытащил не тот диск, то с ним ничего не случилось, но если вы засуните на его место новый диск или опять тот же что вытащили, то рейд не восстановится. Новый диск будет видится как unconfigured good а старый как foreign, то есть потерянный.
Тут после возврата старого диска сразу нужно было выполнить процедуру описанную ниже и все бы восстановилось, но бывает что приходит мысль, поменять еще в данной ситуации выходящий из строя диск на новый, и вот тут LSi контроллер, дабы не потерять данные переводит локальные луны в offline, что выражается в остановке сервисов или частичной остановки, на данных дисках.
Восстановление lsi raid
Раз уж так произошло, то не спешите паниковать все еще можно восстановить. Первым делом когда вы вернули не правильно вытащенный диск обратно и он получил статус foreign, на нем осталась конфигурация и ее следует обратно импортировать. Делается это следующим образом. Вы должны были заранее установить утилиту MegaRAID Storage Manager (MSM), в моем случае она стоит на Vmware ESXI 5.5, но может быть и на Windows платформе. Заходим в нее и выбираем пункт Physical и выбираете raid контроллер.
Теперь открываем пункт Go to > Scan Foreign Configuration. Выполняем сканирование имеющихся конфигураций.
У вас появится окно с импортированием конфигурации.
Вас спросят действительно ли вы хотите это сделать жмем yes.
Если у вас не стоит MSM то вам придется перезагрузить хост и зайти в bios подобное меню. В котором будет приблизительно вот такое окно, где нужно так же импортировать конфигурацию.
После данной манипуляции ваши локальные lun перейдут в режим online и если вы до этого заменили сбойный диск на новый, то пойдет процедура rebuild. После чего raid перестроится и начнет нормальное функционирование.
Дополнение относительно SSD
Относительно SSD дисков, будьте осторожны, особенно если они в RAID-1, из практики могу привести случай, когда вылетевший диск, при возвращении его в строй, убил RAID массив и перезаписал рабочий SSD. В таких случаях, за место возвращения пропавшей конфигурации, по возможности вынимайте SSD и полностью с него удаляйте все разделы, проверяйте его на предмет ошибок и здоровья, и после этого возвращайте в RAID, чтобы начался автоматический ребилд.
