Давно уже работаю с серверами Supermicro, но почему-то ещё ни разу не устанавливал Windows на RAID массив, собранный на встроенном программном RAID контроллере чипа Intel.
Intel PCH: контроллеры AHCI и SCU
Linux без проблем определяет программные массивы, собранные на контроллере SATA или sSATA. Windows Server в этом плане снова отличился. Казалось бы, серверная система, предназначена для установки на сервера…
Сегодня ставлю Windows Server 2016 на сервер Supermicro на базе материнской платы X11DDW-NT. Эта материнская плата оснащена набором микросхем Intel C622. Этот контроллер способен объединять диски SATA3 (6 Gbps) в массивы RAID 0,1,5,10. Сколько диском можно объединять в массив — это нужно читать мануал, я встречался с ситуацией, когда в RAID10 нельзя было объединить более 4 дисков, странно, но факт.
При установке Windows видит обычные диски, а RAID массив видеть не хочет.
В этом случае действуем по простой схеме. Переходим на страничку материнской платы:
https://www.supermicro.com/en/products/motherboard/x11ddw-nt
И скачиваем последние драйвера и утилиты: Download the Latest Drivers and Utilities.
Выбираем операционную систему и тип драйвера. Для RAID контроллера понадобятся драйвера для чипсета.
Сейчас нужен драйвер Intel SATA. Но можно все скачать, после установки пригодятся. Распаковываем архив и создаём ISO образ с драйверами. Поможет в этом UltraISO:
UltraISO — создать ISO образ с файлами
Демонтируем инсталляционный образ Windows Server 2016 с сервера и монтируем новый образ с драйверами. Нажимаем Load Driver.
Драйвер RAID контроллера нашёлся. Next. Драйвер установится.
Обнаружен новый дисковый массив, на него и будем устанавливать Windows. Демонтируем ISO образ с драйверами и снова монтируем инсталляционный ISO образ Windows Server 2016. Refresh.
Становится доступна кнопка Next.
Дальше продолжаем установку как обычно, главную проблему мы решили.
Установка Windows Server 2016 на сервер Supermicro с контроллером MegaRAID 9460-8i
Сегодня будем разбирать, как производится установка Windows Server 2016 Std
на Supermicro X11DPU (Motherboard: SYS-6029U-TR4) + VROC RAID 1
из двух дисков M.2
, раз нет технической возможности использовать на текущий комплектующих ESXi 7
связку RAID 1 & RAID 10
. А после уже следующей заметкой разберем установку Hyper-V.
На заметку: через BIOS
для материнской платы проверяю, что во вкладке Boot
параметр Boot Mode select
стоит в значении UEFI.
Шаг №1:
Монтирую установочный образ SW_DVD9_Win_Server_STD_CORE_2016_64Bit_English_-4_DC_STD_MLF_X21-70526.ISO
и произвожу установку операционной системы на сервер Supermicro X11DPU (Motherboard: SYS-6029U-TR4)
Шаг №2:
Прохожу стандартные этапы ответов мастера:
Language to install: English (United States)
Time and currency format: English (United States)
Keyboard or input method: US
и нажимаю Next
а вообще не лишним будет нажать Shift + F10
откроется консоль командной строки и для всех дисков выполнить clean
нажимаю Install now
Select the operating system you want to install: выбираю "Windows Server 2016 Standard (Desktop Experience)"
и нажимаю Next
I accept the license terms: отмечаю галочкой
и нажимаю Next
Custom: Install Windows only (advanced): выбираю
как вижу, установщик Windows
не видит VROC RAID
массивы
нужно подгрузить соответствующие драйвера
С официального сайта по материнской плате скачиваю "https://www.supermicro.com/en/products/system/2u/6029/sys-6029u-tr4.cfm" - Drivers & Utilities
Select os Manufacturer: Microsoft
Select OS: Windows Server 2016
Select Device Type: All
и нажимаю "Submit"
, нахожу по описанию "Intel SATA"
и через Download
скачиваю архив ('https://www.supermicro.com/wdl/driver/SATA/Intel_PCH_RAID_RSTE/Windows/6.1.0.1247/Win.zip')
Description: Intel SATA
Version: 6.1.0.1247
Post Date: 12/22/2020
Распаковываю архив, устанавливаю на рабочую станцию приложение UltraISO
и указав каталог распаковки Win
сохраняю как iso
, это нужно чтобы через IPMI
подмонтировать еще один образ и уже на этапе выбора дисков нажать "Load driver" - Browse
и выбираем
привод (у меня это логический диск E:) - Win - VROC_6.1.0.1247_F6-drivers - VROC_f6_iaVROC_win8_64
и нажимаем ОК
, вижу, что теперь установщик Windows
видит контроллер RAID
Select the driver to install: выбираю Intel® Volume Management Device NVMe RAID Controller
и нажимаю Next
теперь вижу RAID
массивы
Drive 1 Unallocated Space: 849.5GB
Drive 2 Unallocated Space: 3398.1GB
выбираю Drive 1
и нажимаю Next
именно на него я буду устанавливать Windows Server 2016 Std
начинается процесс установки, но может так случится что процесс не начинается, и вы видите
Windows could not prepare the computer to boot into the phase of installation. To install Windows, restart the installation.
в этом случае, нажимаем ОК
, затем Shift + F10
X:\Sources\набираем diskpart
DISKPART> list disk
На заметку: С учетом того что подгрузили драйвер для VROC
видим RAID
массивы, т.е. они отображаются как диски в выводе команды list disk
и видим все диски с учетом подгруженного драйвера и переходим в каждый из них, как
DISKPART> select disk 0
и выполняем команду
DISKPART> clean
в ответ получаем DiskPart succeeded in cleaning the disk.
и выходим из консоли командной строки
DISKPART> exit
Leaving DiskPart…
X:\Sources> exit
и возвращаемся к мастеру установки операционной системы
Ожидаю…
Назначаю пароль на учетную запись Administrator
Password: 712mbddr@
и система установилась успешно
Т.к. я через консоль IPMI
подключен к серверу и произвожу установку то на экране нажимаю Ctrl + Shift + F6
(это эквивалентно нажатию Ctrl + Alt + Del
), после авторизуюсь
Смотрю какие драйвера на устройства мне нужно установить:
System Interrupt Controller
SM Bus Controller
Performance Counters
PCI Simple Communications Controller
PCI Memory Controller
PCI Device
PCI Data Acquisition and Signal Processing Controller
Base System Device
исходя из этого я также скачиваю, но уже все драйвера, закидываю в папку Server2016Drivers
и через UltraISO
формирую iso
файл которые также через IPMI
монтирую в систему для последующей установки драйверов из образа.
Когда драйвера установлены операционная система Windows
видит RAID1 & RAID10
На заметку: Отправив систему в перезагрузку, проверяю что все драйвера на устройства установлены и делаю себе экспорт всех установленных драйверов в папку, командой:
Win + X - Command Prompt (Admin)
if not exist c:\drivers mkdir c:\drivers
powershell -command "export-windowsdriver -online -destination c:\drivers"
Итого, как вижу, что Windows
может работать с VROC RAID
, хоть так, значит будут использовать виртуализацию на базе Hyper-V.
На этом заметка завершена, с уважением автор блога Олло Александр aka ekzorchik.
windows:server:2019:supermicro:x11dpl-i:ipmi:remote_installation
Содержание
Дааавно я новые севера не приобретал, давно… Столько воды утекло, а там ничего по сути не изменилось, кроме обновленного, точнее сказать, сетевого, BMC и отсутствии поддержки скоростей ниже 1 гигабита1). Мда, прогресс стоит. Стоит давно и прочно. Увы.
Но наличие технологии IPMI, все же, порадовало, т.к. сейчас стоит задача обновления серверного парка в небольшой компании, где я бываю редко, а реагировать на сбои хочется наиболее оперативно. В этом ключе я размышлял над приобретением IP KVM, взамен обычному, но что-то подходящие стоят много, да и не приглянулось мне ничего… А тут! А тут такая радость!
Установив сервер в стойку, подключив сеть и питание, я со спокойной душой ушел домой – в натуральном виде тестировать новые для меня возможности и горизонты…
Заковырки начались еще на стадии настройки BIOS, в контексте RAID—UEFI—ISO – сначала я не мог взять в толк, куда подевались настройки RAID‘a, потом долго тыкался туда-сюда пытаясь заставить систему все видеть так, как я хочу, а потом… потом настал черед установки Windows Server…
Ладно, обо всем по порядку в виде инструкции.
Подготовка драйверов
-
Скачать сайта Supermicro последнюю версию драйвера «Intel SATA»2);
-
распаковать из архива «Win.zip» папку «VROC_X.X.X.XXXX_XX-drivers»;
-
содержимое упаковать любым способом в ISO-образ3).
Основные действия
Настройку IPMI я, пожалуй, опущу, т.к. в базовом варианте она состоит только в подключении сетевого интерфейса и нахождении на корпусе или материнской плате наклейки с паролём4).
Подключение к BMC
-
Скачать и установить Java-машину, если таковой еще нет;
-
подключиться браузером к web-интерфейсу BMC-модуля5) и авторизоваться;
-
перейти «Remote Control → Console Redirection» и нажать «Launch Console»;
-
запустить скачанный файл «launch.jnlp», подключившись к «Java iKVM Viewer»6).
Монтирование образов
Этот способ прекрасно работает при подключении к рабочей сети по VPN через Интернет7), хотя установка и занимает достаточно значительное время.
-
Открыть окно виртуальных хранилищ, перейдя в «Virtual Media → Virtual Storage»
;
-
на закладке «Device1» в списке «Logical for Device1» выбрать «ISO File»;
-
нажать «Open Image», выбрать дистрибутив Windows Server9) и нажать «Plug in»;
-
на закладке «Device2» повторить действия 2 и 3 для образа с драйверами.
В этом самом месте я провел достаточно много лишнего времени, т.к. пытался подключить ISO-образ системы и образ дискеты с драйверами, лежащие на сетевом ресурсе в офисе, через web-интерфейс в разделе «Virtual Media → Floppy Disk/CD—ROM Image» – это по какой-то причине не работает! При таком способе подключения образ системы как-то не так монтируется и загрузиться с него в UEFI режиме невозможно, также, как и с образом дискеты происходит что-то не менее непонятное.
Настройка UEFI-BIOS
-
Войти в «Aptio Setup Utility»10), т.е. BIOS;
-
на закладке «Advanced» открыть раздел «PCH SATA Configuration»;
-
параметр «Configure SATA as» установить в значение «RAID»;
-
параметр «SATA RAID Option ROM/UEFI Driver»11) в значение «EFI»;
-
для всех дисков, если надо, установить параметр «SATA Device Type» в «Solid State Drive»;
-
выйти из текущего раздела, зайти в раздел «Intel(R) VOC SATA Controller» и создать нужные массивы12);
-
перейти на закладку «Boot»;
-
установить параметр «Boot mode select» в значение «UEFI»;
-
проверить, чтобы параметр «LEGACY to EFI support» был «Disable»;
-
установить «Boot Option #1» в значение «UEFI USB CD/DVD:UEFI: ATEN Virtual CDROM YSOJ»;
-
установить «Boot Option #2» в «UEFI Hard Disk»;
-
остальные режимы загрузки от греха подальше отключить;
-
перейти на закладку «Save & Exit» и нажать «Save Changes and Reset».
Установка Windows
При таких настройках установка системы в режиме UEFI проходит как обычно. Естественно, в окне «Где вы ходите установить Windows?» нужно нажать «Загрузить → Обзор → CD-дисковод «VROC», выбрать папку «VROC_XX_iaStorE_win8_64», нажать «Ок» и «Далее».
Теперь, как говорится, можно «откинуться на спинку кресла и отдохнуть»13)… особенно, если вы дома, сервер в офисе, а между вами непонятно какой Интернет!
Безопасная загрузка
Не знаю, почему, но в моем случае, пришлось несколько заморочиться, чтобы включить «Secure Boot»…
-
Еще раз войти в «Aptio Setup Utility»;
-
на закладке «Security» перейти в раздел «Secure Boot»;
-
параметр «Secure Boot Mode» установить в «Custom»;
-
параметр «CSM Support» в «Disabled»;
-
перейти в подраздел «Key Management»;
-
установить параметр «Provision Factory Defaults» в «Enabled»;
-
установить «Restore Factory Keys» в «Yes»14);
-
вернуться в раздел «Secure Boot»;
-
установить «Secure Boot Mode» в значение «Standard»;
-
и, наконец-то, включить «Secure Boot», установив в значение «Enabled».
Помимо этого, желательно установить пароль «Administrator Password» и переключить «Password Check» в значение «Setup». Все, можно идти на закладку «Save & Exit» и нажимать «Save Changes and Reset».
Дисклеймер
-
Использование материалов данной базы знаний разрешено на условиях лицензии, указанной внизу каждой страницы! При использовании материалов активная гиперссылка на соответствующую страницу данной базы знаний обязательна!
-
Автор не несет и не может нести какую либо ответственность за последствия использования материалов, размещенных в данной базе знаний. Все материалы предоставляются по принципу «как есть». Используйте их исключительно на свой страх и риск.
-
Все высказывания, мысли или идеи автора, размещенные в материалах данной базе знаний, являются исключительно его личным субъективным мнением и могут не совпадать с мнением читателей!
-
При размещении ссылок в данной базе знаний на интернет-страницы третьих лиц автор не несет ответственности за их техническую функциональность (особенно отсутствие вирусов) и содержание! При обнаружении таких ссылок, можно и желательно сообщить о них в комментариях к соответствующей статье.
Последнее изменение: 2022/02/12 11:40 (внешнее изменение)
Доброго времени суток. 2 дня бьюсь с рейдом.
Есть сервер supermicro на базе вот такой материнки: https://goo.gl/FPYDFR
Есть 2 hdd по 4тб каждый.
Есть 2 винды из заголовка.
Задача: 1. разделить RAID1 на 250гб(под систему)+всё остальное под файловую помойку.
2. Поставить винду на этот 250гб раздел.
Что я делаю:
Создаю рейд1, загружаюсь в установку винды, diskpart->select disk 0
convert gpt
create partition primary size=256000
create partition primary #на всё остальное место
Ошибка — windows нельзя установить в раздел GPT.
Или
diskpart->select disk 0
convert gpt
Ставлю любую винду, и уже в ней не могу увидеть больше 2Тб, т.к. раздел диск не динамический, а преобразовать не могу.
И еще маленький вопрос — где-то в сети есть сравнение ntfs прав для 2008r2 и 2012r2?
Спасибо.
После мучительных проб и ошибок круг сузился до материнской платы.
Supermicro: Intel Rapid Storage — настройка RAID для Legacy и UEFI
Во многих материнках Supermicro есть встроенный софтварный RAID контроллер. Для входя в управление нужно при загрузке нажать Ctrl+I. Но есть ньюанс — управлялка работает только в режиме Legacy. Legacy не поддерживает разделы более 2 Тб, как быть? Расскажу как настроить RAID и для Legacy и в UEFI.
Если вы не планируете разделов более 2 Тб, не заморачивайтесь и настройте загрузку в Legacy.
Legacy
При загрузке жмём DEL и попадаем в BIOS.
В разделе Boot меняем Boot Mode Select на Legacy:
В разделе Advanced выполняем SATA Configuration, Configure SATA as RAID:
Появляются дополнительные пункты настройки. Оставляем SATA RAID Option ROM/UEFI Driver как Legacy:
SATA/sSATA RAID Boot Select меняем на SATA Controller:
Перезагружаем сервер, при загрузке жмём Ctrl+I, попадаем в раздел конфигурации Intel Rapid Storage Technology:
Создаём RAID. Я объединяю 4 диска в RAID0:
Перезагружаемся, снова входим в BIOS. В разделе Boot в FIXED BOOT ORDER Priorities появляется возможность выбрать Hard Disk:Intel RAID0 — наш новый массив:
Можно пользоваться. Однако, если вы, вдруг, попытаетесь поставить Oracle Linux, то в инсталляторе не сможете создать раздел более 2 Тб. Что делать?
Итак, для перехода в UEFi внесём в предыдущую инструкцию некоторые изменения.
Выполняем все инструкции для Legacy и снова загружаемся в BIOS (Продвинутые могут смерджить инструкции и сократить количество перезагрузок). Вносим изменения в Advanced > SATA Configuration. Меняем SATA RAID Option ROM/UEFI Driver на EFI:
В Boot > Boot Mode Select ставим DUAL. Можно, наверное, и просто UEFI, но тогда при перезагрузке не сможете попадать в раздел конфигурирования контроллера:
FIXED BOOT ORDER Priorities становится значительно больше. Двигаем все пункты с EFI вверх.
Теперь можно загружать инсталлятор Oracle Linux в режиме UEFI, он нормально видит RAID и может создать раздел более 2 Тб.
Ура, товарищи! Да здравствует то, во имя чего мы все приложили усилия!
IPMI: настройка и удаленное управление серверами Supermicro
Не так давно, мне удалось поработать с новыми для меня серверами Supermicro удаленное управление которыми осуществляется с помощью интерфейса IPMI. В данной статье я постараюсь раскрыть основные моменты в настройки IPMI на серверах Supermciro, покажу основные пункты меню интерфейса IPMI, а также расскажу о дополнительных утилитах, командах и способах мониторинга сервера с помощью ipmi.
Первичная настройка IPMI консоли и знакомство с интерфейсом
Настройка IPMI начинается с настройки IP адреса интерфейса, который нужно указать в BIOS. Если сервер установлен в офисе, это может быть серый IP-адрес, если же ваше оборудование размещается в ДатаЦентре, то наверняка вы используете белый статический IP-адрес.
На серверах Supermicro в BIOS можно попасть, нажав кнопку “Del” при загрузке сервера, я не буду заострять на этом внимание и сразу перейду к интерфейсу самого BIOS.
Как видите на скриншоте, я вошел в пункт меню IPMI и активировал возможность конфигурации Lan для интерфейса (Update IPMI Lan Configuration=Yes, Configuration Address Source = Static), указал IP-адрес, маску подсети и основной шлюз.
Применить настройки можно нажав кнопку F4, после чего произойдет перезагрузка сервера.
Если вы все сделали правильно, то введя в браузере, указанный для интерфейса IPMI IP, у вас откроется авторизация:
Теперь пройдем по основным моментам.
При покупке нового сервера, в IPMI уже создан пользователь ADMIN с паролем ADMIN, именно с этими данными мы и авторизуемся. Я всегда рекомендую создавать нового пользователя, а стандартного удалять или менять у него пароль, так оставлять такой логин и пароль, крайне небезопасно. Создать нового пользователя или поменять пароли/привилегии у текущих, можно в меню Configuration -> Users.
Рестарт интерфейса IPMI можно сделать из меню Maintenance -> Unit Reset.
Монтирование iso образа ОС для установки на сервер выполняется в меню Virtual Media -> CD-ROM Image.
У меня iso образы ОС хранятся на сервере Samba в той же подсети что и интерфейсы IPMI серверов. Я указываю адрес сервера Samba, путь к образу установочному ISO с ОС, после чего монтирую ISO образ и приступаю к установке операционной системы.
Удаленную графическую Java консоль сервера (KVM-over-IP) можно открыть через Remote Control -> Console Redirection.
Консоль в целом удобная, но после установки ОС, для работы с сервером я обычно использую ssh клиенты. Иногда есть моменты когда, это невозможно, например если у вас не работает или еще не настроена сеть на сервере или же имеются какие-то проблемы с доступом. Именно тогда на помощь и приходит Remote Console.
Никаких отдельных настроек в самой консоли делать не нужно, хочу лишь добавить, что она имеет встроенную клавиатуру, которую можно вызывать из меню Virtual Media -> Virtual Keyboard.
grubby —args «nomodeset» —update-kernel /boot/vmlinuz-`uname -r`
После этого, Remote Console работает исправно.
Управление сервером через утилиту IPMICFG от SuperMicro
Для управления серверами через IPMI компания SuperMicro разрабатывает собственную утилиту IPMICFG.
Скачать файл IPMICFG можно с помощью команды:
На момент публикации файл был с таким названием, я рекомендую заходить на репозиторий SuperMicro по ссылке ftp://ftp.supermicro.com/utility/IPMICFG/ и копировать url актуального файла.
Распакуем скачанный файл в директорию которой находимся:
Далее создаем символическую ссылку для удобства запуска утилиты:
ln -s /root/IPMI*/Linux/64bit/IPMICFG-Linux.x86_64 /usr/local/sbin/ipmicfg
Теперь мы можем запускать утилиту с помощью команды ipmicfg (символической ссылки). Рассмотрим базовые возможности утилиты ipmicfg.
Если выполнить команду ipmicfg -help мы получим список всех возможных параметров утилиты.
Разберем основные команды:
- ipmicfg -help – полная справка по утилите;
- ipmicfg -m – просмотр текущего IP и mac-адреса для IPMI;
- ipmicfg -k — просмотр маски подсети;
- ipmicfg -g – просмотр заданного шлюза;
- ipmicfg -fd — сброс IPMI к заводским настройкам;
- ipmicfg -user list – просмотр созданных пользователей и их привилегий.
Вы можете изменить IP адрес, маску и шлюз интерфейса IPMI:
- ipmicfg -m 192.168.1.200
- ipmicfg -k 255.255.255.0
- ipmicfg -g 192.168.1.1
Создать нового пользователя IPMI и его пароль:
ipmicfg -user add
С помощью утилиты делаем следующее:
ipmicfg -user add 6 test 123456 4
Тем самым мы создали пользователя test с паролем 123456 и привилегиями администратора.
Список пользователей IPMI и их привилегии в системе можно вывести командами:
- ipmicfg -user list
- ipmicfg -user help
Как уже видите на скриншоте, пользователь test создан.
Чтобы изменит (сбросить) пароль пользователя IPMI, исползайте команду:
ipmicfg -user setpwd
И приведу еще пару примеров использование данной утилиты:
- ipmicfg -hostname [value] — задать hostname для ipmi интерфейса;
- ipmicfg -r — перезагрузка IPMI.
Мониторинг железа на сервере SuperMicro через IPMI и утилиту IPMICFG
Мониторинг сервера SuperMicro через IPMI
Через IPMI мониторить температуру и работу железа сервера SuperMicro довольно просто. Полная информация о железе сервера содержится в пункте System -> Hardware Information.
Информацию по состоянию процессора, оперативной памяти и вентиляторах, можно посмотреть перейдя во вкладку Server Health -> Sensor Readings.
Для удобства просмотра, можно менять категории отображения датчиков, например, температуры:
Или датчики напряжения:
Так как в данный момент на нашем сервере нет проблем, ни с температурой, ни с напряжением, все датчики находятся в зеленой зоне. Если на сервере поднимается температура или есть проблемы с напряжением, зеленые прямоугольники будут окрашиваться в красный цвет, что послужит сигналом для проверки вашего сервера.
Мониторинг с помощью утилиты ipmicfg
Проверка состояния блоков питания:
Посмотреть температуру процессора можно командой:
ipmicfg -nm oemgettemp
Так же можно проверить в каком режиме работают вентиляторы и изменить режим, если это необходимо.
Проверка состояния и конфигурации вентилятора
Изменение режима работы кулера: ipmicfg -fan Например, ipmicfg -fan 3
Информация о версии и прошивке IPMI:
]# ipmicfg -nm deviceid
И посмотреть все сенсоры можно командой ipmicfg -sdr
При выводе мы видим, что есть дополнительные столбцы, в которых отображена информация о лимитах нижнего и верхнего пределов.
Так же существует еще не малое количество утилит, которые можно использовать для мониторинга и автоматизировать этот процесс, например, с nagios. В данный момент заострять на этом внимание мы не будем, так как цель статьи рассказать основные моменты в работе с IPMI. Если вас заинтересует тема мониторинга, вы можете оставить свои пожелания и возможно в дальнейшем мы осветим и эту тему. Надеюсь, данная статья окажется для вас полезной!