Instalacja iDRAC Service Module i racadm na Proxmox VE 9 (Debian 13)

Serwer Dell PowerEdge dużo wie o sobie: temperatury, zasilacze, dyski, dziennik zdarzeń. Kontroler iDRAC nie wie jednak nic o systemie, który na nim pracuje. Nie zna nazwy hosta, wersji systemu ani jądra, a jego dziennik nie trafia do systemu. Tę lukę zamyka iDRAC Service Module (iSM): mała usługa w systemie, która rozmawia z iDRAC-iem przez wewnętrzny interfejs USB.

Proxmox VE 9 stoi na Debianie 13 (trixie), a dla niego Dell modułu nie wydaje. Ta instrukcja pokazuje, jak zainstalować iSM i lokalny racadm na Proxmox VE 9 i jak sprawdzić, że naprawdę działają.

Opiera się na wpisie „Install Dell iDRAC racadm on Proxmox 7” z blog.williamdes.eu (Proxmox 7 i 8; adres w źródłach na końcu). Różni się od niego w trzech miejscach: repozytoria Della przez HTTPS, klucz wskazany przez signed-by i libssl1.1 z poprawkami bezpieczeństwa Debiana 11.

Wszystko poniżej wykonujesz jako root na hoście Proxmox.

W skrócie: co nie działa i dlaczego

Dell wydaje iSM dla Windows, RHEL, SLES, Ubuntu i ESXi, a do tego wersje dla Debiana 11, wspierane tylko przez społeczność. Dla Debiana 12 i 13 nie ma żadnej.

iSM 4.1.0.0 ze strony sterowników R330 to pakiet .deb dla Ubuntu 20.04. Instaluje się, ale usługa nie startuje: demon i wszystkie biblioteki wymagają libssl.so.1.1 i libcrypto.so.1.1, a Debian 13 ich nie ma. Działa iSM 5.1.0.0 z repozytorium Della przez https:// z przypiętą libssl1.1 z Debiana 11: łączy się z iDRAC-iem, a iDRAC widzi system. To wariant A, główna droga tej instrukcji. iSM 5.4 korzysta z OpenSSL 3, które Debian 13 ma, ale na iDRAC8 nie był sprawdzony (wariant B).

Krok 1: klucz Della

Pakiety Della są podpisane kluczem o ID 0x1285491434D8786F. Pobierz go ze strony Della i zapisz tak, żeby apt ufał mu tylko przy repozytoriach Della:

curl -fsS https://linux.dell.com/repo/pgp_pubkeys/0x1285491434D8786F.asc \
  | gpg --dearmor > /usr/share/keyrings/dell-openmanage.gpg

gpg --show-keys --with-fingerprint /usr/share/keyrings/dell-openmanage.gpg

Sprawdź odcisk klucza:

pub   rsa4096 2012-03-02 [SC]
      4255 0ABD 1E80 D7C1 BC0B  AD85 1285 4914 34D8 786F
uid   Dell Inc., PGRE 2012 (PG Release Engineering Build Group 2012) <[email protected]>

Odcisk musi się zgadzać co do znaku. Klucz nie ma daty ważności i nadal podpisuje repozytoria OpenManage i iSM. Trafia do /usr/share/keyrings/, a wskazuje go signed-by przy każdym repozytorium Della. W /etc/apt/trusted.gpg.d/ byłby zaufany dla wszystkich repozytoriów w systemie, a apt w Debianie 13 uznaje ten katalog za przestarzały.

Krok 2: repozytoria Della przez HTTPS

racadm i iSM przychodzą z dwóch repozytoriów Della:

cat > /etc/apt/sources.list.d/linux.dell.com.list <<'EOF'
deb [signed-by=/usr/share/keyrings/dell-openmanage.gpg] https://linux.dell.com/repo/community/openmanage/11000/jammy jammy main
deb [signed-by=/usr/share/keyrings/dell-openmanage.gpg] https://linux.dell.com/repo/community/openmanage/iSM/5100/bullseye bullseye main
EOF

• openmanage/11000/jammy daje racadm (srvadmin-idracadm8).
• openmanage/iSM/5100/bullseye daje iSM 5.1 zbudowany dla Debiana 11.

Oba adresy zaczynają się od https://. Wpis, na którym opiera się instrukcja, i strona repozytoriów Della podają http://, a linux.dell.com nie przyjmuje już połączeń na porcie 80. Z http:// dostaniesz:

Err:7 http://linux.dell.com/repo/community/openmanage/11000/jammy jammy InRelease
  Could not connect to linux.dell.com:80 (143.166.49.14). - connect (111: Connection refused)

Krok 3: libssl1.1 z Debiana 11, i tylko ona

iSM 5.1 potrzebuje OpenSSL 1.1. Debian 13 go nie ma, Debian 11 (bullseye) tak. Dodaj bullseye i jego archiwum bezpieczeństwa, ale przypnij oba tak, żeby apt nie wziął stamtąd nic poza libssl1.1:

cat > /etc/apt/sources.list.d/debian-bullseye-libssl.list <<'EOF'
deb http://deb.debian.org/debian bullseye main
deb http://security.debian.org/debian-security bullseye-security main
EOF

cat > /etc/apt/preferences.d/bullseye <<'EOF'
Package: *
Pin: release n=bullseye, o=Debian
Pin-Priority: -1

Package: libssl1.1
Pin: release n=bullseye, o=Debian
Pin-Priority: 500

Package: *
Pin: release n=bullseye-security
Pin-Priority: -1

Package: libssl1.1
Pin: release n=bullseye-security
Pin-Priority: 500
EOF

Priorytet -1 sprawia, że żaden pakiet z bullseye nie zostanie zainstalowany. Wpis dla libssl1.1 robi wyjątek tylko dla tej biblioteki; bez niego apt install libssl1.1 też by odmówił. Wpis n=bullseye nie obejmuje bullseye-security, dlatego oba wpisy stoją drugi raz dla archiwum bezpieczeństwa. Bez nich całe bullseye-security miałoby zwykły priorytet.

W bullseye main jest libssl1.1 w wersji 1.1.1w-0+deb11u1, w bullseye-security w wersji 1.1.1w-0+deb11u8: ten sam pakiet, siedem aktualizacji bezpieczeństwa później. Przy dwóch źródłach apt weźmie nowszą. Sprawdzone środowisko miało jeszcze kopię z bullseye main, deb11u1.

Krok 4: instalacja

Najpierw próba na sucho: pokazuje, co apt chce zainstalować, i niczego nie zmienia.

apt update
apt-get -s install libssl1.1 srvadmin-idracadm8 dcism   # najpierw próba na sucho
apt install libssl1.1 srvadmin-idracadm8 dcism

Próba na sucho powinna pokazać siedem pakietów i nic więcej:

Inst srvadmin-hapi (11.0.0.0 OpenManage:linux.dell.com [amd64])
Inst libargtable2-0 (13-4 Debian:13.7/stable [amd64])
Inst srvadmin-idracadm7 (11.0.0.0 OpenManage:linux.dell.com [all])
Inst srvadmin-idracadm8 (11.0.0.0 OpenManage:linux.dell.com [amd64])
Inst dcism-osc (7.1.0.0 OpenManage:linux.dell.com [amd64])
Inst dcism (5.1.0.0-3036.debian11 OpenManage:linux.dell.com [amd64])
Inst libssl1.1 (1.1.1w-0+deb11u8 …)

W sprawdzonym środowisku ostatni wiersz pokazywał 1.1.1w-0+deb11u1 z bullseye main; z wpisami z kroku 3 ma stać 1.1.1w-0+deb11u8. Jeśli pojawi się E:, broken albo inny pakiet z bullseye, przerwij i nie instaluj.

Krok 5: sprawdź, czy niczego nie brakuje

Pętla przechodzi po programach i bibliotekach iSM i szuka zależności, których system nie znajduje:

for f in /opt/dell/srvadmin/iSM/bin/* /opt/dell/srvadmin/iSM/sbin/* /opt/dell/srvadmin/iSM/lib64/*.so*; do
  file "$f" | grep -q ELF || continue
  ldd "$f" | grep 'not found' && echo "  ^ $f"
done

Pusty wynik oznacza, że wszystkie biblioteki są na miejscu. Każdy brak pętla wypisuje razem z nazwą pliku, który go zgłosił.

Krok 6: uruchom i sprawdź skutkiem

Włącz usługę i zajrzyj do jej dziennika:

systemctl enable --now dcismeng
journalctl -u dcismeng -n 5

dsm_ism_srvmgrd: ISM0000 ... The iDRAC Service Module is started on the operating system (OS) of server.
dsm_ism_srvmgrd: ISM0047 ... The iDRAC Service Module (iSM) successfully connected with iDRAC using IPv4 protocol.
dsm_ism_srvmgrd: ISM0004 ... The iDRAC Service Module has successfully started communication with iDRAC.

Komunikat w dzienniku to jeszcze nie dowód. Dowodem jest to, co widzi iDRAC:

racadm get iDRAC.ServiceModule

#ServiceModuleState=Running
#ServiceModuleVersion=5.1.0.0
OSInfo=Enabled
LCLReplication=Enabled
iDRACHardReset=Enabled

racadm getsysinfo -s

Host Name               = pve.example.lan
OS Name                 = Debian GNU/Linux 13 (trixie)
OS Version              = 13 (trixie) Kernel 7.0.14-25-pve (x86_64)

Nazwę hosta, system i jądro iDRAC może znać tylko od iSM (albo od OpenManage Server Administrator, OMSA, którego Dell wycofuje). Jeśli je widzisz, integracja działa. Nazwa hosta w przykładzie jest zmyślona.

Opcji -s nie ma w przewodniku RACADM dla iDRAC8. Zadziałała z racadm 11.0 na iDRAC8 2.86; jeśli u Ciebie nie działa, uruchom samo racadm getsysinfo. Gdy racadm zaraz po starcie modułu zwraca błąd, zobacz pierwszą pułapkę.

Krok 7: upewnij się, że przypięcie trzyma

Po instalacji i przy każdej aktualizacji Proxmoxa sprawdź, że z bullseye weszła tylko libssl1.1:

apt-get -s dist-upgrade | grep -E '^Inst' | grep -E 'Debian(-Security)?:11[./]'   # pusto = nic z Debiana 11
apt-cache policy libssl1.1                                     # skąd pochodzi
dpkg -l | awk '/^ii/ && /deb11/ {print $2, $3}'                # tylko libssl1.1

Pierwsze polecenie ma nic nie wypisać: apt nie chce zainstalować niczego z Debiana 11. Wiersze Inst nie podają nazwy bullseye, tylko pochodzenie i numer wydania, na przykład Debian:11.11/oldoldstable, dlatego polecenie szuka Debian:11 i Debian-Security:11. Drugie pokazuje, z którego wydania pochodzi zainstalowana libssl1.1: ma to być bullseye-security. Trzecie ma wypisać tylko libssl1.1.

Wariant B: iSM 5.4, niesprawdzony na iDRAC8

Dell ma też iSM 5.4 zbudowany dla Ubuntu 24.04 (iSM/5400/noble). Jego programy korzystają z OpenSSL 3, które Debian 13 ma, więc ten wariant nie potrzebuje libssl1.1 ani bullseye.

Wariant B nie był sprawdzony na iDRAC8 ani na żadnym serwerze 13. generacji. Dell wymienia iSM 5.4 dla serwerów 14.–16. generacji, tak samo jak 5.1, który w sprawdzonym środowisku działa. Jeśli kroki 5 i 6 nie pokażą działającego modułu, wróć do wariantu A.

Wykonaj to zamiast kroków 2–4 i 7. Klucz z kroku 1 zostaje ten sam, a jeśli wariant A jest już zainstalowany, najpierw go cofnij (część „Jak to cofnąć”).

cat > /etc/apt/sources.list.d/linux.dell.com.list <<'EOF'
deb [signed-by=/usr/share/keyrings/dell-openmanage.gpg] https://linux.dell.com/repo/community/openmanage/11100/jammy jammy main
deb [signed-by=/usr/share/keyrings/dell-openmanage.gpg] https://linux.dell.com/repo/community/openmanage/iSM/5400/noble noble main
EOF
apt update
apt-get -s install srvadmin-idracadm8 dcism libcurl3t64-gnutls
apt install srvadmin-idracadm8 dcism libcurl3t64-gnutls

libcurl3t64-gnutls trzeba podać ręcznie: programy iSM 5.4 potrzebują libcurl-gnutls.so.4, a pakiet deklaruje tylko libcurl4t64. Repozytorium 11100/jammy daje nowszy racadm 11.1. Wyniku próby na sucho tu nie podajemy, bo tego wariantu nie sprawdzono; jeśli pojawi się E: albo broken, nie instaluj. Potem wykonaj kroki 5 i 6: to one rozstrzygają, czy moduł działa.

iSM 6.1 (iSM/6100/noble) też korzysta z OpenSSL 3, ale Dell wspiera go tylko na serwerach 15.–17. generacji. Na tym serwerze go nie instaluj.

Pułapki

Node busy zaraz po starcie iSM. Przez kilka minut po pierwszym uruchomieniu iSM przekazuje iDRAC-owi pełny spis sprzętu i systemu. W tym czasie racadm i ipmitool mogą odpowiadać:

ERROR: Unable to perform requested operation
Get Device ID command failed: 0xc0 Node busy

0xc0 to standardowy kod IPMI „węzeł zajęty”. Odczekaj 3–5 minut, zanim zaczniesz szukać przyczyny.

iSM ze strony sterowników to nie ta wersja. Strona sterowników serwera 13. generacji oferuje iSM 4.x. Na Debianie 13 nie ruszy bez OpenSSL 1.1. Wersja 5.1 z repozytorium działa na R330 z iDRAC8 2.86, choć tabele Della wymieniają 5.x dla serwerów 14.–16. generacji, a 4.x dla 13. generacji tylko ze wsparciem społeczności. Sprawdzone, nie obiecane: zawsze weryfikuj krokiem 6.

OpenSSL 1.1 nie dostaje już poprawek. libssl1.1 z Debiana 11 to OpenSSL 1.1.1. Jego autorzy zakończyli wsparcie we wrześniu 2023 r., a Debian łatał go do końca wsparcia Debiana 11, 31.08.2026. Od tego dnia nie dostaje żadnych poprawek. Tu używa go demon działający jako root. To świadomy kompromis: pakiet jest jeden, przypięty, a iSM rozmawia tylko z lokalnym iDRAC-iem. Wpisz go na listę rzeczy do przejrzenia przy każdej aktualizacji Proxmoxa; wariant B obywa się bez niego, ale na iDRAC8 nie był sprawdzony. Debian może później przenieść bullseye do archive.debian.org. Wtedy wpisy źródeł z kroku 3 trzeba zmienić.

Nie dodawaj repozytorium Ubuntu jako źródła systemu. Starsze instalacje miały w sources.list repozytorium OpenManage dla Ubuntu 18.04 i niezapięty bullseye. To prosta droga do mieszanki pakietów przy następnym apt upgrade.

Jak to cofnąć

Te polecenia wyłączają i usuwają moduł, racadm i libssl1.1, oba pliki źródeł, przypięcie i klucz:

systemctl disable --now dcismeng
apt purge dcism dcism-osc srvadmin-idracadm8 srvadmin-idracadm7 srvadmin-hapi libssl1.1
rm /etc/apt/sources.list.d/linux.dell.com.list \
   /etc/apt/sources.list.d/debian-bullseye-libssl.list \
   /etc/apt/preferences.d/bullseye \
   /usr/share/keyrings/dell-openmanage.gpg
apt update

Plik źródeł z kroku 3 zawiera też bullseye-security, a plik przypięcia jego dwa wpisy, więc znikają razem z nimi. Po wariancie B usuń tylko te z wymienionych pakietów, które są zainstalowane (bez libssl1.1), oraz plik linux.dell.com.list i klucz: apt przerywa całe polecenie, gdy nie zna jednego z pakietów.

Co jeszcze poprawia współpracę z iDRAC-iem

Moduł to jedna z czterech dróg między hostem a iDRAC-iem. Każdą da się zepsuć i każdą da się poprawić. Sprawdzone znaczy niżej: zmierzone w środowisku opisanym na początku. Zalecenie to dobra praktyka, której na tym sprzęcie nie sprawdzano.

Kolejność, która zadziałała

1. Adresy: host i iDRAC rozpoznane, stałe.
2. Macierze w iDRAC-u: RAID 1 dla systemu, potem RAID 10 dla danych, jedna po drugiej.
3. Proxmox z ISO 9.1 na RAID 1, ext4/LVM.
4. Aktualizacja do 9.2, restart, przegląd megaraid_sas, przypięcie jądra.
5. SSH tylko kluczem, fail2ban.
6. Macierz danych jako LVM-thin.
7. ipmitool: zapis i czyszczenie SEL, przegląd zdarzeń.
8. perccli: bateria, write-back, pamięć dysków wyłączona, BGI.
9. iSM i racadm z repozytoriów Della przez HTTPS, libssl1.1 z bullseye-security przypięta, sprawdzenie skutkiem.
10. Monitorowanie i alerty.

Adresy hosta i iDRAC-a

Sprawdzone. Host, iDRAC i maszyny wirtualne mogą dostać adresy z tej samej puli DHCP i łatwo je pomylić. W sprawdzonym środowisku jeden adres miał iDRAC, drugi host, a trzeci maszyna wirtualna z routerem, która odpowiadała na portach 443 i 8006, ale nie na 22. Godzina szukania, dlaczego nie działa SSH, poszła na złą maszynę.

Zalecenie. Rozpoznawaj je po dzierżawach: 50:9A:4C to jeden z prefiksów MAC Della, a iDRAC przedstawia się w DHCP klasą dostawcy iDRAC i ma domyślną nazwę idrac-<Service Tag>, jeśli nikt jej nie zmienił. Host i iDRAC mają mieć w sieci zarządzania adresy stałe, nie z DHCP.

Macierze na kontrolerze PERC

Sprawdzone. Usunięcie wszystkich wirtualnych dysków (VD) w iDRAC-u usuwa też dysk z systemem. Przebudowę macierzy danych zacznij od usunięcia tylko jej VD.

Sprawdzone. iDRAC trzymał w kolejce tylko jedną operację „utwórz VD”; druga zastąpiła pierwszą. Dokumentacja Della tego nie opisuje, więc twórz macierze po jednej: RAID 1 dla systemu, „Apply Now”, poczekaj, aż zadanie w kolejce zadań się skończy, i dopiero wtedy twórz drugi VD.

Zalecenie. Bez kolejki iDRAC-a VD utworzysz w narzędziach przy starcie serwera. Ctrl+R działa tylko w trybie startu BIOS; w trybie UEFI wejdź w F2 → Device Settings → kontroler PERC. F10 (Lifecycle Controller) działa w obu trybach.

Sprawdzone. Dyski z innego serwera kontroler pokazuje jako obce (foreign). Jeśli ich dane nie są potrzebne, wyczyść obcą konfigurację zamiast ją importować: import wnosi stary wirtualny dysk, zwykle zdegradowany. Czyszczenie usuwa zapis starej macierzy, więc dyski z danymi do zachowania importuj.

Sprawdzone. VD 0 to dysk startowy. Ustaw go jako urządzenie startowe kontrolera.

Zalecenie. Na sprzętowym RAID stawiaj ext4 albo LVM-thin. ZFS potrzebuje bezpośredniego dostępu do dysków: przełącz H730 w tryb HBA i oddaj dyski ZFS-owi. ZFS-u na wirtualnym dysku RAID nie stawiaj: Proxmox tego nie wspiera i ostrzega, że może się to skończyć utratą danych.

Sprawdzone. W instalatorze wybierz tylko dysk systemowy, a macierz danych dodaj potem jako LVM-thin:

pvcreate /dev/sdb && vgcreate vmdata /dev/sdb
lvcreate --type thin-pool -l 98%FREE --poolmetadatasize 2G -n vmdata vmdata
pvesm add lvmthin vmdata --vgname vmdata --thinpool vmdata --content images,rootdir

/dev/sdb to macierz danych w sprawdzonym środowisku; sprawdź, jak nazywa się u Ciebie. Pula dostała tam --poolmetadatasize 16G, a to górna granica metadanych puli. Dokumentacja lvmthin zaleca start od 1 GiB, a metadane da się później powiększyć, dlatego tu stoi 2G.

Zalecenie. Po instalacji sprawdź, które karty sieciowe stoją w mostku vmbr0 (w ustawieniach sieci węzła albo w /etc/network/interfaces), i zostaw w nim tylko podłączoną. Mostek ma wyłączone STP (bridge-stp off, zwykłe ustawienie Proxmoxa), więc dwa jego porty podłączone do jednego przełącznika tworzą pętlę. Instalator 9.1 pozwala też przypiąć nazwy kart (nic1, nic2 i dalej).

Jądro i sterownik kontrolera

Sprawdzone. PERC H730 korzysta ze sterownika megaraid_sas. Według znanych problemów Proxmox VE 9.2 jądro 7.0.2-6 z instalatora ISO ma kłopoty z tym sterownikiem, a poprawka jest w jądrze 7.0.14-15. Proxmox zaleca instalację z ISO 9.1 i potem aktualizację do 9.2. Tak powstało sprawdzone środowisko.

Zalecenie. Przed instalacją z ISO 9.1 przeczytaj jego znane problemy: jeden dotyczy startu jądra 6.17 na niektórych serwerach Dell PowerEdge.

Sprawdzone. Po aktualizacji: restart, przegląd dmesg, a jeśli czysto, przypięcie jądra:

dmesg | grep -i megaraid_sas | grep -i -E 'err|fail|timeout|reset|abort'
dmesg | grep -i -E 'I/O error|medium error'
proxmox-boot-tool kernel pin 7.0.14-25-pve

W sprawdzonym środowisku pierwsze polecenie znalazło dwa wiersze, Online Controller Reset(OCR): Enabled i TaskAbort/Reset timeout: 0 secs. To opis funkcji kontrolera, nie błędy. Przypięte jądro nie dostaje nowszych poprawek, więc przypięcie przeglądaj przy każdej aktualizacji. Opcja --next-boot przypina jądro tylko na jeden start, a unpin zdejmuje przypięcie.

Sprawdzone. Zostaw starsze jądra zainstalowane jako zapas.

Czujniki i dziennik zdarzeń

ipmitool czyta czujniki i dziennik zdarzeń iDRAC-a (SEL) przez IPMI w paśmie:

apt install ipmitool
ipmitool mc info
ipmitool sel info
ipmitool sdr type Temperature
ipmitool sdr type "Power Supply"

Sprawdzone. Moduły jądra ipmi_si i ipmi_devintf Proxmox ładuje sam, a /dev/ipmi0 istnieje od startu.

Sprawdzone. Pełny dziennik SEL przestaje przyjmować nowe zdarzenia; tak było w sprawdzonym środowisku. Zapisz go, potem wyczyść (katalog /root/idrac musi istnieć):

ipmitool sel elist > /root/idrac/sel-$(date +%Y%m%d).txt
ipmitool sel clear

Sprawdzone. Zanim cokolwiek naprawisz, policz w katalogu z zapisem, co zapełnia dziennik:

cut -d'|' -f4- sel-*.txt | sed 's/^ *//' | sort | uniq -c | sort -rn | head

W sprawdzonym środowisku prawie cały dziennik wypełniał jeden powtarzany alarm poboru mocy. Jego odczyty były niemożliwe dla zasilaczy tego serwera, więc to błędny odczyt czujnika, a nie prawdziwy pobór.

Zalecenie. Sprawdź, czy iDRAC i zasilacze mają najnowszy firmware (ostatni dla iDRAC8 to 2.86.86.86), a fałszywe odczyty odfiltruj w monitorowaniu. Aktualizacja nie musi ich usunąć.

Sprawdzone. Pod fałszywymi wpisami ten sam dziennik pokazał dwie prawdziwe sprawy: baterię CMOS (Low/Failed od miesięcy) i brak prądu na drugim zasilaczu (Power Supply AC lost, Redundancy Lost). Przed wstawieniem serwera do szafy wymień baterię CR2032 i podłącz oba zasilacze, każdy z innego obwodu, jeśli się da.

perccli: kontroler RAID z poziomu systemu

Sprawdzone. Pakiet jest na stronie sterowników serwera, w kategorii „SAS RAID”, z filtrem systemu RHEL 7; dla R330 nie ma na liście Ubuntu ani Debiana. Na Debianie 13 działa pakiet perccli_007.1623.0000.0000_all.deb z pliku PERCCLI_7.1623.00_A11_Linux.tar.gz: jeden statyczny program /opt/MegaRAID/perccli/perccli64, zależny tylko od bash. Nowsze wydanie Della to PERCCLI 7.2313.0 A14 dla wszystkich kontrolerów PERC i HBA, także PERC 9 z H730; na jego liście jest Ubuntu, Debiana nie ma. Przy nowszym wydaniu podstaw w pierwszym poleceniu nazwę jego pakietu.

dpkg -i perccli_007.1623.0000.0000_all.deb
ln -sf /opt/MegaRAID/perccli/perccli64 /usr/local/sbin/perccli
perccli /c0 show
perccli /c0/bbu show all
perccli /c0/vall show all
perccli /c0/eall/sall show
perccli /c0 show events type=sincereboot

Zalecenie. Nie bierz perccli2: należy do kontrolerów PERC 12 i 13 i nie obsługuje starszych.

Sprawdzone. Jądro pokazuje write-through i tak ma być. dmesg pisze dla obu VD Write cache: disabled, a kontroler pracuje w trybie write-back (RWBD w perccli /c0/vall show). Dell opisuje to wprost: Linux zawsze widzi wolumeny PERC jako write-through, niezależnie od prawdziwej polityki zapisu. Ustawienia zapisu sprawdzaj w perccli, nie w dmesg.

Sprawdzone. Write-back działa tylko przy sprawnej baterii. perccli /c0/bbu show all pokazywał Battery State Optimal, Replacement required No i ładunek 100%. Transparent Learn: Yes znaczy, że cykl kalibracji baterii nie przełącza kontrolera na write-through. Według Della ten cykl biegnie co 90 dni i trwa 4–8 godzin.

Sprawdzone. Pamięć podręczna samych dysków jest wyłączona. Bateria chroni pamięć kontrolera, nie pamięć dysków, więc przy zaniku zasilania dane w pamięci dysku przepadają. Polecenia dla wirtualnego dysku v1, macierzy danych w sprawdzonym środowisku:

perccli /c0/v1 set pdcache=off
perccli /c0/v1 show all | grep 'Disk Cache Policy'     # Disabled

Sprawdzone. Nowa macierz po szybkiej inicjalizacji jest Consist No. Kontroler sam uruchamia inicjalizację w tle (BGI), a ręczny test spójności (start cc) zostaje wtedy odrzucony komunikatem Start CC not possible. To nie błąd: BGI robi to samo. BGI nie da się wyłączyć na stałe, przerwana rusza znowu po pięciu minutach. Postęp pokazuje perccli /c0/v1 show bgi.

Zalecenie. Zaplanowany test spójności jest domyślnie wyłączony (CC Operation Mode Disabled). Dell zaleca robić go okresowo i nie podaje, jak często; włącz go raz w tygodniu albo raz w miesiącu. Sprawdź też Patrol Read: perccli /c0 show patrolread.

Funkcje modułu

Sprawdzone. Funkcje iSM pokazuje racadm get iDRAC.ServiceModule. Po instalacji w sprawdzonym środowisku stały tak:

Przewodnik RACADM podaje dla LCLReplication wartość domyślną Disabled; po instalacji w sprawdzonym środowisku stało Enabled. Sprawdź u siebie.

Zalecenie. OpenManage Server Administrator (OMSA) nie jest potrzebny. iSM, perccli i ipmitool dają to samo lżej, a OMSA nigdy nie wspierał Debiana. Dell wydał jego ostatnią wersję we wrześniu 2024 r., a poprawki krytyczne zapowiada do września 2027 r.

Klaster HA i sprzętowy watchdog

Zalecenie. WatchdogRecoveryAction zostaw na None. Proxmox przez watchdog-mux trzyma /dev/watchdog otwarty przez cały czas pracy, także wtedy, gdy nie działa żaden klient HA; domyślnie jest to programowy softdog. Sprzętowe moduły watchdoga Proxmox blokuje, dopóki nie wpiszesz modułu w WATCHDOG_MODULE= w pliku /etc/default/pve-ha-manager. Watchdog iSM to licznik w iDRAC-u (domyślnie 480 s, reakcje None, Reboot, Poweroff i Powercycle), który według Della działa tylko przy wyłączonym watchdogu systemu.

Zalecenie. Jeśli klaster HA ma korzystać z watchdoga iDRAC-a, ustaw w Proxmoxie moduł ipmi_watchdog, a watchdog iSM zostaw wyłączony. Nigdy oba naraz: dwa watchdogi, które resetują jeden serwer, mogą go zrestartować w złym momencie.

Interfejs idrac

Sprawdzone. Interfejs idrac (USB-NIC, 169.254.0.2/16) to łącze iSM z iDRAC-iem; iDRAC ma po swojej stronie 169.254.0.1. Nazwę idrac nadaje baza sprzętu systemd, nie Proxmox ani iSM. Proxmox 9 pokazuje go od razu jako osobny interfejs. Nie wpinaj go do mostka, nie nadawaj mu adresu z sieci maszyn i nie blokuj go w zaporze hosta.

Lokalny racadm i czas

Sprawdzone. Lokalny racadm z pakietu srvadmin-idracadm8 (repozytorium openmanage/11000/jammy) działa przez IPMI, bez hasła, jako root:

racadm getsysinfo
racadm get iDRAC.ServiceModule
racadm getsel

Zalecenie. Ustawienia iDRAC-a (NTP, alerty, użytkownicy) zmieniaj lokalnie przez racadm set …. To wygodniejsze niż przeglądarka i da się zapisać w skrypcie.

Zalecenie. Ustaw w iDRAC-u NTP i taką samą strefę czasu jak na hoście. Inaczej znaczniki w SEL i w journalctl rozjeżdżają się o godzinę lub więcej, a łączenie zdarzeń staje się zgadywaniem:

racadm set iDRAC.NTPConfigGroup.NTPEnable 1
racadm set iDRAC.NTPConfigGroup.NTP1 pool.ntp.org
racadm set iDRAC.Time.Timezone Europe/Warsaw

NTP w iDRAC8 wymaga licencji co najmniej Express. Licencja Basic, domyślna na serwerach serii 100–500 takich jak R330, NTP nie ma.

Bezpieczeństwo iDRAC-a i hosta

Zalecenie. iDRAC tylko w odizolowanej sieci zarządzania, nigdy pod publicznym adresem; zdalny dostęp przez VPN. Tak radzi też Dell.

Zalecenie. Zmień domyślne konto root/calvin (nowsze serwery mogą mieć własne hasło na wysuwanej plakietce). IPMI przez sieć (IPMI-over-LAN) jest na iDRAC8 domyślnie wyłączone. Sprawdź, że tak zostało, bo przez IPMI 2.0 da się wyciągnąć skrót hasła (CVE-2013-4786). Jeśli ktoś je włączył, a go nie używasz, wyłącz: racadm set iDRAC.IPMILan.Enable 0. Wyłącz też usługi, których nie używasz: Telnet, SSH iDRAC-a, VNC.

Zalecenie. Ostatni firmware iDRAC8 to 2.86.86.86. Utrzymanie oprogramowania skończyło się w lutym 2024 r., a poprawki bezpieczeństwa Dell wydaje tylko w razie potrzeby. Tym bardziej iDRAC8 musi stać w zamkniętej sieci.

Sprawdzone. Klucz Della jest wskazany przez signed-by (krok 1), nie leży w trusted.gpg.d.

Zalecenie. Na hoście: logowanie SSH tylko kluczem, fail2ban dla SSH i panelu Proxmoxa, 2FA w Proxmoxie. Debian 13 nie ma /var/log/auth.log, więc fail2ban czyta dziennik systemd: dla SSH ustawia to już pakiet Debiana (backend = systemd), dla panelu potrzebny jest filtr na pvedaemon z dziennika.

Aktualizacje firmware na Debianie

Zalecenie. Firmware (BIOS, iDRAC, PERC, dyski) aktualizuj przez iDRAC. W „Update and Rollback” wskaż pakiet dla Windows (.EXE), który iDRAC przyjmuje przy każdym systemie, a dla samego iDRAC-a także obraz .d7 z tego pakietu; pliku .BIN iDRAC nie przyjmuje. Druga droga to Lifecycle Controller (F10) z katalogiem Della. Aktualizacje z katalogu w sieci wymagają HTTPS, który iDRAC8 obsługuje od wersji 2.63.60.61. Pakiety .BIN Della dla Linuksa są dla RHEL, SLES i Ubuntu; na Debianie się ich nie używa.

Zalecenie. Przed aktualizacją firmware kontrolera PERC zrób kopię zapasową maszyn i sprawdź, czy przypięte jądro nadal do niego pasuje.

Monitorowanie (np. Zabbix)

Zalecenie. Monitoruj dwiema drogami naraz:

• poza pasmem, do iDRAC-a: SNMP albo Redfish (temperatury, zasilacze, wentylatory, stan dysków). Ta droga działa także wtedy, gdy system leży. Na iDRAC8 Redfish jest domyślnie włączony, a SNMP działa na każdej licencji;
• w paśmie, z hosta: perccli (bateria, polityka zapisu, stan VD), ipmitool sel (nowe zdarzenia), systemctl is-active dcismeng.

Zalecenie. Alarmuj, gdy bateria nie jest Optimal, VD nie jest Optl, dysk nie jest Onln, polityka zapisu spadła z WB na WT, pojawi się Redundancy Lost, SEL przekroczy 80% albo iSM nie jest Running. Fałszywe odczyty poboru mocy odfiltruj.