M.2 PCIe SSD (960 Pro) wird nicht richtig erkannt vom X11SAE

[Erwin M. (nobodyy)]

Ich habe bei dem Mainboard Supermicro X11SAE das aktuelle BIOS vom März 
geflascht, eine M.2 SSD vom Typ Samsung 960 Pro M.2 eingebaut und sie 
wird nur ein klein bischen erkannt: Im BIOS-Menü zu den PCIe-Settings 
vom M.2-Slot steht kein Eintrag, dieses Untermenü ist leer. Im Boot Menü 
steht sie auch nicht und unter den bootbaren HDDs wird sie auch nicht 
angezeigt. Unter Linux zeigt sich ein klein bischen, denn lspci meldet:

08:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd 
Device a804

Aber lsblk zeigt nichts vom Speicher, auch nach Power Off, SSD raus und 
wieder rein, mit Festschrauben, so das es kein Wackelkontakt sein kann.
Unter der "Tested M.2 List" gibt Supermicro M.2 SSDs an wie die Toshiba 
HDS-M2M-THNSN5512GPU7, ebenfalls mit 512 GB Kapazität.
Bei den technischen Daten sehe ich keinen großen Unterschied:

https://www.heise.de/preisvergleich/samsung-ssd-960-pro-512gb-mz-v6p512bw-a1511186.html

https://www.heise.de/preisvergleich/eu/toshiba-xg3-512gb-thnsn5512gpu7-a1475752.html

Oder habe ich da etwas übersehen?

[Sebastian V. (sebi_s)]

Erwin M. schrieb:
> Unter Linux zeigt sich ein klein bischen, denn lspci meldet:
>
> 08:00.0 Non-Volatile memory controller: Samsung Electronics Co Ltd
> Device a804

Das sieht ja gar nicht mal so schlecht aus. Irgendwas wird ja schonmal 
erkannt. Welches Linux mit welchem Kernel? Zum Wochenende erwarte ich 
ein Paket mit der gleichen SSD und einem Supermicro X11SSM-F Mainboard. 
Werde dann hier berichten ob es funktioniert.

[Erwin M. (nobodyy)]

Ich verwende Ubuntu mit:
Linux i76700k 4.7.0-040700-lowlatency #201608021801 SMP PREEMPT Tue Aug 
2 22:07:01 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux

Das ist nicht der neueste Kernel, aber wenn das BIOS die SSD nicht zum 
Booten anbietet, hilft auch kein perfekter Kernel.
Ich will die SSD als Systemplatte mit meinem Home-Verzeichnis verwenden; 
davon soll gebootet werden.

Edit: Das X11SAE steht auch in der Liste der Motherboards which support 
M.2-NVMe-SSD: https://www.supermicro.com/products/nfo/M.2.cfm

[Michael X. (Firma: vyuxc) (der-michl)]

Muß man da nicht noch das NVNM Optrom einschalten? Für das Bios/Efi ist 
M.2 ähnlich wie früher eine Sata-Raidkarte.

[Erwin M. (nobodyy)]

Ich habe das aktuelle Manual durchsucht nach dem Teilstring nv und sowas 
wie NVME oder NVNM wird nicht gefunden.
Die BIOS-Settings sind die "Optimal Defaults" mit wenigen Änderungen:

Änderungen zu den Optimized Defaults, bei Nutzung der internen Grafik
=========================================================================
Main Setup
  System Date - ggf. anpassen
  System Time - ggf. anpassen

Advanced Setup
  Boot
    Quiet Boot - Disable                  (es sollen keine Ausgaben unterdrückt werden)
    Power Button Function - 4 s override  (das Betriebssystem bekommt damit 4 s Ankündigung des Poweroff)
    Restore on AC Power Loss - Power On   (automatisch starten)
    Bootup NumLock State - Off
  PEG Port configuration
    SLOT6 Max Payload Size - 256 TLP       (Max., mehr ist bessser, fehlt bei neueren BIOSen oder ohne Graka)
    SLOT4 Max Payload Size - 256 TLP       (Max., mehr ist bessser, fehlt bei neueren BIOSen oder ohne Graka)
  Memory Configuration
    Maximum Memory Frequency - <MAX>  (mehr kann mehr Performance bringen)
  Grafics
    Grafics Turbo IMON Current - <MAX> (mehr kann mehr Performance bringen, fehlt bei neueren BIOS-Versionen)
    Primary Display - IGFX      (IGFX = integrated on-board graphics, PEG =PCI Express Graphics slot, PCIe=Common PCIe slot)
    Internal Graphics - Enabled
    IGFX (Graphics) Low Power Mode - Disabled (sollte Performanceprobleme wie nicht selten fehlende (schwarze) Pixel bei der
                                     fullscreen-Wiedergabe vom Mplayer oder auch Kaffeine beseitigen, aber auch mehr Leistung verbrauchen, fehlt bei neueren BIOS-Versionen)
  SATA
   Bei allen Anschlüssen, an denen nicht ständig ein Laufwerk angeschlossen ist (1-7):
    Hot Plug - Enable 
    Spin up Device - Enable
  PCIe
    PCI PERR/PSERR - Enable     (es sollen keine Ausgaben unterdrückt werden)
    Above 4G decoding - Disable, das ist der Default-Wert, sonst gibt es auf dem Monitor nur Gegruetzel
      statt einer Meldung vom Bootloader  
    Onboard LAN Option ROM - Disable   (only for Sytem Boot via LAN necessary)
    Network Stack - Disable            (only for PXE boot necessary)
  SuperIO
    Serial Port 1: Ändern von Default auf fest IO=3F8h, IRQ=4
    Serial Port 2: Ändern von Default auf fest IO=278h, IRQ=3
  ACPI Settings
    Enable Hibernation - Disable (der eingeschaltete Rechner soll immer als Server aktiv sein)
  ACPI Sleep State - Suspend Disabled
Boot
  Die Systemplatte als erstes Boot device
Save & Exit
  Die obigen Einstellungen sicheren über Save Changes, danach Save as User Defaults eintragen, 
  danach über Save Changes and Reset verlassen

ACHTUNG: In einem Menue über F3 die Optimized Defaults einzustellen bewirkt das
ALLE Einstellungen zurückgesetzt werden!

[Frank K. (fchk)]

Bootest Du über UEFI oder BIOS/CSM?

Ich meine irgendwo in Erinnerung zu haben, dass NVME und BIOS/CSM nicht 
zusammen funktioniert, weil es nur native UEFI-Treiber im ROM gibt. Kann 
auch sein, dass das eine WIndows-Einschränkung war, da bin ich mir nicht 
mehr so sicher.

Also CSM abschalten und hoffen, dass Deine Installations-CD auch im 
reinen UEFI-Modus startet. Dass Du dann auch GPT verwenden musst, ist 
klar.

Ansonsten war die Kompatibilitätsliste wohl wirklich ernst gemeint.

fchk

[Sebastian V. (sebi_s)]

Ich konnte gerade erste Tests mit dem X11SSM-F Mainboard und der 
gleichen SSD machen und hier läuft alles. Sowohl an den PCIe Slots 
direkt an der CPU als auch an denen über den PCH (über PCIe zu M.2 
Adapter). BIOS alles auf Optimized Defaults und als Betriebsystem CentOS 
7.3. Vor der Betriebsystem Installation wurde allerdings die SSD auch 
nicht im BIOS angezeigt. Jetzt steht dort "UEFI Hard Disk:CentOS Linux".

[Erwin M. (nobodyy)]

Sebastian V. schrieb:
> Ich konnte gerade erste Tests mit dem X11SSM-F Mainboard und der
> gleichen SSD machen und hier läuft alles.

Bei dem X11SAE ist das nicht der Fall.
Bei dem Mainboard ist das Vorgehen ein anderes:
Ausgehend von den Default Settings, oder meinen oben, muss man CSM 
disablen.
Das geht aber nicht direkt; das BIOS verweigert mit der Meldung zuerst 
umzustellen
bei Video Policy auf UEFI. Das heißt Onboard Video Option ROM umstellen 
von Legacy
auf EFI. Danach muss man über save & reset neu starten. Erst dann kann 
man das CSM
auf disable stellen. Zur Sicherheit habe ich auch das LAN Option ROM auf 
EFI
gestellt und den Boot Mode von Dual auf UEFI.
Damit kann nicht mehr von der SSHD gebootet werden, mangels 
UEFI-Eintrag, aber ein
Knoppix 8.0 von USB 3 Stick bootet auch ohne und damit zeigt sich die 
SSD endlich
richtig:

$ lsblk
NAME    MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda       8:0    0   3,7T  0 disk
├─sda1    8:1    0     1M  0 part
├─sda2    8:2    0    10G  0 part
└─sda3    8:3    0   3,6T  0 part
sdb       8:16   1   119G  0 disk
└─sdb1    8:17   1   119G  0 part /mnt-system
cloop0  240:0    0   9,4G  1 disk /KNOPPIX
cloop1  240:1    0 946,9M  1 disk /KNOPPIX1
zram0   253:0    0     4G  0 disk [SWAP]
nvme0n1 259:0    0   477G  0 disk

Beim Testen mit badblocks -wsv -t random -c 65536 /dev/nvme0n1 zeigte 
sich eine
Transferrate von um 2000 MB/s sowie kein Fehler.
Aber hdparm funktioniert nicht:

$ hdparm -i /dev/nvme0n1
/dev/nvme0n1:
 HDIO_DRIVE_CMD(identify) failed: Inappropriate ioctl for device
 HDIO_GET_IDENTITY failed: Inappropriate ioctl for device

Es zeigt sich auch, das die SSD keine SMART-Daten ausgibt:

# smartctl -a /dev/nvme0n1
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.9.6-64] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, 
www.smartmontools.org
Read NVMe Identify Controller failed: NVME_IOCTL_ADMIN_CMD: Bad address

Also die M.2 SSD funktioniert, aber die Einrichtung ist kompliziert und
der Mainboardhersteller (hier Supermicro) müsste das dokumentieren.
Aber das Manual sagt dazu nichts, nicht einmal zu den BIOS-Updates ist 
angegeben
was sich da geändert hat. Ich musste einige Zeit googeln um 
herauszubekommen das
CSM disabeln und (U)EfI einzustellen nötig ist.

[Erwin M. (nobodyy)]

Also inzwischen habe ich Ubuntu 17.04 installieren können, wobei auch 
der Boot Mode Dual funktioniert.
Aber beim manuellen Partitionieren muss man darauf achten eine 
EFI-Partition (/boot/efi) anzulegen. Sonst kann man nach scheinbar 
problemloser Installation nicht booten. Oder der Installer bricht ab 
weil er grub2 nicht ausführen kann.

SMART-Daten auslesen funktioniert mit nvme aus dem Paket nvme-cli:

nvme smart-log /dev/nvme0n1

[Erwin M. (nobodyy)]

Sebastian V. schrieb:
> Zum Wochenende erwarte ich
> ein Paket mit der gleichen SSD und einem Supermicro X11SSM-F Mainboard.
> Werde dann hier berichten ob es funktioniert.

Und wie ist es gelaufen, welche Transferraten erreichst Du mit der SSD?

Übrigens zeigt mir das X11SAE immer noch nicht im BIOS die Einstellungen 
zum M.2-Slot; das Untermenü ist einfach leer.
Die Einstellungen bekommt man aber auch mit lspci -vv:

LnkCap:  Port #0, Speed 8GT/s, Width x4, ASPM L1, Exit Latency L0s 
unlimited, L1 <64us
LnkSta:  Speed 8GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- 
ABWMgmt-

Das heißt sie schafft bis zu 4 Gigabyte pro Sekunde und damit arbeitet 
der Slot tatsächlich.
Wie die SATA-Geräte verbunden sind verrät das BIOS ebenfalls nicht, aber 
das zeigt ein smartctl -a, z. B.:

SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)

[Sebastian V. (sebi_s)]

Erwin M. schrieb:
> Und wie ist es gelaufen, welche Transferraten erreichst Du mit der SSD?

Hab noch nicht so viele Tests zur Geschwindigkeit gemacht. Kennst du da 
irgendwelche Tools außer eine große Datei mit dd schreiben und lesen? 
Dabei kommen etwa 2GB/s schreiben und 3GB/s lesen bei raus.

[Erwin M. (nobodyy)]

Ich habe mit badblocks einen Schreib-Lestest gemacht, wie oben 
beschrieben.
Deine gemessenen 2GB/s schreiben und 3GB/s lesen stimmen mit den 
Herstellerangaben überein:
https://www.heise.de/preisvergleich/samsung-ssd-960-pro-512gb-mz-v6p512bw-a1511186.html

Beim Lesen von badblocks zeigten sich bei mir nur 2 GB/s, angzeigt von 
Gkrellm als recht konstante Datenrate, aber da könnte badblocks der 
Flaschenhals sein. Es könnte auch sein das das Schreiben sie so 
erwärmte, das das Lesen unmittelbar danach gedrosselt wurde:
https://www.computerbase.de/2016-10/samsung-ssd-960-pro-test/

Jedenfalls ist diese M.2 SSD viel schneller als die SSHD, die ich vorher 
hatte, denn die war praktisch so langsam wie eine HDD, mit um 100 MB/s 
(sequentiell).

Um die SSD-Geschwindigkeit auch im LAN zu nutzen, bräuchte ich jetzt 
noch Infiniband mit mindestens 20 Gbit/s.

[Erwin M. (nobodyy)]

Den PC wieder ohne EFI und von der SATA-SSHD mit einer alten 
Ubuntu-Installation starten zu lassen, wobei die die M.2 SSD im Rechner 
blieb, funktionierte zuerst nicht; das BIOS verweigerte das Booten mit 5 
oder 10x Beep und ohne Grafik-Signal. Die Beeps bedeuten Grafikprobleme, 
obwohl die Einstellungen unverändert blieben. Nach mehrfach das BIOS 
erneut flashen, einmal auch im Manufacturing Mode, startet der PC nun 
wieder und es zeigt sich die M.2 SSD nun auch ohne EFI-Einstellungen 
sowie mit CSM auf enable als Block-Device (nvme0n1).

Also auch das BIOS vom März ist nicht ganz ausgereift.