[lug-ld] Frage Storage System

[Jochen Wambsganß]

Am 13.05.2015 14:00, schrieb Steffen Wagner:
> 
> Hi Jochen,
> 
> danke auch für deine ausführliche Formulierung.
> 
> /> 3. Das senden von Benachrichtigungen per Mail über den Zustand des
> RAIDs, bzw. der Platten ist oft knifflig bis teilweise nicht möglich
> und, sorry, was nützt ein Mail, dass sich nicht meldet, wenn die Platte
> wegfliegt. Alternativ kann man hier natürlich smartd für den
> Plattenzustand einsetzen, was manchmal bei Hardwareraidcontrollern etwas
> knifflig ist.
> /
> 
> Dies kann ich jetzt so nicht bestätigen... ich habe sehr gute
> Erfahrungen im Bereich von  Adaptec in Kombination mit Icinga / Nagios
> Monitoring gemacht (Stichwort ARCCONF)./
> /

Ja, solange die Systeme in den Händen erfahrener Administratoren sind,
wird das funktionieren, die Praxis sieht leider anders aus. In den
Firmengrößen in denen ich mich bewege ist meistens kein Monitoring
System wie Nagios im Einsatz, die Systeme müssen sich selbst effizient
überwachen. Solange der Hardwarecontroller ordentlich ausgesucht wird,
gibt es oft auch gute Überwachungsmechanismen, oft finden sich aber auf
günstigen Systemen sehr schlechte Controller, die keine Möglichkeiten
der Überwachung mitliefern. Diese Onboard Controller sind meist auch nur
Softwareraids!

> 
> /> RAID5 mit 4 Platten => Geschwindiwgkeit = 3x Geschwindigkeit der
> Einzelplatte (eine darf ausfallen)/
> 
> Kannst du irgendwas bzgl. I/O bzw. Restore Zeiten bei einem Software
> RAID sagen? Wovon hängt es ab? Meine Erfahrung im Hardware RAID-5 sind
> bisher bei SSD's ca. die Geschwindigkeit einer einzigen Platte. Kann
> deine Faustregel oben denn dann korrekt sein? Wie sollte das
> Software-RAID ohne Cache (oder wird hier der RAM verwendet?) dann
> schneller sein als mein Cache auf dem Controller?

Nein, ich hab das mit simplen Tests durchgeführt. Einmal mit hdparm ohne
Cache und mit einem großen Verzeichnis, das ich mit rsync spiegle und
die Geschwindigkeit dabei messe. Ich hab keine Ahnung wie das
Softwareraid im Detail cached, auf jeden Fall funktioniert es. SSD
Platten sind ja sowieso schon sehr schnell, man muss dann genau darauf
achten, ob nicht der Controller zum Nadelöhr wird. Das Z87-PLUS von ASUS
hat z.B. schon 8 SATA Schnittstellen on Board. Das hab ich als
Speichermaschine im Einsatz mit einem einfachen i3 Prozessor. Bei diesem
System hab ich auch die Leistungswerte eines RAID6 mit 8 Platten
ermittelt. Ich komme auf ca. 6x Geschwindigkeit der Einzelplatten.

> 
> Da viele Boards ja nicht unbingt genügend SATA / SAS Konnektoren haben,
> bräuchte man hier einen / mehrere HBA, oder Expander Cards, sehe ich
> dies Richtig? Also "stumpfe" Storage Controller per PCIe angeschlossen.

Jepp, auch hier nochmal der Hinweis, in meinem Umfeld kommen eher kleine
Server zum Einsatz und keine Storagefarm. Ich hab z.B. ein

> 
> Eine weitere Frage hat sich bei meinen Nachforschungen ergeben: Macht
> der Einsatz von Hybriden Festplatten aká SSHDs Sinn für "Storage"
> Zwecke? Hat jemand hier Erfahrungen?

Hier hab ich leider keine Erfahrung.

> 
> Danke + Grüße,
> Steffen
> 
> Am 06.05.2015 um 08:44 schrieb Jochen Wambsganß:
>> Hallo Steffen,
> 
>> ich hatte mir schon vor längerem intensiv Gedanken zu diesem Them
>> gemacht und habe für mich persönlich beschlossen KEINE Hardware RAIDs
>> mehr einzusetzen.
> 
>> Die Gründe dafür, bzw. dagegegen:
> 
>> Hardwareraids
> 
>> 1. Hardwareraids sind in der Regel sehr teuer, vor allem wenn man es
>> richtig macht und auch die BBU mit dazu kauft.
> 
>> 2. Die fest verbauten Hardwareraids, gerade in billigeren Servern, sind
>> die blanke Katastrophe.
> 
>> 3. Das senden von Benachrichtigungen per Mail über den Zustand des
>> RAIDs, bzw. der Platten ist oft knifflig bis teilweise nicht möglich
>> und, sorry, was nützt ein Mail, dass sich nicht meldet, wenn die Platte
>> wegfliegt. Alternativ kann man hier natürlich smartd für den
>> Plattenzustand einsetzen, was manchmal bei Hardwareraidcontrollern etwas
>> knifflig ist.
> 
>> 4. Wenn statt der Platte mal der Controller defekt wird, hat man das
>> Problem, wie man an eine gleichwertige Hardware kommt um das RAID wieder
>> herzustellen. Das ist vor allem dann ein Problem, wenn es sich um einen
>> älteren Controller handelt. Und man schafft einen weiteren single point
>> of failure.
> 
>> Softwareraids
> 
>> 1. Softwareraids unter Linux sind sehr zuverlässig und benötigen keine
>> spürbare Rechenleistung bei modernen Prozessoren. Zudem sind sie äußerst
>> robust.
> 
>> 2. Das Softwareraid lässt sich auf jeder beliebigen Hardware die gerade
>> vorhanden ist wieder zusammenbauen. Selbst RAID Systeme mit defekten
>> Platten lassen sich problemlos wieder zusammensetzen. Der SPOF mit
>> proberitärer Hardware entfällt.
> 
>> 3. Die Benachrichtigung über den Zustand erfolgt komfortabel über das
>> Betriebssystem, das funktioniert zuverlässig. mdadm hält dich auf dem
>> laufenden über den RAID Zustand, smartd über den Zustand der Platten.
> 
>> 4. Keine Hardwarekosten
> 
>> Ich hab jetzt über viele Jahre Erfahrung mit den verschiedensten RAID
>> Systemen gesammelt und kann nur sagen, dass Software RAID Systeme unter
>> Linux wirklich sicher und robust sind. Ein Softwareraid kannst du nur
>> mit Gewalt und Absicht zerstören solange die Platten noch in Takt sind.
>> Du kannst z.B. ein RAID5 aus einem Rechner ausbauen und in beliebiger
>> Reiehenfolge in einen anderen Rechner rein, das Ding baut sich einfach
>> wieder richtig auf.
> 
>> Bei Bedarf startest du eine Live CD und hast vollen Zugriff auf das
>> Softwareraid. Selbst defekte RAID Systeme mit kaputten Platten hab ich
>> schon wieder zum laufen gebracht.
> 
>> Die Performance: kein Unterschied zum Hardwareraid. Diesen Test hatte
>> ich selbst mal gestartet. Im Prinzip funktioniert folgende Faustformel
>> sowohl mit Software als auch mit hardwareraid:
>> RAID5 mit 4 Platten => Geschwindiwgkeit = 3x Geschwindigkeit der
>> Einzelplatte (eine darf ausfallen)
>> RAID6 mit 8 Platten => Geschwindigkeit = 6x Geschwindigkeit der
>> Einzelplatte (2 dürfen ausfallen)
> 
>> Mit ZFS sollte das theoretisch auch funktionieren, allerdings habe ich
>> damit keine Erfahrungen. Bei meinen Kunden setze ich ausschließlich
>> mdadm für Softwareraids ein, das hat sich langjährig bewährt. Mit ZFS
>> müsste ich erst mal Erfahrungen für die extremfälle sammel, dafür fehlte
>> mir bislang die Zeit.
> 
> 
>> Ich hoffe, ich konnte dir damit helfen
>> Jochen Wambsganß
> 
>> Am 04.05.2015 22:20, schrieb Steffen Wagner:
>>>
>>> Hi Leute!
>>>
>>> hat jemand Erfahrungen bezüglich Storage Systemen? Kann mir jemand
>>> erklären ob aktuell immernoch Hardware RAID das "einzig" wahre ist? Es
>>> ist ja auch irgendwie ZFS / UFS / JBOD (z.b mit Napp it) möglich...
>>> Ich wäre für eine Aufklärung super dankbar (welche Kombis gehen, was ist
>>> sicher genug bzw. mit Raid vielleicht vergleichbar?)!
>>>
>>> Liebe Grüße + Danke,
>>> Steffen
>>>
>>>
>>> _______________________________________________
>>> lug-ld mailing list
>>> lug-ld at lists.lug-ld.de
>>> http://lists.lug-ld.de/mailman/listinfo/lug-ld
>>>
> 
> 
> 

-- 
Jochen Wambsganß

Createc Solution
Marktstraße 78
76829 Landau

Mobil: 0179-7779661
Telefon: 06341-6490481
Fax: 06341-648779
E-Mail: info at createc-solution.com
Internet: www.createc-solution.com

Ust-IdNr.: DE240328871