Zum Inhalt springen

Schneller Linux Fileserver / Datenserver im Eigenbau – Teil 1 Hardware

Last updated on 11. März 2019

0. Inhaltsverzeichnis – Teil 1 Hardware

  1. Grundüberlegungen für den Fileserver
  2. Die Hardware
  3. Die Planung
  4. Montage, vorbereitende Maßnahmen
  5. Gewindehülsen einbringen und PVC-Platte an der Wand anbringen
  6. Befestigung der einzelnen Elemente auf der Grundplatte
  7. Verkabelung
  8. Erster Betriebstest
  9. Kühlerumbau zur Temperaturoptimierung
  10. Der Fileserver fertig verkabelt und montiert
  11. Deckel drauf und fertig
  12. Abschließende Betrachtungen

I. Grundüberlegungen für den Fileserver

Die wichtigsten Eigenschaften in Kürze:
sicher, schnell, leise, großer Speicher, einfach

Ein Fileserver für eine Werbeagentur, die auch sehr viele Videofilme produziert und entsprechend umfangreiche Daten verwalten muss, sollte einer ganzen Bandbreite von Ansprüchen genügen:

a. Anforderungen an die Hardware

  1. da er 24/7 laufen wird, sollte er nicht sehr viel Strom verbrauchen
  2. die Geräuschkulisse sollte so klein sein, dass er auch direkt im Büro aufgestellt werden kann
  3. der Server sollte über ein RAID-System verfügen, um gegen Festplattenschäden gewappnet zu sein
  4. zusätzlich sollte das ganze Gerät diebstahlsicher sein
  5. über das LAN-Netzwerk muss er so schnell Daten liefern, dass Videos direkt auf dem Server bearbeitet werden können, ohne dass man sie vorher auf die Festplatte zieht
  6. die Speicherkapazität sollte irgendwo zwischen 30 und 50 Terabyte liegen
  7. eine kostengünstige Lösung wäre von Vorteil
  8. ein schönes Gerät wäre einem hässlichen vorzuziehen

b. Anforderungen an die Software

  1. die Daten sollten vor fremden Zugriffen sicher sein und die Software vertrauenswürdig
  2. die Daten müssen auch über das Internet zugänglich sein
  3. im täglichen Betrieb sollte man, wie bei einer Festplatte an die Daten kommen
  4. die Daten sollten gut nach außen geschützt sein
  5. es sollten so wenig wie möglich sonstige Prozesse auf dem Server laufen, die die Sicherheit gefährden könnten
  6. Rechte und Zugänge sollte klar und einfach sein
  7. die Datenwiederherstellung bei Festplattenausfällen sollte so einfach sein, dass man nicht jedes Mal einen Herzinfarkt bekommt und den Gesamtverlust befürchten muss
  8. Updates sollten einfach und klar sein

II. Die Hardware

Der Stromverbrauch kommt durch das Mainboard, die Lüfter, die Festplatten und den RAID-Controller zustande. Unser alter TYPO3-Entwicklungsserver hatte z. B.  12 Lüfter und verbrauchte 330 Watt, das bedeutet, er war extrem laut und letztlich auch noch teuer (ca. 45 Euro Stromkosten pro Monat, bei durchgehendem Betrieb). Hieraus ergibt sich, dass der Fileserver möglichst mit wenig Lüftern auskommen sollte und der Prozessor zwar schnell sein sollte, aber nicht zu viel Strom verbrauchen.

Das Mainboard

Die klassische Lösung für ein Server-Mainboard, das wenig Strom verbraucht und die relativ einfache Aufgabe eines reinen Fileservers schnell bewältigt, sind Mainboards mit Intel-Atom-Prozessoren. Sie sind stromsparend und werden auch in vielen Mobilgeräten eingesetzt. Allerdings sind die Atom-Chips von ihrem Aufbau her schon relativ alt und längerfristig eher eine aussterbende Spezies. Bei AMD gibt es die Opteron-Prozessorserie, für die es aber nicht so viele Mainboards wie für Intel-Prozessoren gibt.
Die neueste Generation von Intel-Prozessoren heißt „Xeon“, für die ich mich letztendlich entschieden habe. Laut Intel sollen die Xeon-Prozessoren der stromsparenden Variante „Xeon-D 1500“ bei der Netzwerkverwaltung bis zu 5,4 mal schneller sein als vergleichbare Atom-Prozessoren und bis zu 6 mal schneller bei der Speicherverwaltung und dies bei einem niedrigeren Stromverbrauch. Hier geht es zur Intel-Xeon-Seite. Dann galt es aber abzuwägen, ob man mehr Kerne haben will oder eine höhere Taktfrequenz, also ob der Server mehr parallel laufende Aufgaben erledigen soll oder die einzelnen Aufgaben jeweils schneller abarbeitet. Die Wattzahl, also der Stromverbrauch, sollte dabei möglichst niedrig sein. Damit schieden diejenigen Prozessoren aus, die sowohl viele Kerne haben und viele Threads gleichzeitig verarbeiten können, als auch sehr schnell sind. Dann müssen die Prozessoren auch von Mainboardherstellern verbaut werden, was bei neuen Prozessoren nicht immer der Fall ist.
Bei mir standen am Ende (Sommer 2016) zwei Prozessoren zur Auswahl, zum einen der Xeon D-1518 mit 4 Kernen, 8 Threads und 2,2 GHz und zum anderen der Xeon D-1528 mit 6 Kernen, 12 Threads und 1,9 GHz. Die Leistungsaufnahme beträgt bei beiden 35 Watt. Obwohl so ein Fileserver nicht gerade umfangreiche Aufgaben zu erfüllen hat und eher schnell sein sollte, habe ich mich für den Xeon D-1528 entschieden, da ich darin mehr Zukunftssicherheit sehe und davon ausgehe, dass Softwareprodukte in Zukunft eher mehr parallel arbeiten werden, da die Steigerung der Taktrate an ihre physikalischen Grenzen stößt.
Die dazugehörigen Mainboards gibt es von Supermicro einmal das Supermicro X10SDV-4C-TLN4F für den D-1518 und das „Supermicro X10SDV-6C-TLN4F max. 128GB ECC 2x 10GbE 2x 1GbE IPMI USB 3.0″ für den D-1528. Auf beiden ist der Chip auf den Mainboards fest verbaut (engl. embedded). Beide waren im Sommer 2016 noch ganz neu und z. B.  über den Servershop Bayern zu beziehen, die mich am Telefon wirklich sehr ausgiebig und gut beraten haben!
Das reine Mainboard kostete dabei knapp unter 700 Euro, hat dafür aber eine gute Ausstattung: Dual 10GbE LAN und einen PCIe 3.0 16 Steckplatz, der für den RAID-Controller wichtig ist. Ebenfalls verbaut ist eine IPMI-Service-Netzwerk-Buchse, über die man das Mainboard direkt managen kann, was in Bezug auf die Lüfter später von Bedeutung wurde. Die Kühlung ist ein Thema für sich und wird weiter unten behandelt. Mein Mainboard kam ohne Lüfter und braucht deshalb ordentlich Luftzirkulation. Der Arbeitsspeicher muss extra gekauft werden. Hier gibt es 4 Steckplätze, die aber nur 2 Systembusse ansprechen, weshalb man mit ausgeglichener Speichergröße die 2 Hauptsteckplätze bestücken sollte, um Geschwindigkeitsverluste zu vermeiden. Hier habe ich noch zweimal Samsung DDR4-2133 16GB RAM verbaut (Devise: viel hilft viel), was mit weiteren 180 Euro zu Buche schlägt, mit 32 GB Arbeitsspeicher dem Server aber genügend Platz zur Verarbeitung großer Datenpakete gibt.

Achtung:
Bezüglich des Betriebssystems muss man vorher in den technischen Spezifikationen nachschauen mit welchem Betriebssystem das Mainboard klarkommt!

Hiermit ist das Herz des Servers schon einmal gut aufgestellt, neueste Technik, die vielleicht auch ein paar Jahre aktuell bleibt, genügend RAM-Speicher und ausreichend Steckplätze.

 

supermicro-x10sdv-tln-6f

schema server board
Schematische Darstellung des Mainboards.

Der RAID-Controller

Braucht man einen RAID-Controller?
Ja!

Was macht ein RAID?
Ein RAID (Wikipedia: Redundant Array of Independent Disks“, also „Redundante Anordnung unabhängiger Festplatten“) sorgt dafür, dass Daten auf verschiedenen Festplatten so verteilt werden, dass sie schneller zugänglich sind und – das Wichtigste – bei einem Ausfall einer (manchmal auch mehrerer) Festplatten die Daten wieder hergestellt werden können. Man unterschiedet verschiedene Vorgehensweisen, die man RAID-Level nennt. (Bei RAid 1 werden alle Daten einfach gleichzeitig auf zwei Festplatten geschrieben / Spiegelung.)

Die meisten Betriebssysteme können diesen Vorgang steuern, dann spricht man von einem Software-RAID. Es gibt aber auch externe RAID-Controller, die diese Aufgabe auslagern und nur für die Verwaltung und die Verteilung der Daten zuständig sind. Dies befreit das Mainboard von einer aufwendigen Aufgabe und kann mit RAID-Controllern in der Regel auch sicherer und schneller erledigt werden, da sie genau für diese Aufgabe konstruiert sind. Außerdem haben nicht immer alle Mainboards die Möglichkeit eine große Anzahl von Festplatten direkt anzusteuern.

Achtung:
Nicht jedes Mainboard kommt mit jedem RAID-Controller klar!

Die bekannte Marke Areca funktioniert z. B. nicht zusammen mit Supermicro-Mainboards. Hier hilft der kompetente Fachhandel aber mit gutem Rat. Die meisten RAID-Controller kommen mit einem eigenen Lüfter, was ich auf gar keinen Fall wollte, da die Lüfter meist sehr klein sind und mit hohen Geschwindigkeiten drehen und damit einen Höllenlärm vollführen und zudem Strom brauchen.
Die Hauptentscheidungskriterien sind aber, was für Festplatten angeschlossen werden können (SATA/SAS), mit wie vielen Festplatten der Controller klar kommen soll, was für RAID-Level er beherrscht und mit welcher theoretischen Geschwindigkeit er die Festplatten ansteuern kann (6 Gb/s oder 12 Gb/s).

Für die Frage nach der notwendigen Anzahl und Größe der Festplatten, helfen RAID-Berechungsprogramme, die berechnen, bei wievielen Festplatten, mit der entsprechenden Größe, man welchen nutzbaren Speicherplatz bekommt:

Online Raid-Berechnung

Achtung:
Alle Festplatten sollten die gleiche Größe haben, sonst richten sich die meisten RAID-Level an der kleinsten Festplatte aus, was zu sehr viel ungenutztem Platz führt.

Tipp:
Wenn man große Mengen kauft, kann es sein, dass man eine schlechte Marge erwischt und viele Ausfälle hat, deshalb lieber in kleinen Margen und vielleicht in verschiedenen Läden kaufen.

Ich habe mich am Ende für den „Adaptec RAID 81605Z 16-Port SAS/SATA 12 Gb/s“ mit zugehörigem Flash-Backup entschieden. Der Preis lag bei stolzen 699 Euro inklusive des Flash-Elementes. Der Controller kann mit SAS- und mit SATA-Festplatten umgehen, er ist mit 12 Gb/s in Bezug auf die Geschwindigkeit auf der Höhe der Zeit und hat eine kleine Zusatzplatine (Flash Backup), die verhindert, dass bei Stromausfall Daten verloren gehen, indem sie den Controller noch für eine Weile (ein paar Stunden) mit Strom versorgt. Der Controller braucht einen x8-PCIe 3.0 Steckplatz auf dem Mainboard.
Mein Controller kam ohne Lüfter und mit einem relativ kleinen Kühlkörper, der nur an 2 Punkten mit der Hauptplatine verbunden ist, was später noch zu etlichen Schwierigkeiten geführt hat (siehe Kühlung und Lüfter weiter unten).

Mit 16 Festplatten á 3 TB komme ich damit bei RAID-Level 6 auf 48 TB wovon 38,2 TB nutzbar sind, der Rest ist für die Datenrettung bei Ausfall zuständig. Es können bei RAID 6 zwei Festplatten gleichzeitig ausfallen, was bei 16 Festplatten durchaus im Bereich des Wahrscheinlichen liegt (mehr zu RAID-Leveln und Geschwindigkeiten weiter unten).

 

Adaptec Raid-Controller
Adaptec Raid-Controller 81605ZQ – 4×4 SATA Direktanschluss

Festplatten

Eine weitere grundsätzliche Entscheidung muss bei den Festplatten gefällt werden:
Festplatten sind entweder sehr schnell, dann brauchen sie aber auch viel Strom und sind tendenziell eher laut oder sie sind etwas langsamer, brauchen weniger Strom und wenn man Glück hat sind sie dann auch etwas leiser. Zudem sind schnelle Platten in der Regel teurer als langsame Platten. SSD-Platten brauchen wenig Strom, sind lautlos und extrem schnell, momentan aber noch einfach zu teuer.

Also zusammengefasst:
schnell, laut und teuer (Strom und Anschaffung) oder langsam, leise und kostengünstig.

Darüber hinaus gibt es noch die Ausfallstatistiken und die Anzahl an Schreibvorgängen, die eine Festplatte theoretisch macht und ob sie für Dauerbetrieb überhaupt geeignet ist. Mit all diesen Parametern kann man sich im Internet viele Tage beschäftigen.

Hier ein guter Artikel zu Ausfallraten verschiedener Modelle bei Großspeichern:
Ausfallraten von Festplatten / Annual Failure Rates

Meine Entscheidung fiel am Ende für Stromsparsamkeit und Geräuscharmut, was etwas entgegen der sonstigen Vorgehensweise bei diesem Server ist, die auf hohe Geschwindigkeit zielt. Die Schreib- und Lesegeschwindigkeit ist am Ende aber, in Zusammenarbeit mit dem RAID-Controller, doch sehr gut geworden.

Ich habe die normale „WD Red NAS Hard Drive“ mit 3 Terabyte SATA 6 Gb/s von Western Digital gekauft, die in den diversen Tests sehr leise war, sehr wenig Strom aufnahm und bei der Geschwindigkeit im Mittelfeld rangierte. (Achtung es gibt auch noch die „WD Red Pro“, die ganz andere Spezifikationen hat und ungefähr das Doppelte kostet.) Die normale Red dreht mit 5400 U/min, braucht zwischen 3 und 4 Watt, hat eine ungefähre Lärmkulisse von 27dB und soll angeblich im Schnitt 1 Million Stunden durchhalten, ist also für Dauerbetrieb geeignet. Der Preis lag bei etwas über 90 Euro pro Festplatte (im Großeinkauf, ansonsten sind es 120 Euro).

Für das Betriebssystem, das ja mit der Datenspeicherung direkt nichts zu tun hat, aber sehr schnell sein soll, benutzt man im Allgemeinen eine separate Festplatte und zwar eine SSD–Solid State-Drive-Platte, die ohne mechanische Elemente auskommt und deshalb um vieles schneller ist als eine normale Festplatte. Hier habe ich mich für eine „Samsung SSD 120 GB“ entschieden, die direkt an das Mainboard angeschlossen wird und später wirklich nur das Betriebssystem und die Programme enthält. Der Preis lag bei ca. 70 Euro. Für die direkte Stromversorgung der SSD vom Mainboard braucht man ein Molex-Adapterkabel, die Datenkabel sind beim Mainboard dabei.

Nichts geht ohne Strom: Das Netzteil

Meine erste Rechnung war die Addition aller Stromverbraucher zu einem Gesamtwert:

64 Watt (16 x 4 Watt) Festplatten
2 Watt SSD
45 Watt Mainboard (incl. Prozessor mit 35 Watt)
30 Watt Raid-Controller (geschätzt)
20 Watt zwei große Lüfter

ca. 160 Watt  gesamt (alles nach oben gerundet, bei voller Leistung)

Der Grundgedanke war, dass das Netzteil nicht zu stark überdimensioniert sein sollte, damit es nicht zu viel Strom selbst verbraucht. Der Verkäufer riet mir dennoch zum 550 Watt Netzteil von bequiet!, das angeblich eine Effizienz von bis zu 94 % hat.
Nichts desto trotz kann man aber davon ausgehen, dass Netzteile im unteren Auslastungsbereich nicht so effizient sind und einen großen Teil der Energie an die Umgebung als Wärme abgeben.
Was mir viel wichtiger war, ein Netzteil ohne Lüfter zu bekommen, ist mir nicht gelungen. Ich habe erst viel später gesehen, dass es solche Netzteile gibt, die aber entsprechend teuer sind.

Das BeQuiet „Dark Power Pro 11 550W 550 W ATX 80PLUS® Platinum“ kostete ca. 140 Euro, inklusive einem großen Haufen Kabel, von denen ich aber kaum eines gebrauchen konnte, da sie alle für normale Gehäuse-PC ausgelegt sind. Die Geräuschentwicklung ist aber wirklich minimal, da ein großer Lüfter nur langsam im Innern dreht.

Überspannungsschutz

Für technische Geräte gibt es Steckdosenleisten mit Überspannungsschutz. Damit ich nicht jedes Mal darauf achten muss, dass der Server auch in einer geschützten Dose steckt, habe ich mir von Brennstuhl eine einzelne Schutzdose gekauft, sie aufgebrochen und den technischen Inhalt innerhalb meines Servers verbaut.

Die Plastikhülle aufzubrechen, ohne das ganze Teil zu zerstören, war aber gar nicht so einfach.

 

III. Die Planung

Gehäuse oder so etwas ähnliches

Da das Ganze möglichst leise sein sollte und deshalb mit wenig Lüftern auszukommen hat, dachte ich sofort an den Kamineffekt, also eine Röhre, in die unten die kalte Luft reingeht und gerade – entsprechend ihrer natürlichen Ausbreitungsrichtung – nach oben durchgeleitet wird. Aus der Röhre wurde dann ein Kanal, der an die Wand geschraubt wird, um auch gegen Einbrecher einen gewissen Grundschutz zu bieten. Zudem wird so ein länglicher Quader an der Wand, mit einer schönen flächigen Abdeckung, nicht sofort als Server erkannt.

Das Grundelement bildet eine Hart-PVC-Platte mit 20 mm Dicke, 1800 mm Länge und 480 mm Breite, die ich bei der Firma online-plast im Internet bestellt habe. Preis 200 Euro mit Zuschnitt und Versand.

Die Platte habe ich zur zusätzlichen Schallisolierung noch auf beiden Seiten mit Schwerfolienmatten (5 kg/m2 auf Kunststoffbasis) beklebt. Zu beziehen über Akkustik-MaXX, 20 selbstklebende Platten für 67 Euro. Die telefonische Beratung bei Akkustik-MaXX war sehr gut, denn in diesem Segment gibt es unzählige Produkte, für die verschiedensten Anwendungen.

Die Platte mit den Schwerfolien beklebt wiegt jetzt um die 30 kg und wurde mit 6 dicken Schrauben und Abstandshülsen (silberne Wasserrohranschlussstücke aus dem Baumarkt) in unserem 4K-Video-Postproduktionsbüro in der Bleibtreustraße an die Wand geschraubt. Zusammen mit den Festplatten ist das Ganze ordentlich schwer und wird von keinem möglichen Einbrecher so schnell mitgenommen.

 

Hier der Plan zum Aufbau:

Fileserver Planung – nicht alle Kabel sind eingezeichnet
Fileserver Planung – nicht alle Kabel sind eingezeichnet

Konzept

Montage und Kabellängen

Hart-PVC lässt sich bohren und ist nicht so hart, wie man denkt. Man kann auch direkt in das Material Gewinde schneiden, ich habe jedoch immer Gewindehülsen mit einem Schneidegewinde außen und einem metrischen Gewinde innen benutzt (gibt es im Baumarkt). Vorsicht, die Schneidegewinde tendieren dazu irgendwo einzuhaken und schräg in das Material zu gehen. Mehr dazu im Montageteil.
Wie man in der Zeichnung sieht, sind die kritischen Punkte die Kabellängen, vor allem für die Datenkabel der Festplatten. Ansonsten hätte man die Anordnung noch etwas auseinanderziehen können um die Abwärme noch mehr zu verteilen.
Das längste was laut Spezifikation bei SATA-Kabeln funktioniert sind 1 Meter lange 4-fach-Kabel, die am RAID-Controller in die Sammelbuchsen passen und sich am Festplatten Ende aufsplitten. Achtung, die kleinen Nummernschilder an den Kabeln stimmen nicht mit der Reihenfolge am RAID-Controller überein.
Zu beziehen über den Servershop Bayern: 4 Stück Delock Kabel Mini SAS HD SFF-8643 > 4 x SATA 7 Pin 1 m (83393) für insgesamt 130 Euro.

Bei den Stromversorgungskabeln ist es einfacher, da habe ich einfach normale SATA-Festplattenstromversorgungskabel genommen, sie in der Mitte auseinander geschnitten und ein Stück dazwischen gelötet. Man sollte nur aufpassen, dass man die einzelnen Kabelstücke nicht verwechselt. Deshalb immer nur eines nach dem anderen aufschneiden! Da der Lüfter des Netzteiles nach unten die Luft hinausbläst, musste das Netzteil dummerweise auch noch verkehrt herum eingebaut werden, was die Kabel noch länger machte.

Abdeckung mit einer Haube

Alle Elemente werden auf der PVC-Platte befestigt, danach wird die Platte mit einer Haube abgedeckt, die innen zwei Lagen Schallschutzmatten besitzt. Außen auf die Haube kommt farbiger Industriefilz, so dass man am Ende einen länglichen Filzquader an der Wand hängen hat, der ein Maximum an Schallabsorption bietet.
Die Schallschutzmatten gibt es wieder bei Akustik-MaXX: HTD-20 Dämm-Matten +PU-Folie / zwei Pakete á 20 Stück für insgesamt 120 Euro. Die Matten bestehen aus Schaumstoff, der außen eine Art Glanzfolie aufgebracht hat, die verhindert, dass das Ganze sich mit Staub vollsaugt.

Luftstrom und Kühlung

Mit zwei großen 15 cm Lüftern wird der Luftstrom unterstützt. Der untere Lüfter bläst direkt auf den Prozessorkühlkörper und über einen Kanal zwischen RAID-Controller und Netzteil auch auf den Kühlkörper des RAID-Controllers. Der obere Lüfter saugt die Luft von unten an und leitet sie weiter zwischen den Festplatten hindurch, die in Längsrichtung im Kühlstrom stehen. Das Netzteil wurde verkehrt herum eingebaut, so dass der Netzteillüfter nicht entgegen des sonstigen Luftstromes arbeitet und die Luft ebenfalls nach oben abgibt. Für die zwei Zusatzlüfter musste eine Standhalterung gebaut werden. Ich habe Lüfter von noctua benutzt: „NF-A15 PWM 150x140x25 mm“ für zusammen 45 Euro.

Beleuchtung

Da die Platte mit Abstandshülsen an der Wand hängt, habe ich hinten noch ein LED-Leuchtband aufgeklebt, das mit einer Fernsteuerung sogar in der Farbe gesteuert werden kann.  Über das Wechselmenü kann man die Farben auch automatisch durchwechseln lassen und so eine Art Computermonitorlichteffekt bei Nacht erzeugen, der Büroaktivität suggeriert und vielleicht den einen oder anderen Einbrecher abschreckt. LED-Leuchtbänder mit Fernsteuerung gibt es z. B. im Baumarkt schon für 15 Euro.

IV. Montage – vorbereitende Maßnahmen

Festplatten auf Basisplatte aufschrauben

Im Baumarkt gibt es Blechplatten und Winkel. Eine einfache Blechplatte dient als Basisplatte für die Festplatten. Erst müssen aber die passenden Löcher gebohrt werden. Die Abstände der Löcher in der Festplatte unterliegen unterschiedlichen Normen, können also unter Umständen anders sein als bei mir. Für meine Platten habe ich bei HGST Western Digital, nach langem Suchen, ein Bohrschema gefunden, das für meine Festplatten gepasst hat. Man kann natürlich auch einfach mit einem Messschieber messen. Bei mir waren die Lochabstände 60 mm und 41,6 mm. Die Löcher müssen außerhalb der Mitte der Grundplatte gebohrt werden, damit die Festplatte später mittig auf der Basisplatte sitzt!

Achtung:
Die Gewinde in den Festplatten sind Zollgewinde und brauchen Senkkopf-Festplatten-Zollschrauben. (z. B. von Conrad).
Die Festplatten müssen später genau senkrecht verbaut werden, da die drehenden Teile sonst Lagerschäden bekommen. Deshalb unbedingt auf einen genauen Außenabstand zur Basisplatte achten!!!

 

Festplatten Basisplatte
Festplatten Basisplatte – aus dem Baumarkt

 

Festplatte Basisplatte körnen
Mit dem Körner auf einen Zehntelmillimeter genau zu treffen ist gar nicht so einfach – wohl dem, der eine CNC Maschine hat!

 

Festplatte befestigen
Bohrergröße 3,5 mm – plus Senker für den Senkkopf der Schraube, damit die Basisplatte später plan aufliegt

 

Bohrständer Basisplatte
Mit dem Bohrständer und Maschinenschraubstock geht es einfacher – ohne wird es schwer.

 

Mit Schablone bohren
Wenn die erste Platte passt – ich habe ein paar Versuche gebraucht – dann kann man sie als Schablone verwenden.

 

Senkkopf
Mit dem Kegelsenker Platz für den Senkkopf der Senkkopfschraube schaffen. Eignet sich auch zum entgraten der anderen Seite.

 

Festplattenschraube in Basisplatte
Festplattenschraube in der Basisplatte – der Kopf darf nicht hervorstehen, sonst wackelt die Festplatte später.

 

Achtung:
Oben und unten an der Basisplatte müssen noch die späteren Befestigungslöcher aufgebohrt werden. Ich habe DIN 912 M 5×20 Innensechskant-Schrauben rostfrei verwendet. Die Bohrung kann ruhig etwas größer sein (z.B. 8 bis 9 mm) damit man, wenn die Festplatte verschraubt ist, mit der Wasserwage justieren kann und in den Löchern etwas Spiel hat.

 

Festplatten vorbereitet
Alle 16 Festplatten sind vorbereitet und müssen vor der Montage wieder von der Basisplatte heruntergenommen werden, damit man sie bei der Montage nicht unnötig bewegt oder gar beschädigt. Denn, wo gehobelt wird, da fallen nicht nur Späne, sondern manchmal auch Festplatten vom Tisch.

Ein Pappkartonmodel zeigt die Platzverhältnisse

Serverbau Kartonmodel
Ein erstes Modell.

 

Kartonmodel Server
Zwischen Lüfter und Haube ist später noch die doppelte Schalldämmschicht angebracht.

 

Servermodel Pappe
Blick durch den Lüftungskanal.

Die noctua Lüfter haben nur Befestigungen für normale Gehäuse, deshalb brauchen sie Füße

Im Baumarkt gibt es breite Alu-Winkelschienen mit asymmetrischer Kantenlänge. Sie eigenen sich perfekt um Lüfterfüße zu bauen.

Aluschine als Lüfterfuß
Schritt 1 Mittelsteg einsägen und beide Enden rechtwinklig umbiegen. Das obere muss auch dran bleiben (anders wie auf dem Bild) und nach hinten gebogen werden!

 

Aluwinkel als Standfüße
Rechtwinklig den Fuß umbiegen. ACHTUNG: Später habe ich den kurzen Teil oben nicht abgesägt sondern zur anderen Seite weggebogen. Damit bekommt man zwei Füße im rechten Winkel zueinander. Davon habe ich leider keine Fotos!

 

Lüfterfüße
Den Bogen (und die Haltelöcher) mit einem Bleistift anzeichnen und dann, nach alt bewährter Methode, mit bohren und feilen (Rundfeile), einen schönen Bogen erzeugen.

 

die fertigen Lüfterfüße
Die fertigen Lüfterfüße, spiegelbildlich für links und rechts! Hier sieht man auch den zweiten Fuß im rechten Winkel zum vorderen, so dass man später, mit zwei Schrauben pro Seite, die Füße an der Hart-PVC-Platte befestigen kann.

 

Achtung:
Die Halterungen (beachten beim Bohren der Befestigungslöcher) müssen nachher so an die Lüfter angeschraubt werden, dass die Füße nach unten schauen, also in die Richtung, aus der die Luft angezogen wird. (Auf dem folgenden Bild ist es falsch herum!)

noctua Eingenbau Standfüße
Fertig ist das schöne Kunstwerk. ACHTUNG: Auf dem Bild verkehrt, der Lüfter muss genau anders herum rein!

Bekleben der Hart-PVC-Platte mit den Schwerfolie-Dämmmatten

Die Dämmmatten haben eine Klebeschicht auf der Rückseite, die allerdings an den Kanten überhaupt nicht zuverlässig klebt, deshalb vorher unbedingt die Kanten und die Matten mit Patex einstreichen, trocknen lassen und kantenschlüssig verkleben. Ich musste später Stück für Stück, mit Schraubzwingen und Patex, die Kanten nachkleben.

Bevor es losgeht, bekommt die Platte noch am Kopfteil einen Durchbruch für das LED-Band, das auf der Rückseite später leuchten soll. Die zwei Kabel sind, zum einen die Stromversorgung und zum anderen eine Photodiode, die ganz oben aus dem Quader herausragen soll und die Verbindung zur LED-Fernbedienung herstellt. Das Steuerkästchen kommt auf die Vorderseite, das Leuchtband auf die Rückseite, die später zur Wand schaut.

Durchbruch für LEDs
Durchbruch für das LED-Leuchtband.

 

LED-Leuchtbandsteuerung
LED-Leuchtbandsteuerung

 

bekleben der Hart-PVC-Platte
Bekleben der Hart-PVC-Platte mit Schalldämm-Schwerfolie auf beiden Seiten.

 

nachkelben der Kanten
Leider mussten die Kanten bei mir nachgeklebt werden. Besser schon die Kanten vorher mit Patex einstreichen und trocken lassen, dann fest andrücken!
Befestigungsgewinde für die Haube
In die Seiten kommen pro Seite 4 x M8 Befestigungsgewinde für die Haube.
Die fertige Server-Grundplatte
Die fertige Server-Grundplatte.

V. Gewindehülsen einbringen und PVC-Platte an der Wand anbringen

Die Befestigungs-Schneid-Gewinde-Hülsen in die Hart-PVC-Platte einbringen

Das mühsamste Geschäft des ganzen Prozesses. Hier wünscht man sich wirklich eine CNC-gesteuerte Maschine, die die ganzen Gewindehülsen und Bohrungen präzise ins Material einbringt. Doch bevor es losgeht, ein letzter Platztest:

ein letzter Platztest
Ein letzter Platztest. Hier sieht man auch die Dämmmatten der Haube an den Seiten. Die gleichen Doppellagen kommen auch an die obere Seite.
gerade Linien
Die Festplatten müssen absolut gerade hängen, deshalb muss man sehr präzise die senkrechte Linie halten. Hier: mit Schraubzwinge und Wasserwage, den Abstand nach außen für jede Reihe markieren.
die Festplatten-Grundplatten
Jetzt habe ich die Festplatten von den Grundplatten entfernt. So kann man besser bohren und schrauben. Unter die Schraubenköpfe kommen später noch eine Unterlegscheibe und ein Moosgummi, der verhindern soll, dass kleinste Vibrationen übertragen werden.

Achtung:
Die Gewindehülsen (innen M5 und grobes Außengewinde) aus dem Baumarkt schneiden sich meist schräg in die Platte. Man muss erst ein Loch vorbohren (Durchmesser am besten vorher testen und nicht durchbohren) und dann kann man die Hülse mit einem Schraubendreher eindrehen, dabei rutscht sie aber meist in die Richtung, in der das Gewinde zuerst greift.
Ich habe mir deshalb dieses Hilfswerkzeug gebastelt:
Eine lange M5-Schraube mit unten einem Stück Gewinde. Je länger die Schraube ist, umso besser! Dann habe ich am unteren Ende auf das Gewindeende eine Hülse – sozusagen als Anschlag – gedreht. Nun kommt die Hülse unten vor die Anschlagshülse und man kann die Schraube plus Hülse mit der Hand gerade halten und mit dem Ringschlüssel eindrehen. Danach dreht man die Schraube wieder raus und die Anschlagschraube sollte verhindern, dass sich die Hülse im PVC wieder mitdreht. Das geht einigermaßen, wird aber doch immer ein wenig schief. Wer schenkt mir zu Weihnachten einen CNC-Automaten?

Gewindehülsten gerade einbringen
Ein Hilfswerkezug um die Gewindehülsen wenigstens einigermaßen gerade einzubringen.

Wandmontage der großen Hart-PVC-Platte

LED-Leuchtband
LED-Leuchtband auf der Rückseite der PVC-Platte anbringen. Die Photodiode bleibt auf der Vorderseite.
LED-Band ansetzen
Das LED-Band kam als gebogener Kreis und musste deshalb durchgeschnitten und flach wieder verbunden werden.
fertige LED-Rückseite
Der Server als indirekte Lampe getarnt. Diese Seite kommt jetzt gegen die Wand.
Wasserschellen aus dem Baumarkt
Wasserrohr-Abschlussstücke aus dem Baumarkt als Abstandshalter. Darunter wieder Moosgummi gegen Vibrationsübertragung, was aber bei dem Gewicht wahrscheinlich nicht viel nützt, da das Moosgummi sofort zerquetscht wird.
Wandbefestigung
Jetzt wird die Platte mit sechs Schrauben GERADE an die Wand geschraubt. Wasserwaage verwenden und sehr genau bohren. Mit einem Loch anfangen und dann die Platte als Schablone nutzen. Währenddessen muss eine zweite Person immer die Wasserwaage kontrollieren!
Serverplatte hängt an der Wand
Die Serverplatte hängt an der Wand!

VI. Befestigung der einzelnen Elemente auf der Grundplatte

Festplatten Montage

Western Digital sagt dazu:

Physical mounting of the drive:

WD drives will function normally whether they are mounted sideways or upside down (any X, Y, Z orientation). Of course, the physical design of your system may limit the positions in which the drive can be mounted. However, in all cases, you should mount the drive with all four screws for good grounding. Also ensure that there is enough air space around the drive for adequate air flow, and avoid mounting the drive near sources of excessive heat (such as some CPUs).

Mount the drive in the system:

The drive can be mounted in a standard 3.5″ device bay. The drive can be mounted sideways, on end, or even upside down as long as the mounting screws are used properly. Use either the four bottom screws or four of the side mounting screws to support the drive. This will prevent vibration and provide additional electrical grounding.

Um eine möglichst lange Lebensdauer der schnell drehende Scheiben innerhalb der Festplatten und eine optimale Positionierung der Schreib- und Leseknöpfe zu erreichen müssen die Festplatten – nach allgemeiner Fachmeinung – jedoch möglichst senkrecht hängen (oder genau waagrecht liegen, was noch besser ist) und sollten nach einer gewissen Lebenszeit auch nicht in ihrer Lage geändert werden. Man liest in vielen Foren, dass die Oberseite nach unten für die Kopfsteuerung ebenfalls sehr problematisch wäre.

Was das oben erwähnte „electrical grounding“ betrifft, so geht es dabei um statische Aufladungen und „Masseströme“. Die Masse (negativer Pol) sollte z. B. bei Stereoanlagen immer sternförmig zu einem Punkt hin geführt werden, da man sonst in der Audiotechnik sogenannte „Masseschleifen“ und daraus resultierend „Massebrummen“ bekommt. Ich hatte erst angefangen, jede Grundplatte noch mit einem kleinen Kabel sternförmig zu einem gemeinsamen Massepunkt am Netzteil zu führen, bis ich festgestellt habe, dass die Stromversorgungskabel der Festplatten ebenfalls die Masse an das Festplattengehäuse und damit an die Grundplatte der Festplatte führen. Ein weiteres Kabel hätte somit eine „Masseschleife“ produziert. Deshalb habe ich das Kabel an der Grundplatte wieder weggelassen.

Festplatten im Lot montieren.
Festplatten im Lot montieren. Dazu die Schrauben an einer Seite leicht öffnen und mit der Wasserwaage ausrichten. Ich habe nur zwei Schrauben über Kreuz eingebracht.
Festplatten mit Mossgummi befestigt
Festplatten mit Moosgummi befestigt, zur Verhinderung der Übertragung von Vibrationen. Dazu eine Gürtellochzange nehmen und ein Loch in das Moosgummi stanzen.
obere Halteplatte
Obere Halteplatte mit drei Gewindestangen befestigen und mit Moosgummi unterlegen.
Festplatten fertig montiert.
Festplatten fertig montiert.

Vorausgesetzt die PVC-Grundplatte hängt im Lot, dann kann man mit dem Server, nur durch Lösen der PVC-Plattenschrauben, auch umziehen.

Nachträglicher Einbau von Dämpfungsfilzen unter den Festplatten

Nachdem ich den Server in Betrieb nahm, habe ich festgestellt, dass trotz der Schwerfolienbeschichtung der PVC-Grundplatte auf beiden Seiten, sich die Vibrationen der Festplatten auf die Grundplatte übertragen. Aus diesem Grund habe nachträglich noch unter jeder Festplatte eine Dämpfungsschicht aus 5 mm Filz angebracht. Für die Befestigungsschrauben musste ein 10 mm Loch aus der Filzplatte ausgestanzt werden (Stanzwerkzeug – wieder mal ein Gang zum Baumarkt).
Die Vibrationen sind nicht nur für die einzelne Platte problematisch, sie übertragen sich auch auf alle anderen Platten. Man kann sich vorstellen, wie schwer es für die Elektronik ist, unter solchen Bedingungen, die Lese- und Schreibköpfe in den Festplatten perfekt zu platzieren und auf Position zu halten.

Filz um Vibrationen zu dämpfen
Filz um Vibrationen der Festplatten zu dämpfen

Einbau des Netzteiles, der Lüfter und der restlichen Komponenten

Netzteil und Lüfter befestigen.
Netzteil und Lüfter befestigen. Unter dem dicken Kabel sieht man den Flashspeicher für den Raid-Controller.

Das Netzteil steht auf einer Winkelschiene (mit Moosgummi abgefedert) und ist mit einem Lochband, wie immer mit Moosgummi darunter, festgemacht. An der Frontseite halten noch zwei Winkelstücke mit den kleinen Schräubchen, die beim Netzteil dabei waren und in die dortigen am Netzteil vorgesehenen Gewinde passen, das Gehäuse zusätzlich fest.

Der Lüfter steht schräg, so dass er sowohl den RAID-Controller, als auch das Mainboard erreicht. Später gibt es hier noch etliche Verbesserungen. Siehe weiter unten.

 

Die Steuereinheit
Die Steuereinheit des Servers und der LED-Leiste.

In einem Plastikgehäuse sind folgende Elemente untergebracht:

a. LED-Stromversorgung
b. LED-Feinsicherung
c. LED-Ein/Aus-Schalter
d. Überspannungsschutz
e. Ein/Aus-Schalter für das Servernetzteil
f. Feinsicherung für den Server
g. Konverter für Strom-Ein-LED in rot

Im Hintergrund sieht man noch die Zugentlastung für die Kabel, die in eine Kabelspirale münden und 20 Meter lang sind (2 x LAN, 1 x IPMI-LAN, 1 x Netzkabel).

Dahinter ist die SSD-Festplatte zu erkennen, die mit Resten der Lüfterfüße-Winkelschienen befestigt ist.

Hier sehen Sie nun das Ganze fertig verkabelt. Im Deckel die Platine für die rote Power-LED (Conrad):

Steuereinheit verkabelt
Steuereinheit komplett verkabelt.
LED-Stromversorgung
LED-Stromversorgung aus dem Steckergehäuse herausgenommen.

Die Steckdoseneinheit des LED-Bandes habe ich aufgesägt und nur die Unterschale behalten, in die ich dann die Platine mit Heißkleber wieder eingeklebt habe. Das Ganze wurde dann mit Plastikschrauben am schwarzen Gehäuse befestigt.

Plastikschrauben
Plastikschrauben (gibt es bei Conrad in der Modellbauabteilung). Hinten sieht man die Metallabstandshülse, die mit einer solchen Schraube fixiert ist.
Überspannungsschutz
Den Überspannungsschutz habe ich ebenfalls mit roher Gewalt aus dem Originalgehäuse gewuchtet und dann mit Plastikschrauben in der schwarzen Kiste befestigt.

Am Überspannungsschutz sieht man eine kleine grüne LED, die leuchtet, wenn alles ok ist, also die Elektronik Strom hat und funktioniert. Sie schaut beim Server an der Seite der schwarzen Kiste zur Innenseite hin heraus.

guter Stecker
Endlich mal ein ordentlicher Stecker, mit Klemmen zum Schrauben, die auch halten. (Conrad)
Server Startimpuls und Reset
links: An/Aus für den Server, daneben für die LEDs und rechts: Server Startimpuls (rot) und Reset (schwarz)

Neben der schwarze Kiste habe ich auf einem Winkelstück den Startknopf für das Mainboard und den Reset-Knopf untergebracht. Daneben sieht man die rote LED, die anzeigt, dass das Netzteil Strom bekommt. Sie ist an einem langen Kabel, könnte deshalb noch als einziges sichtbares Zeichen durch die Haube nach vorne geführt werden, so dass unten am Quader immer ein kleines rotes Lichtchen leuchtet. Da der Filz der Abdeckung später rot werden soll, würde es kaum auffallen. Momentan muss man sich auf den Boden legen, um zu sehen ob der Server Strom bekommt. Dafür gibt es nach außen kein sichtbares Zeichen von Elektronik oder Server, was in Bezug auf Büroeinbrecher auch nicht schlecht ist

VII. Verkabelung

Die Kabel für die Festplattenstromversorgung müssen verlängert werden. Wenn man sie aufschneidet, fächert sich die äußere Hülle sofort auf und man muss auf der Stelle den Schrumpfschlauch darüber ziehen und erst dann löten.

Stromkabel verlängern
Festplatten-Stromkabel verlängern. Immer nur ein Kabel durchschneiden, sonst kommt man schnell durcheinander.
verlängerte SATA-Stromversorgungskabel
Verlängerte SATA-Stromversorgungskabel.
LED-Steuereinheit
LED-Steuereinheit mit Photodiode am oberen Ende der PVC-Platte. Langes Kabel mit Winkelstecker von Conrad.
Zugentlastung
Zugentlastung für die Kabel, nicht schön, aber es funktioniert. Die Kabel sind mit Isolierband umwickelt.
erster Testlauf
Ich habe zum Testen ein Ubuntu-Desktop-System aufgespielt. Links neben dem Netzteil sind die Festplatten-Stromversorgungskabel nochmals in einer Hülle untergebracht (gibt’s bei Conrad).

VIII. Erster Betriebstest

Temperatur und Lüfter

Mich haben vor allem die Temperaturwerte des Mainboards und des RAID-Controllers interessiert. Bei fast allen Servern, die in normalen Gehäusen untergebracht sind, würde sowohl auf dem Mainboard-Prozessor-Kühlkörper, als auch auf dem RAID-Controller-Kühlkörper ein kleiner Lüfter sitzen, der mit 1.500 Umdrehungen und mehr pro Minute dreht und direkt den Kühlkörper von oben anströmt, aber einen Höllenlärm veranstaltet. Auch wenn durch den fehlenden Deckel noch kein Kamineffekt vorhanden ist, wollte ich trotzdem sehen, wie heiß das Ganze wird.

Der RAID-Controller mit dem Flashmodul hat eine erlaubte Betriebstemperatur von 0 °C bis 50 °C, gemessen in 2,5 cm Entfernung vom Controller. Der Ausfallabstand wird bei 40 °C angegeben, bei dieser Temperatur wurde der Controller vom Werk getestet. Ferner verlangt der Hersteller einen Luftstrom am Controller von 200 lfm (linear feet per minute). Der Air Flow Conversion Calculator rechnet aus, dass bei meinem Kubus ca. 30 m3 Luft pro Stunde durch den Kanal gepumpt werden müssten. Die noctua Lüfter NF-A15 PWM machen (ich gehe mal davon aus, bei der höchsten Drehzahl von 1.200 U/min gemessen) 115,5 m3/h. Sie haben eine Minimaldrehzahl von 300 U/min und laufen bei mir mit 500 U/min D. h. bei mir sind es 48 m3/h, die jeder Lüfter bewegt. Der Luftstrom des unteren Lüfters wird  noch aufgeteilt auf das Mainboard und RAID-Controller, wobei der obere Lüfter ja auch noch Luft ansaugt. Rein rechnerisch müsste es also geradeso reichen, wenn die Lüfter auf kleinster Stufe laufen.

Ergebnis:
Sowohl der RAID-Controller, als auch das Mainboard waren innerhalb der Toleranzen, aber im oberen Bereich.

Dies verringert die Haltbarkeit aller Elemente und ist natürlich nicht sehr betriebssicher. Ich habe deshalb beschlossen beide Kühlkörper auszutauschen und durch etwas „richtig Großes“ zu ersetzen. Schließlich will ich auch nicht, dass meine beiden großen Lüfter ständig auf Hochtouren laufen.

 

Pumpende Lüfter:
Die großen Lüfter hatten auch ein ständiges Abfallen der Geschwindigkeit und erneutes Hochpumpen bis an den Anschlag. Darum habe ich mich später gekümmert (Threshold). Die Mainboardhersteller gehen anscheinend davon aus, dass man immer die kleinen Lärmerzeuger verwendet, die mit hohen Umdrehungszahlen drehen und in einem möglichst engen Gehäuse  untergebracht sind (zur Lüftersteuerung, siehe Teil 2 Software).

IX. Kühlerumbau zur Temperaturoptimierung

Strategie beim Kühlerumbau

Das Servermainboard ist ein Stromsparboard, das, verglichen mit einem schnellen Desktop-PC, sehr wenig Wärme produziert. Wenn ich nun große Kühlkörper mit Heatpipes benutzen würde, dann müssten meine zwei großen leisen Lüfter mehr als genug Kühlung produzieren. Das einzige Problem war, große CPU-Kühler zu finden, die auch auf das Server-Mainboard und den RAID-Controller passen. Zudem wollte ich am Netzteil noch ein Luftleitblech anbauen, damit keine Luft zur Seite abweicht, sondern der ganze Luftstrom des unteren Lüfters auf den Kühlkörpern landet.

Großer Kühler für das Server-Mainboard

Hier wurde ich sehr schnell fündig, beim Hersteller noctua aus Österreich. Der NH-U9S-Kühlköper ist asymmetrisch aufgebaut, so dass er nicht mit den Speichermodulen kollidiert und hat 5 Heatpipes, die für meinen kleinen Prozessor mehr als ausreichend sein sollten. Mit 12,5 cm Höhe und 524 Gramm Gewicht, ist er ein stattlicher Koloss. Die Anschlüsse und Verbindungselemente passen natürlich nicht auf mein Serverboard, können aber leicht angepasst werden. Zudem hat er am Kopf eine Bohrung, die durch alle Kühllamellen geht und die später wichtig für meine Montage sein wird. Gefunden habe ich den Kühlkörper ab Lager zur Abholung (am Samstag Morgen) bei Caseking in Berlin für 60 Euro.

neuer Kühler Serverboard
noctua Heatpipe für das Serverboard. Ganz schön groß der NH U9S verglichen mit dem original „Kühlerchen“, das unten noch zu sehen ist.
Serverboard ohne Kühler
Serverboard ohne Kühler

Der alte Kühler ging erst nicht ab und klebte mit der Wärmeleitpaste ziemlich fest. Ich habe dann einfach alles angeschlossen und den Server 10 Minuten laufen lassen, bis der Prozessor warm war, dann ging alles ab wie Butter.

Rückseite des Serverboards
Die Rückseite des Serverboards hat immerhin einen kleinen Rahmen, der Teile des Gewichtes abfangen kann. Da das Board senkrecht an der Wand hängt und das Gewicht des Kühlers somit oben zieht und unten drückt, habe ich das Gewicht noch mit einem Rahmen abgefangen. Siehe weiter unten.
Modellbefestigung aus Pappe
Modellbefestigung aus Pappe

Pappmodell: Die eigentliche Befestigung des noctua-Kühlers habe ich entfernt. Die seitlichen Flügel des Kühlerfußes können mit einem einfachen Metallblättchen verlängert werden, so dass sie bis zu den Originalschrauben, die durch das Serverboard kommen, reichen.
An der Stirnseite rechts sieht man den kleinen Kühlkörper des LAN-Prozessors. Diesen wollte ich erst mit einem kleinen Alublech abschirmen, damit die Hitze der Kühlkörperröhren nicht auf ihn abstrahlen. Später habe ich gemerkt, dass die Röhren der Heatpipe überhaupt nicht heiß werden und somit auch keine Wärme abstrahlen, da war es besser das Hitzeschild wieder zu entfernen und dem Luftstrom in meinem Server-Quader die Möglichkeit zu geben auch am LAN-Prozessor-Kühlkörper vorbeizukommen.

Verlängerung des Fußes
Verlängerung der Befestigungsflügel am Fuße des Kühlkörpers mit zwei einfachen Blechen. In den Fußflügel habe ich M4-er Gewinde eingebracht.
Kühlkörper befestigt
Kühlkörper fertig befestigt. Man sieht schön das Verlängerungsblech und die Schrauben die durch das Serverboard von der unteren Halteplatte kommen.

Da die noctua-Heatpipe asymmetrisch ist, muss man darauf achten, dass der etwas freiere Raum auf der Seite der RAM-Speicher-Chips ist. Hochwertige Wärmeleitpaste wird von noctua mitgeliefert. Die Federn stammen aus dem Baumarkt, darüber ist eine Unterlegscheibe und zwei Kontermuttern. Die Kopfmutter ist einfach ein Zierabschluss und hat keine Funktion.
Die ganze Heatpipe wird nur durch die Federn angedrückt, damit auch bei Hitzeausdehnungen des Materials immer ein schlüssiger Kontakt zum Prozessor-Chip besteht.

Hitzeschild
Das Hitzeschild, das ich später wieder entfernt habe. (Hier haben die Befestigungsschrauben des Kühlkörpers noch keine Federn.)

Das Hitzeschild war mit einem Arm in der Mitte des Fußes festgeschraubt. Ich habe es später wieder entfernt, da es den Luftstrom zum LAN-Prozessor-Kühlkörper blockiert hat und die Röhren der Heatpipe nicht wirklich warm werden.

 

Gewichtabfangbügel
Um das Gewicht (524 Gramm) der großen Heatpipe abzufangen ein Haltebügel.

Um das Gewicht abzufangen habe ich einen Haltebügel gebaut, der am Kopfende der Heatpipe eine Schraube hat, die in das vorhandene Montageloch in den Kühllamellen passt.

Abfangbügel fertig
So sieht der Abfangbügel fertig montiert aus. Links sieht man das Luftleitblech.
Luftleitblech
Das Luftleitblech aus Alu verhindert, dass die Luft seitlich zum Netzteil geht. Der aufgeklebte Moosgummi verhindert Vibrationsgeräusche am Lüfter.
Luftleitblech montiert
Der Luftstrom des Lüfters soll zum Raid-Controller und Serverboard, nicht zum Netzteil. Das Loch in der Mitte ist für die unteren zwei Datenkabel der Festplatten, die hier an das RAID-Controllerboard gehen.

Damit ist der Umbau der Server-Prozessor-Kühlung fertig.

Umbau der Kühlung des RAID-Controller-Prozessors

Hier hab ich keine wirklich gute Lösung gefunden, da der Originalkühlkörper nur mit zwei Federschräubchen festgeklemmt war und aus einem Mini-Alu-Noppenkühlkörper bestand. Um die Klemmstifte herum sind in der Platine ganz knapp Leiterbahnen angebracht, so dass man auch nichts größeres, z. B.  Schrauben mit Muttern, verwenden konnte.
Meine Strategie war dann einfach durch Masse die Wärme besser abzuleiten und zu verteilen. Ich habe deshalb einen normalen 90 mm Alu-Elektronikkühlkörper genommen, den es als Stangenware gibt (Conrad). Das Zusägen und Einbringen der Aussparungen (ich wollte ja soviel wie möglich Masse erhalten) war dann ohne Fräsmaschine ein ziemliches „Gemetzel“.

alter und neue Kühlkörper
Neuer und alter Kühlkörper für den RAID-Controller. Man sieht schön die kleinen Federstifte, mit denen der kleine Kühlkörper lediglich auf den RAID-Controller aufgeklemmt war. Den neuen Kühlkörper habe ich so abgesägt, dass er gerade zwischen die Datenkabelbuchsen geht.
Kühlkörper bearbeiten
Wieder mal, wohl dem, der eine Fräsmaschine sein Eigen nennt. Aussparungen für diverse Bauteile auf der Platine des RAID-Controllers. Mit der Bohrmaschine „rausgebissen“.

Da der Kühlkörper nun über den ganzen mittleren Teil der Platine reicht, mussten etliche Aussparungen für Elektronikbauteile gemacht werden, die höher als der Prozessor sind. Rechts neben der Klemmschraube sieht man schwach auch eine Mulde, die vor allem verhindert, dass eine ganze Reihe von Kondensatoren an den Kühlkörper anstoßen. Die Kontaktfläche habe ich abgeklebt und den Kühlkörper an der Unterseite mehrfach lackiert, damit eine Isolationsschicht entsteht, falls es aus irgendwelchen Gründen doch einmal zu einem Kontakt eines Bauelementes mit dem Kühlkörper kommt. Das blockiert etwas die Wärmeabstrahlung, aber besser weniger Abstrahlung als Kurzschlüsse.

Aussparungen am Kühlkörper
Aussparungen am Kühlkörper. Am Ende sieht es gar nicht so schlecht aus. Der Klemmstift muss durch alle Kühllamellen hindurch.
Klemmstift
Der zweite Klemmstift und die Aussparung für die Datenkabelbuchsen.
Dreipunktbefestigung Kühlkörper
Dreipunktbefestigung des Kühlkörpers, Schraube in der Mitte.

Ein Stuhl braucht mindestens drei Beine, damit er steht. Die zwei Klemmstifte waren eine wackelige Angelegenheit, vor allem, da der Prozessor nicht sehr groß ist und nur eine kleine Auflagefläche für den Kühlkörper bietet. Die dritte Schraube mit Feder geht lose durch den Kühlkörper und ist am Metallrahmen des RAID-Controllers befestigt. Siehe nächstes Bild.

Rahmen
Hier sieht man die Metallschiene (oben an der Platine) des RAID-Controllers, die bis zur vorderean Abdeckung geht, die normalerweise außen am PC-Gehäuse zu sehen ist. Direkt an den Lamellen des Mainboard-Kühlkörpers sieht man schwach die Öse mit der Schraube für den dritten Befestigungspunkt des RAID-Controller Kühlkörpers.

Damit ist der Umbau der beiden Kühlkörper abgeschlossen.

Fazit für den Kühlkörperumbau

Die Lösung beim RAID-Controller ist ziemlich wackelig und wirklich suboptimal, aber sie funktioniert. Mit rohen Kräften sollte man allerdings nicht dagegen stoßen. Die Lösung für das Serverboard mit der noctua-Heatpipe ist wirklich gut gelungen und der Umbau war nicht schwierig. Der Halterahmen hält jetzt auch das Luftleitblech und man kann schön die Kabel daran befestigen. Eine runde Sache.

Die Wärmewerte

Für das Serverboard, wie zu erwarten, sind die Werte perfekt. Der Prozessor geht auch bei Volllast selten mal über 40 °C, in der Regel liegt er irgendwo bei 36 °C (gemessen mit dem Linux-Programm „sensors“).

Für den RAID-Controller sind die Werte nicht um soviel besser geworden, allerdings sind die Spitzen gekappt, da die große Masse des neuen Kühlkörpers die Wärme wirklich viel besser auffängt, als der kleine Minikühlkörper. Die Temperatur liegt jetzt bei 51 °C, gemessen über das Programm „sensors“.

Benutzt man das Linux-Programm „sensors“ so erhält man jetzt folgende Werte:
RAID-Controller: +51°C – (hoch: +120 °C, kritisch +110 °C)
Hauptprozessor: +36 °C – (hoch: +82 °C, kritisch +104 °C)

Anmerkung:
Die Temperatur sollte laut RAID-Controller-Datenblatt in 2,5 cm Entfernung vom Controller gemessen werden. Das wäre dann sicherlich noch um etliches geringer, als meine Messungen, die ich elektronisch über das Linux-Programm „sensors“ ermittelt habe.

Die Werte von „sensors“ beziehen sich auf Sensoren innerhalb des Chips, die ihre Daten an das Betriebssystem melden, deshalb der hohe Wert beim RAID-Controller. Warum beim RAID-Controller der Wert für „hoch“ größer ist als für „kritisch“ ist schwer zu sagen.

Es gibt zudem das Programm „SuperDoctor5 – Doktor mit „c“=Doctor“ von Supermicro das man über den Browser aufruft:
http://localhost:8181/SuperDoctor5/

Alle Temperaturen in °C, erster Wert momentan, zweiter Wert Höchstwert:

  • FAN1 400 RPM (minimal ist hier laut noctua 300 RPM +/– 20%)
  • FAN2 400 RPM
  • CPU 37/102,2
  • System 27/80,6
  • Peripherie 43/109,4
  • MB_10G 53/127,4 (der 10-Gigabit-LAN-Controller wird am wärmsten)
  • DIMM A1 21/89,6
  • DIMM A2 31/87,8

X. Der Fileserver fertig verkabelt und montiert

Anschlüsse stimmen nicht
Achtung die Anschlüsse des Raid-Controllers sind anders als in der Bedienungsanleitung. Für die Belegung von CN0-CN3 siehe das RAID-Controller Schema ganz am Anfang des Blogbeitrags.
gute Beschriftung
Man sollte die Festplatten gut beschriften, damit man bei einem Ausfall auch die richtige Platte findet.

Achtung:
Am besten alle Seriennummern der Platten und ihre genaue Position auf der PVC-Platte vorher aufschreiben, denn im Kontrollprogramm des RAID-Controllers (maxView Storage Manager) werden die „Steckplätze“ und die Seriennummern der Platten angegeben. Bei einem normalen Server sind an den Steckplätzen meist noch Leuchtdioden angebracht, da sie über einen Festplattensockel angesteuert werden. Hier fällt dies weg, deshalb ist es bei einem Ausfall wichtig, genau zu wissen, wo welche Platte angeschlossen ist!

SSD Befestigung
Die SSD-Festplatte bekommt ihren Strom direkt über ein Molexkabel mit Adapter vom Serverboard.
oberer Lüfter
Die Festplattenstromversorgung kommt über ein Kabel, das sich am Ende in vier Stecker aufsplittet. Die SATA-Stromkabel stecken alle nochmals in einem Hüllenschlauch, damit es etwas ordentlicher aussieht (ganz links).
10 Gb/s LAN
Links oben die zwei 10 Gb/s LAN-Kabel (blau und gelb) vorne das IPMI-Kabel. Hier sieht man auch, dass die Heatpipe gut auf die Platine passt. Der RAID-Controller ist über einen Winkel am oberen Ende fixiert, so dass er nicht aus den Kontakten rutschen kann.
zwei Lüfter und Kühlkörper
Die zwei Lüfter und die neuen Kühlkörper. Links das Luftstromleitblech.
von unten der Fileserver
von unten, der Fileserver
Fileserver fertig verkabelt
Der Fileserver fertig montiert und verkabelt.

XI. Deckel drauf und fertig

Die Winkelbleche an den Seiten der PVC-Grundplatte anbringen

Schon im ersten Arbeitsschritt haben wir auf jeder Seite der PVC-Grundplatte vier Bohrungen eingebracht und mit 8 mm Gewinden direkt im PVC versehen. Jetzt kommt an jede Bohrung eine Winkelblech aus dem Baumarkt. Die lange Seite muss für ihre Länge folgendes berücksichtigen:

  • die Dicke der Hart-PVC-Platte plus
  • die Dicke der zwei Schwerfolien plus
  • die Höhe des höchsten Bauelementes auf der Platte (CPU-Kühlerbügel) plus
  • Platz für zwei Lagen Dämmschaummatten

Dabei kam bei mir eine Länge von 232 mm heraus. Das kurze Stück der Bügel dient zur Befestigung der Deckelplatte.

Winkelbügel für die Abdeckhaube
Winkelbügel für die Abdeckhaube
Befestigung der Bügel
Befestigung der Bügel mit einer M8 Innensechskantschraube

Die Abdeckplatten gibt es im Baumarkt, sie heißen dort HAFA-Platten (Hartfaserplatten – gerne als Schrankrückwand genutzt), einseitig weiß beschichtet. Man kann auch Platten aus Leichtkunststoff verbauen, doch die kosten nicht 20 Euro sondern gleich 200 Euro.

Die weiße Seite muss nach innen, damit die Klebeschichten der Dämmmatten daran halten. Auf der Holzseite ist das Zeug ganz schön bröselig, so dass sich mit der Zeit Klebebänder lösen würden. Auf der Holz-Außenschicht wird dagegen später Filz aufgebracht, den man mit Holzkleber (Ponal) kleben kann, der das bröselige Holz bindet.

Die seitlichen Platten müssen genau dieselbe Breite haben wie die Bügel lang sind, also 232 mm, die Länge beträgt 1800 mm – entsprechend der Länge der Hart-PVC-Grundplatte.

Die Breite der HAFA-Deckelplatte ergibt sich aus folgenden Überlegungen:

  • Hart-PVC Grundplatte mit 480 mm
  • 2 x Metallbügeldicke 4 mm
  • 2 x HAFA-Plattendicke 10 mm

Macht für die Deckelplatte: 494 mm x 1800 mm

Hartfaserlatten (HAFA) an den Metallbügeln befestigen

Die HAFA-Platten werden mit Nieten an den Metallbügeln fixiert. Dafür kann man die vorhandenen Löcher nutzen, man muss jedoch von innen mit 4 mm bohren. Außen werden Senkungen angebracht, damit die Nieten nicht überstehen und später den Filz ausbeulen, der oben drauf kommt.

Nieten der Platten
Nieten der Platten, mit Senkungen für die Nieten, damit sie nicht überstehen und später Beulen verursachen.
Nieten 4 mm Alu
Nieten 4 mm Alu mit Nietzange aus dem Baumarkt
Platten auf Bügel befestigen
Platten an den Bügeln befestigen – oben und unten jeweils vier Nieten
Die Seitenteile der Haube
Die Seitenteile der Haube.
Die kurzen Seiten der Winkel
Die kurzen Seiten der Winkel, hier wird die Deckplatte befestigt.
Nieten positionieren
In die kurzen Seiten der Winkel kommen jeweils drei Nieten, da hier Hebelkräfte auftreten können.
Kofler Linux für die Montage
Der „Kofler – Linux das umfassende Handbuch“ – hilft auch bei der Montage. Er ist ordentlich dick und hat einen stabilen Deckel. Unentbehrlich beim Serverbau und auch als Fußverlängerung zu gebrauchen!

Fertige Haube mit Dämmplatten auskleiden

Die Schalldämmplatten mit Klebefolie und PU-Versiegelung zur Staubabwehr gibt es bei Akustik-Maxx. Damit wird die Haube in zwei Schichten ausgekleidet, so dass man eine maximale Schallabsorption erreicht.

Schalldämmplatten
Schalldämmplatten in zwei Lagen in die Haube einkleben.

Da ich bei den Schwerfolien, die auf die Hart-PVC-Platte kamen, gemerkt habe, dass die Klebeschicht nicht besonders gut klebte, habe ich hier zusätzlich jede Menge doppelseitiges Teppichklebeband verklebt und zwar sowohl bei der ersten Schicht, als auch bei der zweiten.

Teppichkelbeband
Teppichklebeband hält auf alle Fälle
zweite Schicht Dämmmatten
Zweite Schicht Dämmplatten, auch hier kommt ordentlich Teppichklebeband darunter, obwohl die Platten selbst auch eine Klebeschicht haben.
Seitenteile ebenfalls mit Doppelschicht
Seitenteile ebenfalls mit Doppelschicht.

Bei den Seitenteilen muss natürlich am Rand Platz gelassen werden für die Auflage der Hart-PVC-Platte. Zusätzlich habe ich auf der Höhe des Netzteiles ein kleines Stück weit die zweite Schicht weggelassen, da es dort Platz braucht für die vielen Stromkabel, die zu den Festplatten führen.

Haube mit Dämmung ausgekleidet
Haube mit doppelter Dämmung ausgekleidet

So sieht die fertige Haube innen aus, gut gedämmt und ein Kanal, in dem die heiße Luft nach oben steigen kann – der Kamineffekt.

Der Serverschacht von oben
Der Serverschacht von oben.
Der Serverschacht von unten.
Der Serverschacht von unten, über dem Lüfter und über dem CPU-Kühlerbügel ist noch ein wenig Platz.

In die äußeren HAFA-Platten wird eine Öffnung eingebracht, so dass die Innensechskantschrauben direkt auf den Metallbügeln aufliegen. Nachdem noch die 5 mm Filzplatten aufgeklebt sind, verschwindet die Schraube dann komplett in einer runden Öffnung im Filz und ist von vorne nicht mehr zu sehen.

Befestigungsschrauben Dämmhaube
Befestigungsschrauben Dämmhaube

So sieht die fertige Schalldämmhaube nach der Montage aus. Momentan fehlen nur noch die roten 5 mm Filzplatten, die anschließend mit Ponal-Holzkleber aufgeklebt werden. An den Stellen der acht Befestigungsschrauben wird eine 14 mm kreisrunde Öffnung aus den Filzplatten ausgestanzt.

Fertige Haube ohne Filzauflage
Fertige Haube ohne Filzauflage.

Filz kann man in den unterschiedlichsten Farben fertig zugeschnitten über die Filzkönigin beziehen.

 

Mit normalem Ponal-Holzkleber wird die 5 mm Filzschicht aufgeklebt.
Die Öffnungen für die Befestigungsschrauben werden nach dem Aufkleben ausgestanzt.
Die verschiedenen Lagen der Schallschutzhaube.
Die Schrauben rot lackiert.
Die Filzauflage auf der fertigen Schallschutzhaube, nicht nur ästhetisch schön sondern auch weiter dämpfend.

XII. Abschließende Betrachtungen

Der schwierigste Teil des Hardware-Aufbaus waren immer die Stellen, an denen es auf Präzision ankam. Die Bohrungen für die Festplatten-Grundplatten, das präzise Einbringen der Gewindehülsen in die Hart-PVC-Platte etc. Mit entsprechenden Maschinen tut man sich hier sicherlich viel leichter. Aber, in der Beschränkung zeigt sich ja bekanntlich erst der wahre Meister und wenn es nicht auf einen Zehntelmillimeter genau passt, dann kann man meist das Loch einfach ein wenig aufbohren.
Der Umbau der Kühlkörper hat wirklich viel gebracht. Hier braucht es sicherlich auch eine andere Produktionsphilosophie bei den Mainboard- und RAID-Controller-Herstellern. Es gibt keinen Grund laute und stromfressende Lüfter zu verbauen, wenn man genügend Platz für große Kühlkörper hat. Man kann an Firmen wie nocuta sehen, dass es auf dem Zubehörmarkt schon etliche innovative Unternehmen gibt, nur die Computerindustrie selbst scheint momentan lediglich auf Rackmontage mit flachen Gehäusen zu setzen. Die Home- oder Büro-Cloud wird aber in Zukunft immer wichtiger werden, da wir immer mehr Daten produzieren und diese, als verantwortlich handelnde Menschen, auf alle Fälle sowohl privat als auch geschäftlich unter eigener Kontrolle halten müssen.

Falls sich SSD-Festplatten in Zukunft durchsetzen und sie auch in großen Mengen bezahlbar werden, wird dieser Aufbau sicherlich ein Relikt der Vergangenheit werden. Mit SSD-Platten wird alles kleiner, auch das Netzteil. Bei der Montage kann man die Platten einfach stapeln und zudem verursachen sie keinen Lärm, also fällt auch die Schallschutzhaube weg. Zusammen mit zwei großen Heatpipes für den Prozessor und den RAID-Controller, kann man sich dann eine schöne kleine Kiste basteln, die z. B. als Teetassenabstellhocker neben dem Schreibtisch stehen könnte. Das ist vielleicht dann das nächste Projekt …

Weiter geht es jetzt mit Teil 2, der Softwareinstallation >>>

 

 

12 Kommentare

  1. Michael Pusch Michael Pusch

    Super cooles Projekt. War ganz begeistert am lesen und schauen.

    • @Michael: Danke, war am Ende aber doch ziemlich viel Arbeit, bin aber nach wie vor sehr zufrieden damit.

  2. Andreas Damm Andreas Damm

    Vielen Dank für die Mühe, welche Sie sich gemacht haben, dieses Projekt zu beschreiben und zu dokumentieren.

    Ambitionen in Ihrem Umfang habe ich nicht, aber ich bin in der Tat auf Ihren sehr lehrreichen Artikel gestoßen, weil ich mich auch mit der Einrichtung eines kleinen Linux-File-Servers beschäftige.
    Dabei ist mir Ihr Artikel sehr hilfreich!

  3. Karsten Herrmann Karsten Herrmann

    Hallo Herr Hezel,

    ein tolles, sehr kreatives Projekt!
    Was mich interssiert, der Server läuft ja bestimmt schon über 2 Jahre.
    Wie sieht es mit Staub im Inneren aus?
    Oder bleibt etwa durch den Kamineffekt gar kein Staub drinnen?

    Mit freundlichem Gruß
    Karsten Herrmann

    • Hallo Herr Herrmann,
      ja es gibt Staubflusen, die da ab und zu herunterfallen, oder sich um die Lüfter ansammeln. Zweimal im Jahr nehme ich den Deckel ab und puste alles weg. So richtig viel ist es aber nicht. Dass der Kamineffekt funktioniert sieht man auch daran, dass sich immer ein wenig Staub auf dem Boden unter dem Server sammelt. Das ist quasi die Anzeige dafür, dass der Raum mal wieder gesaugt werden müsste.

  4. Sehr geehrter Herr Hezel,
    da haben sie sehr anschaulich und leicht verständlich erklärt, wie man sich einen Server ins Büro bauen kann. Damit sinkt die Hemmschwelle selbst so ein Projekt in Angriff zu nehmen, sofern man handwerklich nicht völlig unbeleckt ist.
    DANKE für die gut illustrierte und anschauliche Arbeit.
    Dietrich Heintz

  5. Timo Timo

    wow,

    was für ein Aufwand.
    Sehr Cool! Top!

  6. Sehr cool, und du hast sehr anschaulich und einfach erklärt, wie du einen Server in deinem Büro aufbauen kannst.

  7. Was ein cooler Server-Rack, sehr gut gemacht. Die Dämmung wirk ordentlich, danke für die schöne Anleitung!

  8. Es ist großartig zu sehen, wie ihr nicht nur die Software, sondern auch die Hardware-Komponenten im Eigenbau betrachtet. Das macht den Artikel besonders interessant und lehrreich. Ich freue mich schon darauf, die nächsten Teile zu lesen und mehr darüber zu erfahren, wie ihr euren Fileserver optimiert und eingerichtet habt.

    Vielen Dank für die wertvollen Einblicke und die Mühe, die ihr in euren Blog steckt!

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert