<!DOCTYPE html>
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
</head>
<body>
<p>super kommunikation! dank euch!<br>
</p>
<div class="moz-cite-prefix">Am 06.12.24 um 14:35 schrieb <a class="moz-txt-link-abbreviated" href="mailto:az@mur.at">az@mur.at</a>:<br>
</div>
<blockquote type="cite"
cite="mid:-8umd7z-kudf8o-xgi1fi-t0u9u-lvigq76aomzjjd4wh2vab8xx91focq2mhmuy4a8q43-w2bbjfdyjify2n0cuaahwwz1-k5ub7m5kelardnnzmrtbim9oqbz4p5-uf0lny-ddba662ajhm83ffgya.1733492119422@email.android.com">
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
<div dir="auto">Wow!
<div>Beeindruckte Grüße aus dem Norden. Gute Nachtruhe wünsche
ich! </div>
<div>Alexander <br>
<br>
<br>
<br>
<br>
<div id="hw_signature">Von meinem Telefon gesendet</div>
</div>
</div>
<div style="line-height:1.5"><br>
<br>
-------- Ursprüngliche Nachricht --------<br>
Von: "Wolfi | NOC - mur.at" <a class="moz-txt-link-rfc2396E" href="mailto:noc@mur.at"><noc@mur.at></a><br>
Datum: Fr., 6. Dez. 2024, 14:26<br>
An: <a class="moz-txt-link-abbreviated" href="mailto:mur-users@lists.mur.at">mur-users@lists.mur.at</a><br>
Betreff: [mur users] Ceph - Datenpool<br>
<blockquote>
<div>
<p>Liebe mur.ats,</p>
<p><b>vorab</b>: die Webserver sind wieder online!<br>
</p>
<p><br>
</p>
<p><b>zum Hintergrund</b> oder eine Schauergeschichte: Die
neuen Festplatten sind eine Katastrophe! Das Beschreiben
mit Daten ging noch ganz gut und wir haben somit keine
Unregelmäßigkeit beim Tausch der Platten gemerkt. Beim
Lesen der Daten reagierte der Speicher plötzlich extrem
langsam. Das war letzte/vorletze Woche - der erste Moment
an dem ihr bemerkt hattet, dass eure Webservices langsam
bis extrem langsam reagierten. Unser Warnsystem schlug
auch an. Wir suchten den Fehler und bemerkten die Trägheit
der Platten. Also: Platten wieder raus! Aber zuerst
mussten die Daten, die wir schon darauf geschrieben hatten
nochmal ausgelesen und auf die anderen Feltplatten
zurückverteilt werden. Tja. Da begann dann der richtige
Schlamassel: Die Lesegeschwindigkeit der Platten war
katastrophal! Eure Webseiten wollten ausgelesen und
dargestellt werden, die Daten von den neuen Platten
wollten gleichzeitig gelesen werden um sie wieder auf die
alten Platten umzuverteilen - es war der blanke Horror -
und eure Webseiten standen still. Und dann noch die
kompromittierten Festplattenabbilder! Und wenn sich ein
Service aufgrund der langen Wartezeiten aufgehängt hatte -
wir konnten uns nicht einmal im System einloggen um die
Services wieder hoch zu fahren. Fünf Minuten Wartezeit um
einen simplen Ordnerwechsel durchzuführen. Wir konnten nur
zusehen wie der Speicher-Cluster Daten schaufelt (oder
einzelne Sandkörner hinüberträgt). <br>
</p>
<p>Bis gestern Mittag hat sich der Ceph-Cluster wieder
stabilisiert. Aber immer noch lagen Daten auf den neuen,
sau langsamen Festplatten. Irgendwann, wussten wir, müssen
wir die Daten wieder auf schnellere Platten kopieren. Eine
stundenlange Kopiererei und keine Ahnung wie sich das
ganze System verhält. Also entschlossen wir uns die Daten
auf die lokalen Datenträger der Server zu kopieren.
Insgesamt ca. 4TB an Daten (4.000GB). Ist jetzt nicht sooo
viel, aber bei der Lesegeschwindigkeit die wir erreichten,
haben wir zeitweise für 5GB eine halbe Stunde gebraucht.
Also, so dachten wir, beginnnen wir um 20:00 (nach euren
und unseren Dienstschlüssen), falls das Lesen der Daten
die Websiten wieder langsamer macht. Bis Mitternacht
werden wir dann schon fertig. Dachen wir. Jetzt ist es
zwölf. Mittags - viele kreative Ideen (Daten aus den
Backups holen, mit externen Festplatten arbeiten, paralell
Daten kopieren, nur einzelne Container kopieren ...)
später.<br>
</p>
<p><br>
</p>
<p><b>Und jetzt?</b> </p>
<p>Ist die Bereitschaft und der Telefondienst vorbei. <br>
</p>
<p><br>
</p>
<p><b>Warum</b> </p>
<p>schreibt das noc das alles? Weil es auch eine Art Kunst
ist. Und weil es übernachtig ist.</p>
<p><br>
</p>
<p><b>Und weiter? </b><br>
</p>
<p>Vier von neun neuen SSDs Platten (vieeeeel schneller als
HDDs) sind schon unterwegs. Außerdem haben wir eine
Investitionsförderung eingereicht mit der wir den Ceph neu
aufbauen wollen. Ein Ceph Server kommt dazu, statt HDDs
SSDs, statt geteilten 2Gbit Netzwerk 40Gbit dem Ceph
dediziert. Und ein HA Cluster. Wir freuen uns schon drauf!<br>
</p>
<p><br>
</p>
<p><b>Wichtig!</b></p>
<p>Am Sonntag in der Nacht werden wir die letzte große
Partition eines Webservers auf einen Server lokal ablegen!
Wir erwarten, dass sich ein paar Websiten in dieser Zeit
(fünf Stunden lang) nur langsam laden lassen.<br>
</p>
<p><br>
</p>
<p>Entschuldigt bitte die Ausfälle! Wir hoffen mit
Jahresende wieder ruhig schlafen zu können.<br>
</p>
<p><br>
</p>
<p>gute Nacht aus dem noc!</p>
<p>Ralph & Wolfi<br>
</p>
<p><br>
</p>
<pre>--
/ NOC - mur.at
/ Network Operation Center / Systemadministration
/ +43 (0)681 816 45 308
/ Di-Fr 12:00-14:00 (Support)</pre>
</div>
</blockquote>
</div>
<br>
<fieldset class="moz-mime-attachment-header"></fieldset>
<pre wrap="" class="moz-quote-pre">_______________________________________________
Users-discuss mailing list
<a class="moz-txt-link-abbreviated" href="mailto:Users-discuss@lists.mur.at">Users-discuss@lists.mur.at</a>
<a class="moz-txt-link-freetext" href="https://lists.mur.at/mailman/listinfo/users-discuss">https://lists.mur.at/mailman/listinfo/users-discuss</a>
</pre>
</blockquote>
</body>
</html>