Metro offline...

[Brucha]

LG Brucha

[Brucha]

http://forum.hypergrid.org/opensim-gener...t2868.html

zur Info, immer noch off

[Dorena Verne]

Wanda:

Huhu Metros,

eine für uns alle lange und anstrengende Woche hat heute Nacht eine Wendung genommen. Wir fangen mal ganz von vorne an um die Ereignisse für euch nachvollziehbar darzustellen. Dieser Schritt machte vorher keinen Sinn, da Einzelinformationen und Zwischenschritte sich überkreuzten und im Abstand von 30 Min. veränderten. Daher erst heute die Zusammenfassung, die nun wesentlich verständlicher sein wird.

Wie ihr wisst, lief Metropolis die letzten Monate ohne größere Zwischenfälle sauber durch. Auch den Userzuwachs haben die Server wunderbar verarbeitet. Was ihr auch wisst, in den letzten zwei Wochen traten erste Ausfälle auf und vereinzelte Fehler machten sich bemerkbar. Beim Bauen und in der Performance. Das lag daran, dass kaputte Assets auf dem Server Fehler ausgelöst haben. Diese kaputten (oder besser: korrupten) Assets sind mit an Sicherheit grenzender Wahrscheinlichkeit durch IAR- und/oder OAR-Importe in das Metropolis-Grid gelangt. Diese koruppten IAR/OAR-Daten können aber so nicht durch die OpenSim-Software generiert worden sein. Eine Möglichkeit wäre ein fehlerhafter Datentrasfer. Aber es sind Spekulationen, die uns nicht weiterhelfen.

In den darauf folgenden Wochen haben wir zunächst diese Fehler geflickt und wollten dann so schnell wie möglich den Gridserver wechseln um weitere Ausfälle zu vermeiden. Aufgrund des hohen Bewohnerzuwachses wollten wir zu diesem Zeitpunkt sowieso die Services umstellen und eine neue, sichere und schnellere Gridstruktur schaffen. Also zogen wir diesen Schritt vor und haben beides miteinader verbunden um Ausfallzeiten zu verringern.

Metropolis ging offline und wir begannen mit der Arbeit. Die durch das/die beschädigten Assets ausgelösten Fehler lösten laufend neue Fehler aus, was es uns nicht leicht machte, die Sicherung zu überspielen. Gleichzeitig begann eine Kette von unglücklichen Zufällen. Wir nennen es Zufälle, weil es zeitliche Verzögerungen waren auf die wir keinen Einfluss hatten. Bei uns im privaten Bereich, dann bei der Hardware und schließlich ganz banale Dinge wie der Zeitpunkt einer Serverfreischaltung. Das alles führte zu einer verlängerten Offlinezeit des Grids. Murphy's Gesetz hatte da voll zugeschlagen.

Als wir uns Gestern (13.05.) bei euch meldeten, sah es in der Tat endlich gut aus und wir sahen Land in Sicht. Die Daten waren alle auf dem neuen Server, die Sicherungen auch. Wir warteten auf die Freischaltung eines zweiten Servers (Eines Replikations- also Sicherungsservers) bevor wir das Grid wieder online lassen konnten. Zur Sicherheit eurer Daten. Heute Nacht passierte also etwas, was nur unter höhere Gewalt fallen kann und und uns sehr leid tut. Die Hardware im Rechenzentrum hatte einen Schaden. Diese hat sowohl die Arbeit einer ganzen Woche als auch die letzten aktuellen Sicherungen beschädigt, was besonders die Metros trifft, die in den letzten zwei Monaten zu uns gekommen sind. Bevor Panik ausbricht: Fast alle Daten sind gerettet . Den Rest versuchen wir jetzt noch aus verschiedenen Sicherungen zu rekonstruieren.

Jetziger Stand der Dinge: Wir mussten letzte Nacht einen Rollback auf März als gesicherte Basis der weiteren Arbeiten durchführen. Wir haben dann die ganze Nacht daran gearbeitet einen Großteil des Inventars aus anderen, nachfolgenden Sicherungen zurückzuholen. Wie schon erwähnt: wir haben fast alles wieder drin. Beim Rest sind wir gerade noch.

Um jetzt auch die letzten, vereinzelten Assets zurückzusichern, habt ihr nach Aufschaltung des Grids die Möglichkeit, OAR-Backups aus den Daten eures Caches zu erstellen und dann anschließend wieder einzulesen. Wir werden hierfür ein Tutorial zur Verfügung stellen. Ebenso stehen wir und das Supportteam als Uterstützung Inworld zur Verfügung.

Wichtig: Wir werden das Grid bis Donnerstag Abend geschlossen lassen um alle noch fehlenden Assets (und nur um die geht es) in die neue Datenbank zurückzuführen. Hierfür haben wir wie geplant gleichzeitig den Anbieter gewechselt und bereits eine neue Grid Service Infrastruktur installiert. Sie sieht einen Master und zwei Slave Replikationen bei unterschiedlichen Providern vor, damit wir künftig Hardwareproblemen oder Offline-Zeiten bei Providern entgegenwirken können.

Uns ist bewusst, dass viele Spekulationen über die Serverarbeiten, viel Frust und Verärgerung im Umlauf waren in den letzten Stunden. Auch ohne die aktuellen Forenberichte gelesen zu haben. Das ist nicht verwunderlich und durchaus verständlich. Wir sagen euch an dieser Stelle einfach folgendes: Wir arbeiten auf einem hohen Niveau mit viel Sachverstand und vor allem viel Herz. Wer jetzt verärgert ist und geht, der macht das bewusst und es nimmt ihm Keiner übel. Wir können nicht mehr tun, als so etwas künftig durch doppelte Replikation und Vorantreiben der Dezentralisierung zu vermeiden.

Jeder von euch weiß, es gibt technisch kaum etwas Schlimmeres als das, was passiert ist. Es kommt noch hinzu, dass keine einheitliche Form der Asset-Verlinkung in Assets und Objekten existiert. Da hat jeder Entwickler seine Duftmarken hinterlassen. Manche Recovery-Scripte mussten wir mehrmals an unterschiedliche Formate anpassen. Wir müssen bedenken, dass die Asset-Datenbank derzeit wahrscheinlich die größte im OpenSim-Umfeld ist. Solche Datenmengen kann man nicht einfach so mal schnell auslesen, wo man nicht weiss, wo der Fehler lauert. Und deswegen auch die ständige Entwicklung neuer Recovery-Scripte.

Und auch wir standen heute Nacht vor der Entscheidung - Was wollen wir jetzt? Wollen wir weitermachen? Ist das ein Rückschlag oder eine Chance? Aber Metropolis unterscheidet sich etwas von anderen Grids und dadurch beantwortet sich die Frage von selbst. Es ist das Herz, was im Metropolis Keller schlägt. Das Herz, mit dem wir zusammen daran arbeiten eine Gemeinschaft zu bilden, in der sich jeder wohl fühlt. Die Energie die von der Gemeinschaft - also euch - kommt. Und das ist etwas, an das wir glauben und auch weiterhin arbeiten werden.
Hier noch einmal allen Spekulationen zum Trotz: Uns war es nie wichtig, wie groß diese Gemeinschaft ist. Wichtig sind uns die Menschen, die dahinter stehen. Das treibt uns an und das ist der Grund warum wir weitermachen. Für die Kreativität, die Gemeinschaft und auch die Kultur.

Wir danken euch für euer bisheriges Vertrauen und freuen uns auf die Zukunft.
Euer Metropolis Team

http://forum.hypergrid.org/opensim-gener...t2870.html

[Brucha]

WOW - oder eher OMG .. warum muss der blöde Murphy auch überall sein ..

Aber super, super, super ..

[LyAvain]

Lasst uns Murphy jagen.

[Brucha]

Bin dabei Ly ..

[Dorena Verne]

Da mein Passwort im Metro-Forum ned mehr funzt,..komme ned rein,..hier noch mal ein Statement von mir:
"Tägliches Backup"
Geht bei solcher großen Bank nur per spiegeln und Abgleich.
Komplett per "big-dump" ausgeschlossen,..
macht ihr ja nun..

Korrupte iar-oar
Auch wenn es jader drüben meint,..gibt es ned ,.oder so..

Doch,gibt es.--vor allem sind iar-oar-backups nicht unbedingt abwärtskompatibel.
Heist: alte oar-iar auf neue version,..selten problematisch.
neue iar-oar auf ältere version,..durchaus,..habe das schon lokal getestet.
Osgrid hat immer neuste dev's,..zugegebenerweise wir auch,..weil die 0.7.5 ist ein Schuss in den Ofen..
Das metro lief meines Wissens zum Schluss mit der 0.7.5RC1.....

Wildwuchs von angedockten Servern,.wo eh keiner weiß,mit welcher Version sie das machen.

Dazu,wohl möglich der eine oder der andere schwachbrüstige Homie mit wackeliger Verbindung.

Ärger ist da schon vor programmiert.

Drücke euch Admins,..Lena,..Zak,..Wanda ganz doll die daumen,das ihr das in den Griff bekommt.

[Bogus Curry]

Ich schliesse mich dem Daumen drücken von der Dore an ;D

[LyAvain]

Hihi, ist natürlich auch fies... Je länger das Ganze dauert, desto höher ist die Erwartungshaltung, dass es hinterher um so besser geht...

Ich drück mal mit die Daumen...

[Klarabella Karamell]

So arm die Metros derzeit dran sind, und so sehr da die Köpfe rauchen... andere Grids könnten aus dem Desaster schon ma die eine oder andere Lehre ziehen:
Größere Aktionen in der Art, selbst kleinere wie "nur" der Umzug auf einen anderen Server, sollten möglichst mit einer Vorlaufzeit von 6 Wochen angekündigt werden mit der Aufforderung an alle Einwohner, iar und oar möglichst vorher selbst zu sichern.
Wenn dann etwas schief geht, erhöht das den Handlungsspielraum ungemein, denn dann kann man notfalls, wie von Pixel vorgeschlagen, auch ohne größere Verluste mit einer "leeren" Datenbank wieder starten.