23.01.2019, 11:20
(Dieser Beitrag wurde zuletzt bearbeitet: 23.01.2019, 11:26 von bimbam2103.)
Hallo brenner.
Das Script ist und wird OpenSource. In Kürze folgt auch der entsprechende GitHUB-Link.
@Mareta: Ich verstehe dich voll und ganz. Die Messungen werden selbstverständlich immer wieder durchgeführt.
Zum Thema kleinere Grids und alles in einer DB gehostet. Ja genau darauf zielt das Script. Wie sich das Script mit einem Grid und dezentraler Regionenverwaltung macht kann ich noch nicht sagen. Ich habe allerdings festgestellt, dass Regionen, die sich außerhalb des normalen Asset-Servers befinden einen lokalen Datenbankzugang haben (z.B. über lokalen SQLite o.ä.). Die Assets sind jedoch in der Asset-Datenbank des ROBUST. In sofern haben meine ganzen Vorredner alle Recht gehabt. Die Verarbeitung eines solchen Scripts auf dezentraler Weise wird nicht möglich sein, außer wenn alle Regionenbetreiber die OAR zur Verfügung stellen, was seltenst der Fall ist.
Allerdings ist mir nicht ganz klar, warum nur kleinere Grids die Zentralisierte Lösung nutzen können. Das letzte Grid was ich hatte (ist schon was her) beherbergte über 6000 Avatare mit dauerhaft zwischen 600 - 700 Online. Regionen waren um die 600. Performancetechnisch gab es keine Probleme. Das System war ebenfalls ausschließlich zentralisiert mit einem Datenbankserver. Allerdings wurde die Datenbank nach einer gewissen Zeit auf Cluster ausgeweitet. Das heißt drei Server haben sich die Last der Datenbank geteilt. Die Datenbank war zwar zum Schluss etwa um die 7 Terrabyte groß aber da waren rund 4 TB an unnützen Assets drin. Damals hatte ich das Bereinigungssystem noch nicht hehe. Jedenfalls hatte ich zu der Zeit für jeden Dienst einen eigenen Server:
- Asset
- Inventory
- Login
Alles andere wurde von einem Server verarbeitet. Selbstverständlich hatte ich alleine nur für die Daten und den Traffic rund 7 Server laufen (3x Datenbank, 1x Asset, 1x Inventory, 1x Login, 1x ROBUST). Aber bei rund 600 Regionen gab es genug Umsatz damit das passte.
Bevor jetzt einer fragt: Was ist denn passiert? Warum hast du das Grid nicht mehr? - Die Antwort ist sehr einfach: Die Sicherung des Grids war, wie man sich vorstellen kann recht schwierig. Es wurde wöchentlich ein Backup gemacht mit maximal 7 Backups. Das war eine enorme Datenmenge. Leider hat mein damaliger Serverhoster beschlossen die Server zu "instabilisieren". Es gab zum Schluss keinen Server mehr der stabil lief. Selbst der Webserver, der nichts zu tun hatte außer eine Webseite zu betreiben. Das ganze ist so schnell in die Hose gegangen, dass ich nicht rechtzeitig reagieren konnte. Nunja die Server wurden vom Hoster abgeschaltet, da ich mich mehrfach beschwert hatte und bum waren alle meine Daten weg. Die Backups lagen ebenfalls auf einem Server des hosters. Seit dem arbeite ich NUR noch mit eigenen Servern in einem Rack im Rechenzentrum oder gemieteten Servern aber in meinem eigenen Rack.
Ich arbeite derzeit noch an einer Lösung für dezentrale Grids. Ich schaue mir die Datenbankeinträge an und was eine Dezentrale Region überhaupt in die Datenbank einträgt wenn sie sich mit dem Robust verbindet. Theoretisch müsste es irgendwo einen Anhaltspunkt geben. Genaues kann ich jedoch im Moment zum dezentralen Grid noch nicht sagen.
Was ich jedoch berichten kann ist folgendes:
Die letzte Laufzeit des Scripts ist nun beinahe 24 Stunden her und es sind keine Probleme wie z.B. fehlende Assets aufgetreten. Ich habe alles aus meinem Inventar (12.000 Assets ca.) gerezzt und geschaut ob alles ok ist. Ohne Schwierigkeiten.
Jetzt muss ich natürlich den Bereinigungsvorgang nochmals laufen lassen um die ganzen gerezzten Assets, die danach wieder gelöscht wurden wieder weg zu bekommen hehe.
Tatsache ist: Das Script funktioniert einwandfrei. Meine Datenbank ist nun auf 2,8 GB angewachsen. Das entspricht 1 GB mehr als vor der ersten Bereinigung. Wenn ich die Bereinigung nun nochmal durchführe werden wir sehen ob es einen großen Zuwachs der Bearbeitungszeit gibt.
Viele Grüße
Christian Nill
Das Script ist und wird OpenSource. In Kürze folgt auch der entsprechende GitHUB-Link.
@Mareta: Ich verstehe dich voll und ganz. Die Messungen werden selbstverständlich immer wieder durchgeführt.
Zum Thema kleinere Grids und alles in einer DB gehostet. Ja genau darauf zielt das Script. Wie sich das Script mit einem Grid und dezentraler Regionenverwaltung macht kann ich noch nicht sagen. Ich habe allerdings festgestellt, dass Regionen, die sich außerhalb des normalen Asset-Servers befinden einen lokalen Datenbankzugang haben (z.B. über lokalen SQLite o.ä.). Die Assets sind jedoch in der Asset-Datenbank des ROBUST. In sofern haben meine ganzen Vorredner alle Recht gehabt. Die Verarbeitung eines solchen Scripts auf dezentraler Weise wird nicht möglich sein, außer wenn alle Regionenbetreiber die OAR zur Verfügung stellen, was seltenst der Fall ist.
Allerdings ist mir nicht ganz klar, warum nur kleinere Grids die Zentralisierte Lösung nutzen können. Das letzte Grid was ich hatte (ist schon was her) beherbergte über 6000 Avatare mit dauerhaft zwischen 600 - 700 Online. Regionen waren um die 600. Performancetechnisch gab es keine Probleme. Das System war ebenfalls ausschließlich zentralisiert mit einem Datenbankserver. Allerdings wurde die Datenbank nach einer gewissen Zeit auf Cluster ausgeweitet. Das heißt drei Server haben sich die Last der Datenbank geteilt. Die Datenbank war zwar zum Schluss etwa um die 7 Terrabyte groß aber da waren rund 4 TB an unnützen Assets drin. Damals hatte ich das Bereinigungssystem noch nicht hehe. Jedenfalls hatte ich zu der Zeit für jeden Dienst einen eigenen Server:
- Asset
- Inventory
- Login
Alles andere wurde von einem Server verarbeitet. Selbstverständlich hatte ich alleine nur für die Daten und den Traffic rund 7 Server laufen (3x Datenbank, 1x Asset, 1x Inventory, 1x Login, 1x ROBUST). Aber bei rund 600 Regionen gab es genug Umsatz damit das passte.
Bevor jetzt einer fragt: Was ist denn passiert? Warum hast du das Grid nicht mehr? - Die Antwort ist sehr einfach: Die Sicherung des Grids war, wie man sich vorstellen kann recht schwierig. Es wurde wöchentlich ein Backup gemacht mit maximal 7 Backups. Das war eine enorme Datenmenge. Leider hat mein damaliger Serverhoster beschlossen die Server zu "instabilisieren". Es gab zum Schluss keinen Server mehr der stabil lief. Selbst der Webserver, der nichts zu tun hatte außer eine Webseite zu betreiben. Das ganze ist so schnell in die Hose gegangen, dass ich nicht rechtzeitig reagieren konnte. Nunja die Server wurden vom Hoster abgeschaltet, da ich mich mehrfach beschwert hatte und bum waren alle meine Daten weg. Die Backups lagen ebenfalls auf einem Server des hosters. Seit dem arbeite ich NUR noch mit eigenen Servern in einem Rack im Rechenzentrum oder gemieteten Servern aber in meinem eigenen Rack.
Ich arbeite derzeit noch an einer Lösung für dezentrale Grids. Ich schaue mir die Datenbankeinträge an und was eine Dezentrale Region überhaupt in die Datenbank einträgt wenn sie sich mit dem Robust verbindet. Theoretisch müsste es irgendwo einen Anhaltspunkt geben. Genaues kann ich jedoch im Moment zum dezentralen Grid noch nicht sagen.
Was ich jedoch berichten kann ist folgendes:
Die letzte Laufzeit des Scripts ist nun beinahe 24 Stunden her und es sind keine Probleme wie z.B. fehlende Assets aufgetreten. Ich habe alles aus meinem Inventar (12.000 Assets ca.) gerezzt und geschaut ob alles ok ist. Ohne Schwierigkeiten.
Jetzt muss ich natürlich den Bereinigungsvorgang nochmals laufen lassen um die ganzen gerezzten Assets, die danach wieder gelöscht wurden wieder weg zu bekommen hehe.
Tatsache ist: Das Script funktioniert einwandfrei. Meine Datenbank ist nun auf 2,8 GB angewachsen. Das entspricht 1 GB mehr als vor der ersten Bereinigung. Wenn ich die Bereinigung nun nochmal durchführe werden wir sehen ob es einen großen Zuwachs der Bearbeitungszeit gibt.
Viele Grüße
Christian Nill
