Database Cleanup Script [OpenSim 0.9.x]

[Data Rossini]

Hallo
bezüglich der letzten beiden Post möchte ich beistimmen.
Alternative zu den großen Grids könnte man kleinere Grids auch über eine Webseite (organisatorisch) zusammenschließen.
Zum Beispiel wie bei Opensimworld: https://opensimworld.com/dir?vm=alpha.
So wie ich das verstehe kann man sich dort registrieren und ein Script checkt regelmäßig ob die registrierte Region online ist.
Dann kann man bequem hierüber dort hin teleportieren.
Was ich dort nicht so gut finde ist das Ranking und die manchmal unfaire Kommentierung zu bestimmten Regionen. Zu wenig Freebies usw.

Nun wieder zum Thema Assetbereinigung.
Auf längere Sicht werden große Grids und ihre Nutzer mit ihren dort angebunden Sims Probleme mit der Asset-DB haben. Man wird den alten Kram nicht mehr los und die Datenhaltung wird zu aufwändig und zu teuer.
Wenn ich mich nicht irre, plant das Metro Grid, demnächst einen Neustart um die nutzlosen Assets loszuwerden.
Anschließend können dann die OARs wieder eingespielt werden, die vor dem Neustart gezogen werden müssen.
Vielleicht werden dann auch IARs gezogen und wieder eingespielt. Obwohl die Inventare der aktiven Nutzer, die auf Assets verweisen, ja auf dem Gridserver(n) sind, so dass man theoretisch auch mit einem Datenbankscript eine Bereinigung durchführen könnte. Keine Ahnung, wie die das nun genau machen wollen.
Das OSGrid war mal eine zeitlang deswegen offline und andere haben dicht gemacht.
Die Datenhaltung und Bereinigung ist bei kleinen Grids mit paar Regionen noch überschaubar.

Schöne Grüße
Data

[Mareta Dagostino]

Zum Metro-Grid: Die Regionenbesitzer müssen OAR Backups machen und später im neuen Grid wieder einspielen. Metro hat ja keine zentrale Datenbank für die Regionen, also hat das Grid auch keinen Zugriff da drauf. Für die IAR's gibt es zwei Optionen. Wer Zugriff auf eine OpenSim Konsole hat, kann auf eigene Faust IAR Backups machen und später wieder einspielen. Wer das nicht hin kriegt, oder als Resident ohne selbst gehostete Region keinen Zugriff auf eine Konsole hat, wird sich in einem Online-Tool eintragen können. In dem Fall übertragen die Grid-Admins die benötigten Assets direkt aus der alten Datenbank in die neue. (Letzteres gilt wie gesagt nur für Inventare und nicht für Regionen, außer die Regionen sind direkt bei den Grid-Admins gemietet -> dann kümmern die sich drum.)

Viele Grüße,
Mareta

[bimbam2103]

Hallo Data.

Genau das ist der Sinn von dem Bereinigungstool. Gerade Grids, die keine dezentrale Lagerung von Regionen zulassen bekommen ganz schnell Probleme mit der Menge der Assets. Auch auf den Punkt hin was die Datenspeicherungskosten angeht. Wenn man nicht gerade einen eigenen Server in einem Rechenzentrum hostet bei dem man schnell mal 3 TB hinzufügen kann ist es schon eine Preisfrage. Aus dem Grund hilft das Script vor allem und wenn ich das alles richtig sehe ausschließlich den Grids mit Zentraler Datenspeicherung, da eben genau diese Datenspeicherkosten extrem reduziert werden.

Der letzte durchlauf hat übrigens überragende Ergebnisse gebracht: Nachdem ein paar Tage in VirtuLife gebastelt wurde (Puflax aufbereitet für die bevorstehende Eröffnung, Umzug des Blue Velvet Music Clubs uvm) habe ich die Bereinigung zum Test erneut laufen lassen. Die Datenmenge belief sich zwischenzeitlich auf 4 GB (im Verlgeich zu vorher: 2,2 GB mehr).

Das Script ist ähnlich schnell wie bei 1,8 GB. Leichte erhöhung der Bearbeitungszeit:

- Selbe Anzahl an Regionen
- mehr als doppelte Datenmenge der DB
- selber Server
- Grid ebenfalls offline

Bearbeitungszeit: 1 Minute 5 Sekunden inklusive Optimierung der Datenbank um den freigewordenen Speicher auch wirklich frei zu machen.

Datenersparnis (ich war überrascht): 1,9 GB

Die Bereinigung hat sich erneut gelohnt und erneut ist nichts weg was iegentlich da sein sollte.

Bisher habe ich es noch nicht geschafft das Script auf Github hochzuladen. Dies werde ich in den nächsten Tagen jedoch abschließen. Wenn alles gut läuft wird VirtuLife bis Sonntag noch endgültig fertig. Die englische Website ist im Moment zu 80 % von deutsch auf englisch übersetzt. Das Wiki folgt darauf. Inworld ist bereits alles beinahe soweit. Alle vorhandenen Probleme wurden bereinigt und sind seit dem nicht mehr aufgetreten. Es gab einmal kurz eine kleine Beeinträchtigung. Eine der drei Raid-Festplatten ist ausgefallen, da das Kabel defekt war. Das hat eine Datenübertragungsrate von 350 kb/s mit sich gebracht. Der Fehler wurde allerdings nach 5 Minuten behoben und die Übertragungsrate der Festplatten liegt nun wieder im Normalbereich.

Viele Grüße

Christian Nill

[bimbam2103]

Hallo zusammen.

Ich habe es nun endlich geschafft das Script auf GitHub zu veröffentlichen:

https://github.com/bimbam2103/osdbcs

Bitte unbedingt die README beachten. Dort sind wichtige Informationen vorhanden !!!

Viele Grüße

Christian Nill

[Bogus Curry]

Hallo Chris ;D

Weiss nicht, aber wäre es nicht besser das Script unter einer Lizenz zu stellen, wie zum Beispiel GPLv3 oder so ?

[bimbam2103]

Hallo Bogus.

Das Script steht doch unter GPLv3 oder habe ich was übersehen?

Viele Grüße

Christian Nill

[Mareta Dagostino]

Alles gut, siehe Datei LICENSE. Man kann sogar bei GitHub rechts oben auf das Icon mit der Waage klicken, dann wird die GPLv3 von denen hübsch aufbereitet in einem Fensterchen dargestellt.

[Bogus Curry]

ahh ok, dann hab ich es übersehen .. brauch wohl ne neue Brille *gg

[bimbam2103]

Hallo zusammen.

Ich habe eben durch Zufall einen kleinen Fehler im Script gefunden. Es ist eigentlich kein Fehler bringt nur 99 % der Nutzer nichts. Das Script sucht nach einer Datei namens users.txt. Dies wird in VirtuLife verwendet um vorhandene PasswordHashes zu speichern. Wenn diese Datei nicht existiert möchte das Script nicht fortfahren. Habe die Zeilen jetzt entfernt und gepusht. Nun müsste das Script bei allen laufen.

Viele Grüße

Christian Nill

[Manfred Aabye]

Anhand von IAR und OAR Sicherungen eine Bereinigung zu machen halte ich für nicht so gut.
Was ist mit dem Inventar was einem nicht gehört, dieses wird nicht in einer IAR gesichert.
Dann Texturen die nicht vorhanden sind, da trägt OpenSim die Default Textur ein diese ist dann auch vorhanden wenn auch falsch. (Das ist bei mir zu etwa 70% der Fall da diese aus Metro nicht in die IAR gespeichert wurden)
Dann sehe ich dort kein fsassets, alle Grid´s über 50GB haben dies aber oder sollten dies haben.
Das ganze ist schon eine schwierige Sache, Als Wordpress Plugin hätte man da schon einige solcher Plugins als Vorlage, die man vielleicht anpassen kann.