Etwas über 10 Tage später war es dann soweit …
Dieser eine Server benötigte besonders lange für das initiale Restic-Backup – der Grund ist mir aktuell noch unklar. Das Remote-Repository wird per SFTP auf Gigabit-Link angesprochen; andere Server waren mit Repositories im Bereich 3 TiB und ähnlich vielen Files deutlich schneller.
Nach einigen Jahren Arbeit habe ich eben die Version 1.0.0 meines Collmex PHP SDK bei Github getaggt.
Für Version 2 gibt es schon einige Ideen – mal schauen, wann sich die Zeit findet diese zu implementieren.
Der Grund, dass ich mir den ganzen Sand angetan habe, liegt natürlich auf der Hand – ich wollte mal wieder ein paar Kacheln für das Explorer Max Square füllen:
Font Awesome ist zu schwer wenn man nur mal schnell eine Hand voll Icons benötigt? Bei Entypo oder Typicons ist nicht das richtige Icon dabei?
Kein Problem, mit Fontello lassen sich Glyphen aus einer ganzen Reihe von Icon-Fonts auswählen und zu einem neuen Font zusammen stellen. Ein Klick und man bekommt die Schriftart in verschiedenen Formaten samt der benötigten CSS-Datei direkt auf die Festplatte heruntergeladen.
Je nach benötigtem Umfang kommt man so mit wenigen Kilobytes aus – eine satte Einsparung gegenüber z. B. dem recht schwergewichtigen Font Awesome in Vollausstattung.
Man kann gar nicht anders, als dieses Wetter für Ausfahrten mit dem Rad zu nutzen 🍂
Freundliche 20 Grad Celsius und Sonnenschein – schöner kann ein Herbstanfang eigentlich nicht sein. Grund genug, mal wieder das Rad zu besteigen und auf Erkundungstour zu gehen. Nebenbei ließen sich gleich auch noch ein paar Kacheln für das „Explorer Max Square“ einsammeln.
Die Tour:
Bestensee – Groß Köris – Schwerin – Forsthaus Buschmeierei – Halbe – Oderin – Wehlaberg – Cargolifter/Tropical Islands – Forsthaus Meierei – Hartmannsdorf – Lübben
Alles zusammen 70 km, ein guter Teil davon bestand aus schönen Gravelwegen, es gab auch etwas Asphalt und außerdem einen nicht unerheblichen Anteil an lockerem Sand. Zuckersand, wie wir hier in Brandenburg sagen. Folglich war auch diese Fahrt anstrengender als vermutet.
Die Tour bei Strava.
Es war mal wieder an der Zeit einige Kacheln für mein „Explorer Max Square“ zu sammeln. Dieses verharrt seit einer Weile bei einer Kantenlänge von 28 Kacheln und soll nach Möglichkeit bald die 30×30 erreichen.
Grober Verlauf der Tour: Grünheide – Alt-Rüdersdorf – Herzfelde – Lichtenow – Zinndorf – ehem. Nachrichtenregiment 14 – Hoppegarten – Kienbaum – Kagel – Grünheide
Besonderheiten: Sand. Sand. Sand. Die Trockenheit hat den Wegen derart zu schaffen gemacht, dass diese über weite Strecken mit dem Crosser kaum fahrbar waren. Entsprechend waren dies die anstrengendsten knapp 60 Kilometer seit langer Zeit. Dieses Fazit kommt mir irgendwie bekannt vor.
Die Tour bei Strava.
Aktuell sieht das Explorer Max Square (genaugenommen sind es derer vier) aus:
Ich tat mich sehr schwer mit der Überschrift dieses Beitrags, da das Problem nicht in einem kurzen Satz zu beschreiben ist. Daher noch mal in Ruhe:
Gegeben sei eine große Zahl von Bildern, welche mit verhältnismäßig hohem Aufwand an Ressourcen skaliert werden sollen. Das alles muss on-demand passieren, wenn ein Webbrowser ein Bild aufruft.
Ist ein Bild einmal skaliert, wird das Ergebnis zwischengespeichert, ein erneuter Aufruf erzeugt also keinen relevanten Aufwand. Da die Bilder in großer Zahl parallel aufgerufen werden, soll nur ein gewisser Anteil die Skalierung durchlaufen und es sollen auch immer die selben Bilder sein. Eine zufällige Auswahl scheidet also aus.
Nach und nach kann der Prozentwert erhöht werden, bis irgendwann alle Bilder skaliert sind.
Ich habe das Problem auf die folgende Art gelöst:
Die Verteilung der der CRC32-Checksummen im Raum der 32-Bit-Integer-Zahlen ist für diesen Zweck halbwegs gleichmäßig und zufällig. Die letzten beiden Stellen der Zahl sind also auch ausreichend gleichverteilt zwischen 0 und 100. Man kann mit dieser Methode daher relativ genau und mit wenig Aufwand einen bestimmten und reproduzierbaren Anteil der Datensätze (Bilder) selektieren.
Es sollen 20 % aller Bild-URLs skaliert werden.
Gegeben sei die folgende Bild-URL:
https://www.marcusjaschen.de/wp-content/uploads/2019/03/2019-03-31-DJI_0147.jpg
Die CRC32-Checksumme dieser URL ist 3556399431. Modulo 100 ergibt sich ein Ergebnis von 31.
31 ist nicht kleiner als der Zielwert 20, das Bild wird also nicht skaliert.
Eine andere Bild-URL wäre:
https://www.marcusjaschen.de/wp-content/uploads/2019/03/2019-03-31-DJI_0150.jpg
Hier lautet die Checksumme 2860930802. Modulo 100 erhält man 2, was kleiner als 20 ist, dieses Bild würde also weiterverarbeitet werden.
Ich hatte zuletzt das Problem zu lösen, dass ich einen neuen Prozess auf der Linux-Shell starten wollte, sobald ein anderer, bereits laufender Prozess beendet wurde.
Hintergrund: beide Prozesse verarbeiten Videos mit ffmpeg und haben eine Laufzeit in der Größenordnung von Tagen. Hier macht es aufgrund des Ressourcenverbrauchs wenig Sinn, beide parallel laufen zu lassen.
Hätte ich vorher gewusst, dass beide nacheinander arbeiten sollen, wäre die Lösung mit
% php encode_videos.php directory1 && \ php encode_videos.php directory2
sehr einfach gewesen.
Der erste Prozess lief nun aber bereits. Wie startet man also den zweiten Prozess sobald der erste beendet ist?
Die Lösung heißt tail(1):
% tail -f --pid=$(pidof php) /dev/null && \ php encode_videos.php directory2
tail hat eine Option --pid, welche die Angabe einer PID erfordert. Sobald der betreffenden Prozess beendet wird, beendet sich tail ebenfalls (mit Status-Code 0), sodass der zweite Teil des Kommandos ausgeführt wird.
(Das tail auf macOS hat diese Option nicht, das Feature ist vermutlich eine GNU-Eigenart :-))