Kategorie: Sonstiges

Infografik: Rad fahren in 2018

Schon traditionell (2015, 2016, 2017) gibt’s auf veloviewer.com auch für 2018 wieder eine Infografik, welche die vergangene Radfahr-Saison schön zusammenfasst. Wie immer gab es für mich keine Überraschungen – ich wäre zwar wie immer gerne mehr gefahren, der trockene Sommer und der neu angelegte Garten mit seinem Durst sorgten dafür, dass ich die Abende oft mit dem Schlauch in der Hand auf dem Rasen verbrachte statt auf dem Bike.

Zum Vergleich die Grafiken aus 2017, 2016 und 2015:

flickr Takeout – und nun?

Nachdem Flickr wurde vor einer Weile von SmugMug gekauft wurde, ließ die Ankündigung einer recht großen Änderung nicht lange auf sich warten: Free-Accounts werden auf maximal 1.000 Fotos begrenzt.

Das wäre für mich an sich nicht weiter schlimm, da ich bereits seit geraumer Zeit nichts mehr zu flickr hochgeladen habe. Dass aber auch Bilder von bestehenden Accounts gelöscht werden, bis sie unter die 1.000er Grenze rutschen ist dann doch etwas unglücklich, da ich doch gerne hin und wieder mal durch meine Alben blättere (von denen die meisten auf privat gestellt sind).

Zum Glück gibt es einen Take-Out mit welchem man sich seinen kompletten Flickr-Inhalt herunterladen kann: Metadaten wie Albumstruktur, Kommentare, Likes usw., aber auch alle Fotos in ihrer Originalversion.

Die Idee: mit einem simplen Skript könnte man sich so die Albumstruktur auf der lokalen Festplatte mit Directories nachbauen und dann die Bilder aus dem Take-Out-Archiv dort hinein kopieren und sich z. B. mit thumbsup eine eigene Web-Gallery erstellen.

Es gibt dabei nur ein Problem: die Bilder des Take-Outs lassen sich nicht den Meta-Daten zuordnen, da die Dateinamen der Bilder aus dem Archiv nirgends in den Metadaten vermerkt sind 🤦‍♀️

Zumindest geben die Metadaten aber Aufschluss über die URL der Bilder in Originalauflösung auf Flickrs CDN, so dass Struktur und Inhalte schlussendlich doch zueinander finden.

Ich habe mir auf die Schnelle™ ein Skript hingehackt, welches die Flickr-Albumstruktur lokal mit Verzeichnissen im Dateisystem abbildet, alle Bilder herunterlädt und korrekt einsortiert: Skript bei Github.

Disclaimer: „auf die Schnelle hingehackt“ ist genauso zu verstehen wie es dort steht. Schöpfungshöhe gegen null, kein Error-Handling, keine Best Practices, keine Garantie dass man am Ende nicht mit einer leeren Platte da steht.

find, xargs, sleep

Gegeben

  • Linux-Server
  • RAID-1 aus zwei SATA-Platten (spinning rust)
  • ext4 Filesystem
  • ein Directory-Tree mit vielen Millionen Files + Sub-Directories

Aufgabe

In diesem Tree rekursiv leere Sub-Directories finden und diese löschen.

Bonusaufgabe

Das Ganze soll auf einem Produktionsserver laufen, die I/O muss niedrig gehalten werden, um die eigentlichen Aufgaben des Servers nicht zu beeinträchtigen.

Hinweis

Es handelt sich um etwa 1 Million leere Directories, welche zum Schluss gelöscht werden müssen.

Ansatz 1

find + xargs

find . -type d -empty -print0 | xargs -0 rmdir -v

Löst die Aufgabe, allerdings geht die die Average Queue Depth für die Platten hier nach kürzester durch die Decke und der Maschine kann mit ihrem Storage nicht mehr viel anfangen. Die Bonusaufgabe wird damit zumindest nicht bestanden.

Ansatz 2

find + xargs + sleep: Nach dem Löschen von n Directories kurz warten, damit die Platten genügend Zeit haben, um ihre Aufgaben abzuarbeiten.

find . -type d -empty -print0 | \
xargs -0 -n 100 bash -c '{ rmdir "$@" ; sleep 3 ; }'

Löst Aufgabe + Bonus zufriedenstellend und reicht mir für die einmalige Anwendung.

HTML-Directory-Listing mit tree

Die meisten Webserver bringen eine Funktion mit, welche Directory-Listings dynamisch erzeugen und als HTML ausgeben kann.

Manchmal ist es aber nicht möglich, das eingebaute Feature des Webservers zu nutzen und man benötigt einen anderen Weg, um schnell eine Liste der Dateien in HTML auszugeben.

tree hilft in diesem Fall weiter – es hat nämlich neben der Ausgabe eines Plain-Text-Directory-Listings auch die Möglichkeit, das Listing als HTML zu rendern.

tree ist bei allen wichtigen Linux-Distribution verfügbar, auf macOS kann man es einfach per Homebrew installieren.

Ich habe es benutzt, um eine Liste von Bildern in einem Verzeichnis zu erstellen:

tree -H '.' -L 1 --noreport --charset utf-8 > index.html

Alle Optionen sind in der Manpage von tree ausführlich erklärt. Obiger Befehl erzeugt folgende HTML-Ausgabe: