find -exec md5sum {} liefert nur die letzte Zeile

Hallo,

ich schreibe ein bash-Script um doppelt vorhandene Bilddateien zu finden.

Der Plan ist, eine Liste aller Bilddateien samt Hash zu erstellen und darin dann doppelte Hashwerte zu finden.

Ich bin letztlich ziemlicher Anfänger im scripten, auch wenn ich schon ein paar umfangreichere Scripte gebaut habe, ist aber eine Weile her.

Mit (1)

find -files0-from $pfadliste -type f $muster > $dateiliste

bekomme ich eine korrekte Liste aller Bilddateien in den in pfadliste angegebenen Pfaden, die muster entsprechen. Auszug:

/home/medias/Baumbilder/a.Import/ebay/Disto/497_0508/IMG_4901.JPG
/home/medias/Baumbilder/a.Import/ebay/504_2609/IMG_5299.JPG
/home/medias/Baumbilder/x.Seltene/Mutz Sammern Moos/Eiche Mutz Sammern/GA 2020-02-21/leica/2020-02-21___12-29-09.JPG
/home/medias/Baumbilder/x.Seltene/Mutz Sammern Moos/Eiche Mutz Sammern/Textdatei.png

Wenn ich

find -files0-from $pfadliste -type f $muster -exec md5sum {} >> $dateiliste \;

laufen lasse, bekomme ich genau die Ausgabe, die ich wünsche,

d784fa8b6d98d27699781bd9a7cf19f0  /home/medias/Baumbilder/x.Seltene/Mutz Sammern Moos/Eiche Mutz Sammern/Textdatei.png

aber leider nur die letzte Zeile.

Was muss ich ändern, damit auch mit Hash die ganze Liste in dateiliste erscheint? Eigentlich sollte >> doch anfügen?

Als Workaround würde ich die ganze mit (1) erzeugte Dateiliste nochmal durcharbeiten, um eine Liste mitsamt Hashes zu bekommen, aber das ist ja doppelt gemoppelt, wenig elegant und bei einigen tausend Bildern auch zeitaufwendig. Und außerdem lerne ich dann nichts.

Dankbar für Tips....

Dankeschön, das scheint jedenfalls eine sehr gute Möglichkeit.

Zitat von Trekkie00

Falls du das nicht gerade zum Auffrischen deiner Scriptingkenntnisse machst

Naja, irgendwie halt auch...

... es steht noch ein Wechsel von Evolution zu Thunderbird an, mit 20GB mails, > 100 Mailordnern und über 1000 Kontakten mit Fotos, zig Listen...

da habe ich bisher keine Tools gefunden und mache mich gern wieder etwas Konsolen-fitter.

dupeguru werde ich mir auf jeden Fall anschauen.

Klingt meine Ausgangsfrage denn kompliziert, nicht nur irgendwo ein "," vergessen oder so?

Zitat von Alero

Bist du mit der halben Welt im Gespräch?

Ist der Rechner meiner Freundin. Seit 20 Jahren Kurse leiten, da kommt dann was zusammen.

Z.B. auch >20 GB an Emails, weil sämtliche Anhänge immer dran bleiben, teils mit "Antworten" als Inline-"Anhang" x-fach hin und her geschickt... das wird sich aber nicht mehr "reparieren" lassen.

Kmail steigt da aber definitiv aus.

Zitat von Trekkie00

Da musst du eben etwas Geduld aufbringen.

Mache ich. Dir dann erstmal vielen Dank .

Zitat von Alero

Ich hätte da aber eine Software für dich, die das für dich erledigt. Nennt sich ShellCheck

Habe das grad online mal probiert, es hat mich jedenfall mehrfach darauf

Double quote to prevent globbing and word splitting. hingewiesen,

weil ich einige Variablen, deren Sauberkeit mir klar schien, nicht gequotet hatte.

Das hat mich letztlich der Lösung näher gebracht, denn mein Suchmuster -iname *.jp*g -o -iname *.png,

das ich aus Flexibilitätsgründen am Anfang als Variable gesetzt habe, funktioniert grundsätzlich.

Wenn ich aber -exec dahinter verwende, bezieht find das nur auf den letzten Teil hinter -o(r).

Und alles vor dem -o wird verschluckt, weil -exec die standardweise Ausgabe untergräbt.

Es kamen also nur *.png-Dateien raus, und da gibt es nur die eine von mir künstlich reingesetzte im Testsystem.

Lösung: Entweder als Suchstring muster="-iname *.[pj][np]*g" verwenden, oder aber Klammern benutzen:

find -files0-from "$pfadliste" -type f \( -iname "*.jp*g" -o -iname "*.png" \) -exec md5sum {} >> $dateiliste \;

Soweit ist das Problem also gelöst. ***** Vielen Dank ***** euch.

Ich markiere das dennoch noch nicht sofort als erledigt, vielleicht findet sich, rein der Neugier wegen, ja noch Einer, der mir die Folgende Frage beantworten kann:

Wenn ich die Variable muster (mein Suchmuster) mit \( -iname "*.jp*g" -o -iname "*.png" \) setze,

dann meldet find: find: paths must precede expression: `\('

Ich habe alle Permutationen von Maskierungen bei der Variablenzuweisung, die mir einfallen (mit " | ' | \" | ... | je hier oder da...) probiert, nichts hilft.

Der gleiche Text direkt im Befehl funktioniert (also, nicht alle Permutationen haben funktioniert, aber doch einige...).

Wenn da niemand was weiß, markiere ich den Thread etwas später als gelöst...