Btrfs Filesystem voll

Oceanwaves · 27. September 2019

Hallo,
ich habe meinen neuen PC im Juli mit SuSE Tumbleweed installiert. Die 1 TB NVMe M.2-SSD have ich mit btrfs formatiert. Und mitten im Urlaub erreicht mich jetzt die Nachricht, dass das Filesystem vollgelaufen ist ☹️.

An Daten sind eigentlich nur ca. 5-600 GB drauf, Snapper wird nur für Zypper-Updates genutzt.
2 Stunden vor Abfahrt (letzten Samstag) in den Urlaub habe ich schon mit Schrecken gesehen, dass nur noch 65 GB frei sein sollten. Leider hatte ich keine Zeit mehr, noch etwas zu unternehmen.
Aber eigentlich startet der PC nur nachts, macht mittels rsync ein Backup auf mein NAS und führt ein paar Skripte, z.B. für Logwatch aus, dann fährt er wieder runter. Nichts, was 65 GB füllen sollte. Aber seit Donnerstag kann Logwatch nicht mehr arbeiten, weil das Filesystem voll ist.
Aktiv werden kann ich erst am Sonntag, dann bin ich wieder zu Hause.
Aber ich frage mich, wie die 65 GB verbraucht worden sein können und wie ich ein 1TB Volume, auf dem nur noch 14 MB frei sind, wieder frei bekomme. Wenn ich den PC am Sonntag überhaupt noch starten kann...

Für Tipps jetzt schon mal danke, eigentlich hatte ich mir den Sonntag anders vorgestellt...

Gruß,
Oliver

Sauerland · 27. September 2019

Als root (nicht sudo):

Code

btrfs fi df /

Code

snapper list

Oceanwaves · 29. September 2019

Zitat von Sauerland

Als root (nicht sudo):

So, da bin ich wieder.

Code

# btrfs fi df /
Data, single: total=921.99GiB, used=921.98GiB
System, single: total=32.00MiB, used=144.00KiB
Metadata, single: total=7.00GiB, used=4.02GiB
GlobalReserve, single: total=512.00MiB, used=0.00B


 # snapper list
   # | Type   | Pre # | Date                     | User | Used Space | Cleanup | Description           | Userdata     
-----+--------+-------+--------------------------+------+------------+---------+-----------------------+--------------
  0  | single |       |                          | root |            |         | current               |              
  1* | single |       | Thu Jul 11 19:12:11 2019 | root |  63.30 GiB |         | first root filesystem |              
256  | pre    |       | Wed Sep  4 06:34:11 2019 | root | 917.36 MiB | number  | zypp(zypper)          | important=yes
257  | post   |   256 | Wed Sep  4 06:37:41 2019 | root | 710.71 MiB | number  |                       | important=yes
274  | pre    |       | Wed Sep 18 06:19:44 2019 | root | 581.74 MiB | number  | zypp(zypper)          | important=yes
275  | post   |   274 | Wed Sep 18 06:23:41 2019 | root | 513.89 MiB | number  |                       | important=yes
278  | pre    |       | Fri Sep 20 06:23:42 2019 | root | 179.54 MiB | number  | zypp(zypper)          | important=no 
279  | post   |   278 | Fri Sep 20 06:26:32 2019 | root |  51.34 MiB | number  |                       | important=no

Alles anzeigen

Zusätzlich habe ich noch das gemacht:

Code

# btrfs filesystem du -s /*
     Total   Exclusive  Set shared  Filename
     0.00B       0.00B       0.00B  /backup
 760.00KiB       0.00B   760.00KiB  /bin
  99.52MiB     3.25MiB    96.27MiB  /boot
     0.00B       0.00B       0.00B  /control
     0.00B       0.00B       0.00B  /data
ERROR: cannot check space of '/dev': Inappropriate ioctl for device
ERROR: cannot check space of '/ds': Inappropriate ioctl for device
  14.80MiB       0.00B    14.80MiB  /etc
 397.02GiB   364.45GiB    32.57GiB  /home
   1.02GiB       0.00B     1.02GiB  /lib
  11.90MiB       0.00B    11.90MiB  /lib64
     0.00B       0.00B       0.00B  /mnt
 242.77MiB   242.77MiB       0.00B  /opt
ERROR: cannot check space of '/proc': Inappropriate ioctl for device
  16.67MiB    16.67MiB       0.00B  /root
ERROR: cannot check space of '/run': Inappropriate ioctl for device
   8.59MiB       0.00B     8.59MiB  /sbin
     0.00B       0.00B       0.00B  /selinux
  44.00KiB    44.00KiB       0.00B  /srv
ERROR: cannot check space of '/sys': Inappropriate ioctl for device
     0.00B       0.00B       0.00B  /tmp
   7.99GiB   314.07MiB     7.68GiB  /usr
 833.79MiB   833.79MiB       0.00B  /var

Alles anzeigen

/ds ist ein Mountpoint für autofs, da werden bei Bedarf einige Verzeichnisse vom NAS eingeblendet. Alle anderen (statischen) NFS-Mounts vom NAS habe ich mal abgehängt.

Dabei ist mir auch aufgefallen, warum die 65 GB plötzlich weg waren: in /backup lagen nämlich rund 65 GB. Eigentlich wird da über die /etc/fstab nachts das Backup-Verzeichnis vom NAS gemountet. Das scheint aber sporadisch nicht zu funktionieren, vor etwa 2 Wochen lagen da mal gut 400 GB drin, quasi die komplette Sicherung statt aufs NAS nochmal auf die SSD :-(. Das obige btrfs filesystem du -s /* habe ich abgesetzt, nachdem ich mittels rm -r den Inhalt von /backup gelöscht hatte.

Somit habe ich jetzt auch wieder etwas Platz gewonnen:

Code

# btrfs fi df /
Data, single: total=887.02GiB, used=858.96GiB
System, single: total=32.00MiB, used=128.00KiB
Metadata, single: total=7.00GiB, used=3.80GiB
GlobalReserve, single: total=512.00MiB, used=0.00B


 # snapper list
   # | Type   | Pre # | Date                     | User | Used Space | Cleanup | Description           | Userdata     
-----+--------+-------+--------------------------+------+------------+---------+-----------------------+--------------
  0  | single |       |                          | root |            |         | current               |              
  1* | single |       | Thu Jul 11 19:12:11 2019 | root | 147.74 MiB |         | first root filesystem |              
256  | pre    |       | Wed Sep  4 06:34:11 2019 | root | 917.36 MiB | number  | zypp(zypper)          | important=yes
257  | post   |   256 | Wed Sep  4 06:37:41 2019 | root | 710.71 MiB | number  |                       | important=yes
274  | pre    |       | Wed Sep 18 06:19:44 2019 | root | 581.74 MiB | number  | zypp(zypper)          | important=yes
275  | post   |   274 | Wed Sep 18 06:23:41 2019 | root | 513.89 MiB | number  |                       | important=yes
278  | pre    |       | Fri Sep 20 06:23:42 2019 | root | 179.54 MiB | number  | zypp(zypper)          | important=no 
279  | post   |   278 | Fri Sep 20 06:26:32 2019 | root |  51.34 MiB | number  |                       | important=no

Alles anzeigen

Aber die über 400 GB, die ich aus /backup mal gelöscht habe, sind anscheinend nicht wieder freigegeben worden. Und wenn ich mir den Output von btrfs filesystem du -s /* anschaue und aufaddiere (gut 410 GB), dann frage ich mich: was macht btrfs mit den knapp 600 GB, die eigentlich noch frei sein sollten? Die Snapshots belegen doch nur wenige GB.

Zum Problem der NFS-Mounts: die Einträge in /etc/fstab sehen wie folgt aus:

Code

diskstation:/volume1/backup                /backup                 nfs    defaults                      0  0

In letzter Zeit passiert es mir aber öfter, dass die Mounts nicht da sind. Wenn ich dann (als root) noch mal ein mount -a absetze, ist alles da. Insgesamt habe ich 6 NFS-Mounts in der fstab, das NAS ist ein Synology DS918+, zwischen PC und NAS hängt ein einfacher D-Link-Switch (8 Ports).

Sauerland · 29. September 2019

Code

btrfs balance --help
usage: btrfs balance <command> [options] <path>
   or: btrfs balance <path>


    btrfs balance start [options] <path>
        Balance chunks across the devices
    btrfs balance pause <path>
        Pause running balance
    btrfs balance cancel <path>
        Cancel running or paused balance
    btrfs balance resume <path>
        Resume interrupted balance
    btrfs balance status [-v] <path>
        Show status of running or paused balance


balance data across devices, or change block groups using filters

Alles anzeigen

Mal als root:

Code

btrfs balance start /

Kannst du stoppen, pausieren s. o.

Sauerland · 29. September 2019

Zum Thema nfs bitte separaten Beitrag.

Oceanwaves · 29. September 2019

Zitat von Sauerland
Mal als root:
Code
btrfs balance start /
Kannst du stoppen, pausieren s. o.

Aber nicht erfolgreich abschließen:

Code

# btrfs balance start /
WARNING:


        Full balance without filters requested. This operation is very
        intense and takes potentially very long. It is recommended to
        use the balance filters to narrow down the scope of balance.
        Use 'btrfs balance start --full-balance' option to skip this
        warning. The operation will start in 10 seconds.
        Use Ctrl-C to stop it.
10 9 8 7 6 5 4 3 2 1
Starting balance without any filters.
ERROR: error during balancing '/': No space left on device
There may be more info in syslog - try dmesg | tail

Alles anzeigen

dmesg meldet

Code

[ 9405.039027] BTRFS info (device nvme0n1p1): relocating block group 4472760696832 flags data
[ 9408.211815] BTRFS info (device nvme0n1p1): found 3241 extents
[ 9408.374075] BTRFS info (device nvme0n1p1): found 3241 extents
[ 9408.488716] BTRFS info (device nvme0n1p1): relocating block group 4471686955008 flags data
[ 9411.229667] BTRFS info (device nvme0n1p1): found 1433 extents
[ 9411.353082] BTRFS info (device nvme0n1p1): found 1433 extents
[ 9411.435167] BTRFS info (device nvme0n1p1): relocating block group 4470613213184 flags data
[ 9414.593682] BTRFS info (device nvme0n1p1): found 1657 extents
[ 9414.831578] BTRFS info (device nvme0n1p1): found 1657 extents
[ 9414.980060] BTRFS info (device nvme0n1p1): relocating block group 3714531196928 flags metadata
[ 9419.174454] BTRFS info (device nvme0n1p1): found 27614 extents
[ 9421.743946] BTRFS info (device nvme0n1p1): relocating block group 3498709090304 flags metadata
[ 9428.717384] BTRFS info (device nvme0n1p1): found 29144 extents
[ 9431.032684] BTRFS info (device nvme0n1p1): relocating block group 3455759417344 flags metadata
[ 9439.029880] BTRFS info (device nvme0n1p1): found 49338 extents
[ 9441.892264] BTRFS info (device nvme0n1p1): relocating block group 3239937310720 flags metadata
[ 9449.956777] BTRFS info (device nvme0n1p1): found 43649 extents
[ 9452.842119] BTRFS info (device nvme0n1p1): relocating block group 3193766412288 flags metadata
[ 9468.292037] BTRFS info (device nvme0n1p1): found 64015 extents
[ 9469.823594] BTRFS info (device nvme0n1p1): 1 enospc errors during balance
[ 9469.823597] BTRFS info (device nvme0n1p1): balance: ended with status: -28

Alles anzeigen

Oceanwaves · 1. Oktober 2019

Bin etwas weiter gekommen und habe die fehlenden GBs gefunden!

Die Ausgabe von snapper list ist wohl ziemlich nichtssagend:

Code

snapper ls
   # | Type   | Pre # | Date                     | User | Used Space | Cleanup | Description           | Userdata     
-----+--------+-------+--------------------------+------+------------+---------+-----------------------+--------------
  0  | single |       |                          | root |            |         | current               |              
  1* | single |       | Thu Jul 11 19:12:11 2019 | root | 153.58 MiB |         | first root filesystem |              
256  | pre    |       | Wed Sep  4 06:34:11 2019 | root | 917.36 MiB | number  | zypp(zypper)          | important=yes
257  | post   |   256 | Wed Sep  4 06:37:41 2019 | root | 710.71 MiB | number  |                       | important=yes
274  | pre    |       | Wed Sep 18 06:19:44 2019 | root | 581.74 MiB | number  | zypp(zypper)          | important=yes
275  | post   |   274 | Wed Sep 18 06:23:41 2019 | root | 513.89 MiB | number  |                       | important=yes
278  | pre    |       | Fri Sep 20 06:23:42 2019 | root | 179.54 MiB | number  | zypp(zypper)          | important=no 
279  | post   |   278 | Fri Sep 20 06:26:32 2019 | root |  51.50 MiB | number  |                       | important=no

Alles anzeigen

Wenn man sich das so anschaut, belegen die Snapshots ja nur so gut 3 GB...

Ich habe dann mal in /.snapshots ein du -sh abgesetzt:

Code

du -sh *
9.4G    1
9.2G    256
9.7G    257
427G    274
428G    275
427G    278
427G    279
4.0K    grub-snapshot.cfg

Und siehe da, da sind meine fehlenden 400 GB

Dann habe ich über Yast die Snapshots 274-279 gelöscht und siehe da:

Code

btrfs fi df /
Data, single: total=868.00GiB, used=449.59GiB
System, single: total=32.00MiB, used=128.00KiB
Metadata, single: total=6.00GiB, used=1.60GiB
GlobalReserve, single: total=512.00MiB, used=0.00B

Das Filesystem ist wieder halb leer... Jetzt will ich nur noch mal ein btrfs balance start / durchführen, damit muss ich aber wohl bis heute Abend warten, wenn ich den PC nicht benötige. Ein 1. Versuch führte dazu, dass das System praktisch nicht mehr reagierte. Nach ca. 20 Minuten hatte ich dann endlich ein btrfs balance cancel / durchbekommen.

Frage mich nur, warum snapper list mir bei "Used Space" nur so niedrige Werte anzeigt.

matbhm · 1. Oktober 2019

Genau das Theater mit den Snapshots, die die Festplatte bis zur Funktionsunfähigkeit volllaufen lassen, hat mich davon abgehalten, btrfs einzusetzen, allzumal im privaten Bereich btrfs keine Vorteile mit sich bringt. Meine Rechner laufen unter ext4.

Oceanwaves · 3. Oktober 2019

Zitat von Sauerland
Mal als root:
Code
btrfs balance start /
Kannst du stoppen, pausieren s. o.

Durch das Löschen der Snapshots habe ich zwar jetzt wieder ein nur zu 50% belegtes Filesystem, aber btrfs balance start --full-balance / wird trotzdem noch immer mit einem ERROR: error during balancing '/': No space left on device beendet. 460 GB freier Platz reichen anscheinend nicht aus. Woran kann das liegen?

Code

frodo:~ # btrfs filesystem show
Label: none  uuid: c38f15f5-eed1-4260-b0ca-0800c4f7e814
        Total devices 1 FS bytes used 463.66GiB
        devid    1 size 929.02GiB used 467.03GiB path /dev/nvme0n1p1


frodo:~ # btrfs filesystem df /
Data, single: total=463.00GiB, used=461.69GiB
System, single: total=32.00MiB, used=96.00KiB
Metadata, single: total=4.00GiB, used=1.96GiB
GlobalReserve, single: total=512.00MiB, used=0.00B
frodo:~ # btrfs balance start --full-balance /
ERROR: error during balancing '/': No space left on device
There may be more info in syslog - try dmesg | tail
frodo:~ # snapper list
   # | Type   | Pre # | Date                     | User | Used Space | Cleanup | Description           | Userdata     
-----+--------+-------+--------------------------+------+------------+---------+-----------------------+--------------
  0  | single |       |                          | root |            |         | current               |              
  1* | single |       | Thu Jul 11 19:12:11 2019 | root | 171.03 MiB |         | first root filesystem |              
256  | pre    |       | Wed Sep  4 06:34:11 2019 | root | 917.36 MiB | number  | zypp(zypper)          | important=yes
257  | post   |   256 | Wed Sep  4 06:37:41 2019 | root | 872.19 MiB | number  |                       | important=yes
258  | pre    |       | Wed Oct  2 06:24:23 2019 | root |   2.68 GiB | number  | zypp(zypper)          | important=yes
259  | post   |   258 | Wed Oct  2 06:31:33 2019 | root |  34.54 MiB | number  |                       | important=yes
260  | pre    |       | Wed Oct  2 06:44:11 2019 | root |  18.73 MiB | number  | zypp(zypper)          | important=no 
261  | post   |   260 | Wed Oct  2 06:44:26 2019 | root |   5.75 MiB | number  |                       | important=no

Alles anzeigen

dmesg|tail liefert mir dann

Code

frodo:/var/log # dmesg|tail
[ 2408.133757] BTRFS info (device nvme0n1p1): relocating block group 9260978143232 flags data
[ 2411.315606] BTRFS info (device nvme0n1p1): found 1587 extents
[ 2412.109893] BTRFS info (device nvme0n1p1): found 1587 extents
[ 2412.727014] BTRFS info (device nvme0n1p1): relocating block group 8763768569856 flags metadata
[ 2418.209344] BTRFS info (device nvme0n1p1): found 38809 extents
[ 2420.409521] BTRFS info (device nvme0n1p1): relocating block group 8756252377088 flags metadata
[ 2430.445421] BTRFS info (device nvme0n1p1): found 58442 extents
[ 2433.972384] BTRFS info (device nvme0n1p1): 1 enospc errors during balance
[ 2433.972387] BTRFS info (device nvme0n1p1): balance: ended with status: -28

Sauerland · 3. Oktober 2019

Du kannst ja mal die systemd-timer anschauen:

Code

systemctl status btrfs- <tab><tab>

<tab><tab> bedeutet: 2 mal kurz hintereinander die Tabulator Taste drücken, analog eines Doppelklicks.
anschauen mit:
systemctl status btrfs-xxxx.timer
Beim Systemstart mitstarten lassen:
systemctl enable btrfs-xxxx.timer
sofort starten
systemctl start btrfs-xxxx.timer

Die Timer starten den entsprechenden Dienst immer automatisch zur eingestellten Zeit bzw. das erste Mal wenn der PC nach dieser zeit gebootet wird.
systemctl list-timers

Funktioniert auch in Yast----System----Dienste-Verwaltung, timers allerdings nicht.

Btrfs Filesystem voll

Acer E 15 mit wifi BCM43142 -- kein wlan Zugang

Frage zu Micro OS (Aeon)

Arbeitsfläche größer als Monitorauschnitt

Bluetooth mit Aussetzern

Schleswig-Holstein migriert nach Linux - Windows und Microsoft Office werden ersetzt durch Linux und LibreOffice

Nidrnox

hudel

uli11

Lioh

dax67

Teilen

Tags