Kurz zum Verbindungsaufbau (20 Sekunden) und nicht zur eigentlichen Frage...
bis zu 20 Sekunden, bis das Netzwerk bzw. die Verbindung ins Internet als hergestellt gilt.
Das ist, auch für einen evtl. etwas betagten Chip, sehr viel.
Früher, als Flatrates noch nicht Standard waren, gab es (Router / Modem) Settings wie:
"Verbindung bei Inaktivität trennen"
Das ist bei dir aber nicht der Fall, oder?
Im NetworkManager, falls im Einsatz, könntest du mal diese Option aktivieren:
"Alle Benutzer dürfen sich mit diesem Netzwerk verbinden"
Ist die Verbindung dann schneller aufgebaut?