7590 freetzen failed ohne erkennbaren Grund

[tback]

Ich habe eine Fritzbox 7590 mit fritos 8.02 von 1und1 die ich freetzen moechte. Die Box hat gerade keine Internetverbindung. Eine zweite 7590 macht gerade meine Internetverbindung und soll dann natuerlich ersetzt werden. Vermutlich mache mache ich etwas falsch, allein ich komme nicht drauf. Hier einmal die Boxinfo der Noch-nicht-FreetzBox und der Aufruf von push_firmware:

jason_boxinfo.xml

<j:BoxInfo>
<j:Name>FRITZ!Box 7590 (UI)</j:Name>
<j:HW>226</j:HW>
<j:Version>154.08.02</j:Version>
<j:Revision>117975</j:Revision>
<j:Serial>444E6D4B6438</j:Serial>
<j:OEM>1und1</j:OEM>
<j:Lang>de</j:Lang>
<j:Annex>B</j:Annex>
<j:Lab/>
<j:Country>049</j:Country>
<j:Flag>mesh_master_no_trusted</j:Flag>
<j:UpdateConfig>3</j:UpdateConfig>
</j:BoxInfo>

./tools/push_firmware
 * Analyzing 'images/7590_08.02.all_freetz-ng-25301-e1602d7e5a_20250123-155130.image' ... 
 * Product: Fritz_Box_HW226 (FRITZ!Box 7590)
 * Using dos2unix binary: tools/dos2unix
 * Using tar binary: tools/tar-gnu
 * Using ftp binary: tools/ftp
 * Target host: 192.168.178.1
 * Outgoing IP: 192.168.178.20
 * Flash mode: ram-boot
 * Allowed memory size: 208 MB
 * Designated linux_fs_start: <other>

 !!! WARNING !!! WARNING !!! WARNING !!! WARNING !!! WARNING !!!
 !!!  THERE IS NO WARRANTY AT ALL !!! USE AT YOUR OWN RISK   !!!

 * Are you sure, that you want to flash this file to the device?
   images/7590_08.02.all_freetz-ng-25301-e1602d7e5a_20250123-155130.image
   Proceed? (y/[n]) y

 * You should now reboot your box (192.168.178.1). Waiting for shut down.
   Switch off, if reboot is not detected because it happens too quickly.
   Some newer bootloader versions allow to flash on power-cycle only.
   
 * No reply from box, assuming switch-off or restart. Trying to re-detect box.
   Waiting ................. found!

 * Reading 'env' file to /tmp/freetz_env_TGo
Connected to 192.168.178.1.
220 ADAM2 FTP Server ready
331 Password required for adam2
230 User adam2 successfully logged in
Remote system type is AVM.
Debugging on (debug=1).
---> TYPE I
200 Type set to BINARY
---> SYST
215 AVM EVA Version 1.3578 0x0 0x46409
---> MEDIA SDRAM
200 Media set to MEDIA_SDRAM
local: /tmp/freetz_env_TGo remote: env
---> PASV
227 Entering Passive Mode (192,168,178,1,12,29)
---> RETR env
150 Opening BINARY data connection
Timeout!!!!!!!!!!!!!!!!!!
   ProductID:     	 Fritz_Box_HW226
   HWRevision:     	 226
   HWSubRevision:     	 4
   memsize:     	 0x08000000
   linux_fs_start:     	 1

 * MAPSTART=0x80000000
 * FULLSIZE=0x0D000000	 (208 MB)
 * MAPLIMIT=0x8d000000
 * FILESIZE=0x026bc900	 (~38 MB)
 * ALIBYTES=0x00000000	 (~0 kB)
 * FREESIZE=0x0a943700	 (~169 MB)
 * MTDSTART=0x8a943700

 * Detected linux_fs_start: '1'
 * Designated linux_fs_start: 0

 * Box is back up again, initiating transfer.

Connected to 192.168.178.1.
220 ADAM2 FTP Server ready
331 Password required for adam2
230 User adam2 successfully logged in
Remote system type is AVM.
Debugging on (debug=1).
---> TYPE I
200 Type set to BINARY
---> MEDIA SDRAM
200 Media set to MEDIA_SDRAM
---> SETENV memsize 0x0a943700
200 SETENV command successful
---> SETENV kernel_args_tmp mtdram1=0x8a943700,0x8d000000
200 SETENV command successful
local: /tmp/freetz_KVg/ramboot.flash remote: 0x8a943700 0x8d000000
---> PASV
227 Entering Passive Mode (192,168,178,1,12,13)
---> STOR 0x8a943700 0x8d000000
150 Opening BINARY data connection
226 Transfer complete
40618240 bytes sent in 8.02 secs (4.8304 MB/s)
---> SETENV linux_fs_start 0
200 SETENV command successful
---> QUIT
221 Thank you for using the FTP service on ADAM2

done

Ich habe jetzt ueber mehrere Tage erfolglos versucht die Box zu flashen und versuche hier ausfuehrlicher wiederzugeben was ich schon versucht habe.

Ich habe freetz-ng geclont und taeglich den master gepullt (21.1.25 fcc7b78, 22.1.25 e1d881f25, 23.1.25 e1602d7). In Folge habe ich ein make clean gemacht um eventuelle build artefakte zu entfernen und sichergestellt, dass ich keine Abweichungen vom aktuellen Stand habe. Via make menuconfig eine Konfiguration erzeugt indem ich meine Box ausgewaehlt und die Konfiguration dann gesichert habe. Danach habe ich dann ein make laufen lassen und das neue image unter images gefunden.
Das Image habe ich dann via ./tools/push_firmware versucht zu flashen. Die IP meines Laptops habe ich statisch gesetzt, gebaut wird auf debian 12, auf intel - hier also auch standard wuerde ich sagen.

Dann starte ich ./tools/push_firmware, mache einen powercycle und lasse den flash laufen. Die Ausgaben sehen mir alle unverfaenglich aus. Dennoch habe ich danach kein freetz auf http://192.168.178.1:81 . Schon einige Male hatte ich danach wieder Fritz 7.57 auf der Box. Das verstehe ich gerade als "flash nicht erfolgreich. Aktuelles firmware image nun ungueltig, jetzt startet fritzbox mit der vorigen funktionierenden Version. Um dem zu begegnen habe ich nun zweimal hintereinander ein fritzos 8.02 image per dateiupload geflasht. Seitdem ist das nicht mehr aufgetreten.

Ich habe gesehen, dass darauf hingewiesen wird alle patches removal patches zu entfernen. Auch das habe ich schon einmal ohne Ergebnis versucht.

Ich habe die Diskussionen hier nach 7590 und 262 durchsucht - leider bin ich keinen Hinweis gefunden der das Verhalten meiner Box erklaert. Ich habe

[aus-sua]

---> QUIT
221 Thank you for using the FTP service on ADAM2
done

rebootet die Box danach von selbst?

PS:
Wenn ich mich jetzt nicht irre, ist das doch durch:

• Flash mode: ram-boot

eben genau das, ein ram-boot.

Müßte die Box da nicht auch 2x von selbst rebooten?
erster reboot:
box bootet das im Ram liegende Image, um dann damit erst das Image auf den Flash zu
schreiben, wenn fertig, dann:
zweiter reboot:
Image wird aus dem Flash gebootet

Anders gesagt:
hattest Du nach dem:

221 Thank you for using the FTP service on ADAM2
done

einfach 'mal so 5 Minuten gewartet?

[tback]

Startet da das freetz-NG-Image? Je nach freetz-NG-Erstellung ist im AVM-FritzOS-WebIf das ja so erst einmal nicht zu erkennen, ich recover bei Problemen da immer mit einer kleineren FOS-Version + AVM-Firmware (wie o.g., PS:), dann sieht man es an der größeren FOS-Version...

Vielen Dank für die Überarbeitung - das werde ich auch mal versuchen.

Die .config ist natürlich auch kein Geheimnis:
config.zip

[aus-sua]

mir falle noch zwei Sachen ein
1.) memsize einfach selbst setzen, mit 256 MB anfangen
-mem 256
-mem 384
...
2.) ich hatte einmal einen 3000er Repeater, bei dem ging auch kein push_firmware.
Die Lösung da zu war (auch wenn es sich jetzt echt komisch anhört):
Erst als ich nach dem AVM-Recover die aller erste originale AVM-Anmeldeprozedur per AVM-WEB-If
durchgeführt hatte (dabei sind nur Land und Sprache explizit festzulegen, der 3000er bootete danach auch gleich
selbst (ist das bei einer 7590er ggf. auch so?)), gab es direkt danach beim flashen mit push_firmware keine Probleme.
Ich habe das leider nicht weiter verfolgen können, es mußte damals schnell gehen, der 3000er war nur zum
ersten freetz-NG flashen bei mir, sorry...

[aus-sua]

Noch etwas (was mir etwas unklar ist):
Hast Du auf der 7590er Dein freetz-NG-image schon einmal zum starten bekommen (also: es ist da Dein freetz-NG-image auf der Box, bei dem zwar das AVM-WebIf vorhanden ist, aber das freetz-WebIf startet nur nicht?) oder ist da Dein freetz-NG-image noch nie auf der Box gelandet und gestartet?

[fda77]

Gerüchten zufolge soll es besser funktionieren pushfirmware mit "afu" Parameter zu nutzen um nur ein Image aus dem Ram zu starten. Danach dann über das Webif richtig flashen

[tback]

Bis dahin hatte ich vermutlich keinen erfolgreichen Versuch. Erst das Vergleichen der Parameter von recovery und push_firmware hat dazu geführt, dass ich etwas geflasht habe was auch gestartet werden konnte.

[fda77]

Die automatische Erkennnung der RAM-Grösse ist prima. Aber

• Detected memsize: '0x08000000' (~128 MB)

eine hat 7590 eigentlich 512mb ram!?

Irgend was passt da nicht im Netzwerk.
Entweder noch andere AVM hardware oder das Environment ist verhauen

[tback]

In dem Netz ist leider keine andere AVM Hardware. Geflasht wurde unter folgenden Bedingungen:

• Fritzbox vor Flash auf Werkseinstellungen zurückgesetzt.
• Direkter Verbindung vom Laptop zur Fritzbox
• Keine weiteren Geräte im Netz
• Laptop WiFI deaktiviert.

Inzwischen habe ich einmal die Fritzboxen getauscht. Meine andere 7590, gleiche Revision (HWRevision 226 HWSubRevision 4) nur ohne 1und1 branding, zeigt leider exakt das gleiche Verhalten. Meine zweite Fritzbox ist von eBay, ich kann weiss also nix über die Herkunft. Dafür muss ich mir aber auch nicht den Kopf zerbrechen ob ich sie vielleicht als Garantiefall tauschen kann.

Recovery (mit wine) bringt keine Veränderung.

Beobachtungen:

• RETR env returned (unter anderm) memsize 0x08000000. QUOTE GETENV memize returned 0x20000000.
• Das Verhalten meiner Box scheint ähnlich zu able to flash new image through Freetz interface, but not anymore with tools/push_firmware #1027 und Trying to flash Freetz-NG onto the FritzBox 7590: Connection and Flashing Issues #951, allerdings kann ich bei beiden keine weiteren Schritte ableiten.

Nächste Schritte für mich sind:

• Mal ein tcpdump vom recover und vom push_firmware machen in der Hoffnung einen relvanten Unterschied zu erkennen.
• Versuchen an die Bootlogs zu kommen: T10 bestellt um die Box zu öffnen und hoffentlich per UART an boot logs zu kommen.

[tback]

Nun habe ich einen dump von einem recover auf 8.0.0 gemacht und dabei herausgefunden dass die Parameter tatsächlich falsch waren. Nach einigen Fehlversuchen war ich schließlich mit push_firmware -mem 512 -map 0x68000000 erfolgreich. Ich habe endlich freetz-ng auf der Box.
Ich kann gerne bei Gelegenheit noch dokumentieren wie ich auf die Werte gekommen bin.
Vielen Dank @fda77 und @aus-sua für eure Hilfe!
Ich werde dennoch diesen Post als die Lösung des Problems markieren weil hier die Parameter drin stehen.

Jetzt kann ich mich endlich der Lösung meines eigentlichen Problems widmen. Eigentlich will ich nur ein paar weitere Namen für einen Host in meinem Netz vergeben. Ich vermute dass ich dafür leider dnsmasq brauchen werde. Falls ich dabei Hilfe brauche mache melde ich mich in einer neuen Diskussion.

[fda77]

Danke, hab den RAM eingefügt: d015600
"mapstart" ist für alle mips eigentlich immer fest 0x80000000, bei avm gab es noch nie was anderes

[tback]

aktuell gehe ich davon aus, dass das hier die rs232 schnittstelle ist.

Bildquelle: https://boxmatrix.info/wiki/File:FRITZ!Box_7590-Image77.jpg

[aus-sua]

Anschlußbelegung --->
https://www.mikrocontroller.net/topic/556263#7800292
Den 3,3V-Anschluß [O] bitte nicht anschließen...

[fda77]

Genau, GND ist bei AVM immer der Pin der am weitesten vom "eckigen" Pin entfernt ist

[tback]

Danke, das hat schon mal geklappt. Ich habe jetzt eine FritzBox mit serieller Konsole!

[aus-sua]

@tback
Danke für Deine Rückmeldungen.

Ich kann gerne bei Gelegenheit noch dokumentieren wie ich auf die Werte gekommen bin.

Ja, das wäre schön, danke.
Und auch, wenn Du da die dumps von:

ein tcpdump vom recover und vom push_firmware

hier mit einstellst.
:-)

[tback]

Gern,

In meinem Setup waren Fritzbox und Flash Laptop (Fedora 41) in einem isolierten Netzwerk. Die Fritzbox war nicht mit dem Internet verbunden. Die Fritzbox habe ich eine geschaltete Steckdose gesteckt um nicht immer wieder den Stecker ziehen zu müssen.

Die serielle Konsole ist aus meiner Sicht nicht 100% erforderlich. Ich konnte dadurch allerdings schneller sehen was los ist. Sie hat mir dadurch die Sicherheit gegeben mit den Parametern zu experimentieren.

Ich hatte keinen RS232 Adapter herumliegen, aber einen ESP32s. Bei dem habe ich EN und GND um ihn zu deaktivieren und nur den USB to serial Konverter zu nutzen. Dann habe ich GND, TX, RX von Fritzbox und ESP32s verbunden. Ob gekreuzt weiss ich nicht mehr. Es geht aber auch nichts kaputt, notfalls tauschen.

Die serielle Konsole habe ich so gelesen:

picocom -b 115200 /dev/ttyUSB0

Ich habe mit wireshark sämtlichen Traffic auf dem Interface mitgeschnitten. Durch das isolierte Setup gab es keinen anderen Traffic den ich hätte herausfiltern müssen.

Recovered habe ich mit wine. Dafür brauchte ich noch einen Registry Key:

wine reg add "HKLM\\SYSTEM\\CurrentControlSet\\Services\\TcpIp\\Parameters" /v DisableDHCPMediaSense /t REG_DWORD /d 0x1

Quelle: https://www.ip-phone-forum.de/threads/howto-recover-tool-unter-linux-wine.218303/

Dann habe ich das recovery in wine gestartet und bin den Anweisungen gefolgt. aus-sua hatte empfohlen eine alte Version zu nutzen um notfalls an der Version des FritzOS sehen zu können ob das freetzen geklappt hat. (Sicherheitskopien macht https://archive.org falls man gerade keine alte Version zur Hand hat):
wine FRITZ.Box_7590-8.00-recover.exe

Beim ersten Versuch hat das nicht geklappt weil ich eine Box von NetCologne habe.
Um das zu umgehen habe ich per FTP die Umgebungsvariable provider im bootloader entfernt:

ftp
debug
open 192.168.178.1
user adam2
pass adam2
quote unsetenv provider

Danach konnte ich das recover wie oben beschrieben ausführen.

Dann habe ich alle Pakete nach dem String memsize durchsucht und mit der Option Follow TCP Stream auf dem gefundenen Paket den relevanten Part vom FTP sichtbar gemacht. Das PCAP kann ich hier leider nicht hochladen weil es die gesamte Firmware enthält und damit die 25MB Grenze von GitHub überschreitet.

220 ADAM2 FTP Server ready
USER adam2
331 Password required for adam2
PASS adam2
230 User adam2 successfully logged in
SYST
215 AVM EVA Version 1.3578 0x0 0x46409
SETENV memsize 0x59ad400
200 SETENV command successful
SETENV kernel_args_tmp mtdram1=0x859ad400,0x88000000
200 SETENV command successful
TYPE I
200 Type set to BINARY
MEDIA SDRAM
200 Media set to MEDIA_SDRAM
P@SW
227 Entering Passive Mode (192,168,178,1,12,20)
STOR 0x859ad400 0x88000000     <--- Hier fällt im Gegensatz zu push firmware auf, dass 0x88000000 nicht 0x80000000 gesetzt wird. Ich wollte in meinem push_firmware den gleichen Wert nutzen.
150 Opening BINARY data connection
226 Transfer complete%

Ich habe push_firmware benutzt und nach dem Hinweis der falschen Speichergröße von fda77 einfach die 512MB angenommen.

push_firmware -mem 512

In dem Fall setzt push firmware STOR XXXXXXXX 0x8d000000.

Nachdem ich eine Weile vergeblich versucht habe nachvollziehen wie push_firmware den Wert ausrechnet habe ich einfach ausprobiert was -map macht.

push_firmware -mem 512 -map 0x88000000

Ergebnis:

220 ADAM2 FTP Server ready
USER adam2
331 Password required for adam2
PASS adam2
230 User adam2 successfully logged in
SYST
215 AVM EVA Version 1.3578 0x0 0x46409
TYPE I
200 Type set to BINARY
MEDIA SDRAM
200 Media set to MEDIA_SDRAM
SETENV memsize 0x0a943700
200 SETENV command successful
SETENV kernel_args_tmp mtdram1=0x8a943700,0x8a000000
200 SETENV command successful
PASV
227 Entering Passive Mode (192,168,178,1,12,26)
STOR 0x8a943700 0x8a000000
150 Opening BINARY data connection
226 Transfer complete
SETENV linux_fs_start 1
200 SETENV command successful
QUIT
221 Thank you for using the FTP service on ADAM2
221 Goodbye.%

Der tatsächliche Werte wich um 0x2000000 vom gewollten Wert ab. Nächster Versuch:

push_firmware -mem 512 -map 0x86000000

220 ADAM2 FTP Server ready
USER adam2
331 Password required for adam2
PASS adam2
230 User adam2 successfully logged in
SYST
215 AVM EVA Version 1.3578 0x0 0x46409
TYPE I
200 Type set to BINARY
MEDIA SDRAM
200 Media set to MEDIA_SDRAM
SETENV memsize 0x0a943700
200 SETENV command successful
SETENV kernel_args_tmp mtdram1=0x8a943700,0x88000000
200 SETENV command successful
PASV
227 Entering Passive Mode (192,168,178,1,12,26)
STOR 0x8a943700 0x88000000
150 Opening BINARY data connection
226 Transfer complete
SETENV linux_fs_start 1
200 SETENV command successful
QUIT
221 Thank you for using the FTP service on ADAM2
221 Goodbye.%

Und plötzlich hatte ich eine FreetzNGBox! \o/

[aus-sua]

Klasse Beschreibung, sehr schön.
Danke dafür.

[fda77]

memsize ist der Ram der benutzt werden DARF. Das KANN der real verfügbare RAM sein oder weniger!
Was AVM hier nutzt sieht man nur im Mitschnitt eines Recovery!

Um ein Recovery zu loggen macht man am besten einen kompletten dumpo mit tcpdump/wireshark, und danach filtert man auf port 21, das ist die control-connection von ftp. Auf 20 übertrag FTP Daten, als die 25mb image.
Auf eine Port 21 Zeile dann "follow tcp stream" und man sieht was avm an Befehlen übermittelt

Wie die Werte berchnet werden steht doch im push firmware:

 * MAPSTART=0x80000000
 * FULLSIZE=0x0D000000	 (208 MB)
 * MAPLIMIT=0x8d000000
 * FILESIZE=0x026bc900	 (~38 MB)
 * FREESIZE=0x0a943700	 (~169 MB)

Ram geht von MAPSTART bis MAPLIMIT. Die Differenz ist FULLSIZE
Die Firmware mit FILESIZE wird ans Ende vom Ram hochgeladen ("in-memory") um gestartet zu werden
Der nutzbare RAM muss daher auf FREESIZE verringert werden damit das Image nicht überschrieben wird.
FREESIZE + FILESIZE = FULLSIZE
FULLSIZE + MAPSTART = MAPLIMIT
MAPSTART + FREESIZE + FILESIZE = MAPLIMIT

Wenn der RAM anfänglich zu klein gesetzt wird, kann das Image im Ram nicht richtig booten und sich selbst flashen

[aus-sua]

@tback
Eines nur noch:
Wenn Du noch etwas Zeit hast, könntest Du bitte noch einmal neu "pullen" und mit dem damit
geänderten push_firmware testen, ob das push_firmware (ohne weitere Optionen):
./tools/push_firmware
Deine 7590er jetzt normal flasht? :-)

[fda77]

In push firmware ist aktuell nur die 7590ax bei der ein geringerer Ram als real vorhanden verwendet wird.
Vielleicht sollte man den default auf die Erkennung ändern, damigt verwendet wird was vorhanden ist

[fda77]

Wenn keine default "memsize" hinterlegt ist wird jetzt die Größe des erkannten RAM verwendet: 40095e6