Absturz beim ESP8266

[Sirdus (Gast)]

Hallo,

ich habe ein Problem und kann mir selber nicht so recht helfen.
Auf dem ESP läuft ein Web-Server welcher eine Seite zur Verfügung 
stellt. Auf dieser Seite kann man div. Schaltperioden einstellen. Das 
ist eine ganz einfach Wochenschaltuhr. Jetzt habe ich aber das Problem, 
dass mir der ESP unter EDGE abstürzt. Beim Firefox funktioniert es. 
Firefox ist aber auch nicht ganz die Lösung, da hier das Stellen der 
Uhrzeit nicht geht.

Was kann hier die Ursache des Problems sein und was kann man dagegen 
tun.
Wäre schön wenn mich einer bei der Fehlersuche unterstützen könnte.

VG

[60/40 (Gast)]

Gefühlt ein Pufferüberlauf im Parser.

[Stefan F. (Gast)]

Der ESP8266 hat nur etwa 5 kB im Stack frei, wenn man mehr belegt stürzt 
er ab.

Anderer Ansatz: Kommentiere mal alle seriellen Ausgaben aus. Wenn die zu 
lange dauern macht er nämlich einen Watchdog Reset.

Mir ist noch etwas aufgefallen:

  server.onRequestBody([](AsyncWebServerRequest *request, uint8_t *data, size_t len, size_t index, size_t total){

    ...

      int i = 0;
      while (true)
      {
        myjson = myjson + String((char)data[i]);
        if (data[i - 1] == ']' && data[i] == '}')
          break;
        i++;
      }

Wenn du die erwarte Zeichenfolge "]}" nicht empfängst, dann hängst du 
hier in einer Endlosschleife fest die über das Ende von data hinaus 
läuft. Du ignorierst sogar den Wert von len.

[Εrnst B. (ernst)]

Du benutzt doch eh schon den AsyncWebserver. Da hast du doch garkeine 
Notwendigkeit, die gesamte Antwort im RAM zusammenzubasteln, sondern 
könntest die Dateien z.B. einfach vom PROGMEM oder SPIFFS rausstreamen, 
und per Templating-Option deine dynamischen Werte einsetzen.

https://github.com/me-no-dev/ESPAsyncWebServer#send-large-webpage-from-progmem-containing-templates

Das hier:

    String head = String(header_html);
    String fn = get_jsdate_fn();
    String table = get_html_table();
    String rem = String(rem_body);
    String foot = String(footer_html);
    String resp = head + fn + table + rem+ foot;

ist schon sehr verschwenderisch... erstmal alles aus dem PROGMEM in den 
RAM kopieren, und dann (über mehrere Zwischenschritte in den 
String-Additionen, die auch alle im RAM liegen) nochmal eine 
Komplett-Kopie der gesamten Antwort im RAM zurechtlegen...

Wenn dir das Templating zu kompliziert ist:

String resp = String(header_html);
resp += get_jsdate_fn();
resp += get_html_table();
resp += String(rem_body);
resp += String(footer_html);

ist zumindest etwas sparsamer.

[Stefan F. (Gast)]

Soweit ich dem Beispielprojekt der Bibliothek entnehmen kann ist wohl 
vorgesehen, dass onRequestBody() unter Umständen mehrmals mit Fragmenten 
des Bodies aufgerufen wird, bis die "total" Anzahl von Bytes erreicht 
sind.

Dein Code geht aber davon aus, dass das  gesamte JSON Dokument in einem 
Rutsch an onRequestBody() übergeben wird.

[Sirdus (Gast)]

Hallo Stefan F. die seriellen Ausgaben hatte ich schon deaktiviert, 
leider ohne Erfolg. Ich denke dein zweiter Tipp mit dem nichtempfangen 
der Zeichenkette und dem damit verbundenen Überlauf ist schon mal ein 
Punkt.

@ Εrnst B

>Wenn dir das Templating zu kompliziert ist:

String resp = String(header_html);

resp += get_jsdate_fn();
resp += get_html_table();
resp += String(rem_body);
resp += String(footer_html);
ist zumindest etwas sparsamer.

Diesen Teil habe ich so übernommen, der Rest sprengt meine Kenntnisse 
;-)

@Stefan F.
>Soweit ich dem Beispielprojekt der Bibliothek entnehmen kann ist wohl
>vorgesehen, dass onRequestBody() unter Umständen mehrmals mit Fragmenten
>des Bodies aufgerufen wird, bis die "total" Anzahl von Bytes erreicht
>sind.

>Dein Code geht aber davon aus, dass das  gesamte JSON Dokument in einem
>Rutsch an onRequestBody() übergeben wird.

Okay wie würde man es den lösen?

[Stefan F. (Gast)]

Sirdus schrieb:
> Okay wie würde man es den lösen?

Die empfangenen Bytes sammeln bis len+len+...+len den Wert von total 
erreicht hat. Erst dann auswerten. Aber nicht bis zur Position von "]}" 
auswerten, sondern von 0 bis total.

[Sirdus (Gast)]

Hallo,

ich habe mal eine serielle Ausgabe in den Code eingebaut und sehe einen 
Unterschied zwischen Firefos und Edge

  // save file
  server.onRequestBody([](AsyncWebServerRequest *request, uint8_t *data, size_t len, size_t index, size_t total){
    state = STARTUP;
    String myjson;
    if (request->url() == "/submit")
    {
    
       for (size_t i = 0; i < total; i++) {
        Serial.write(data[i]);
        myjson = myjson + String((char)data[i]);
       }

    save_config_file(DEFAULT_CONFIG_FILE, myjson);
    int r = load_config(start_time, stop_time, status, DEFAULT_CONFIG_FILE);

    String resp = String(header_html);

    resp += get_jsdate_fn();
    resp += get_html_table();
    resp += String(rem_body);
    resp += String(footer_html);  
    } });

  enable_ap();
  
}

Auf der Console sehe ich jetzt folgendes.

Firefox:
{"start_time":[450,450,450,450,450,480,480],"stop_time":[840,840,840,840 
,840,720,720],"status":1,1,1,1,1,0,0]}
123341151169711411695116105109101345891525348445253484452534844525348445 
253484452564844525648934434115116111112951161051091013458915652484456524 
844565248445652484456524844555048445550489344341151169711611711534589149 
44494449444944494448444893125


Edge:
{"start_time":[450,450,450,450,450,480,480],"stop_time":[840,840,840,840 
,840,720,720],"status":1,1,1,1ointR␅123341151169711411695116105109101345 
891525348445253484452534844525348445253484452564844525648934434115116111 
112951161051091013458915652484456524844565248445652484456524844555048445 
5504893443411511697116117115345891494449444944491111051101168210185,1,0, 
0]}␀␀\␃�␅=␅␟␅Mozilla/5.0  (Windows NT 10.0; Win64; x64) 
AppleWebKit/537.36 (KHTML, like Gecko) 
Chrome/106.0444944484448931250092313056153157711112210510810897475346483 
240871051101001111191153278843249484648593287105110545259321205452413265 
112112108101871019875105116475351554651543240757284777644321081051071013 
27110199107111413267104114111109101474948544648

Die "Zahlen" kommen aus einer Print ausgabe beim Datei schreiben.

 
bool save_config_file(String f_name, String Json)
{
  File file = SPIFFS.open(f_name, "w");
  if (!file)
  {
    Serial.println("Error opening file for writing");
    return false;
  }

  if (!file.print(Json))
  {
    return false;
  }

  file.close();
/////////////////////////////////
File file2 = SPIFFS.open(f_name, "r");

  if (!file2)
  {
    Serial.println("Failed to open file for reading");
    return false;
  }

  int i = 0;
  while (file2.available())
  {
    Serial.print(file2.read()); -----> erzeugt die Zahlen in der Ausgabe!
  }
  file2.close();

/////////////////////////////////////

  return true;
}

Wenn ich es richtig sehe, wird beim Edge irgendwie die Datei geschrieben 
bevor die Funktion fertig ist. Man erkennt aber auch den Rest in der 
Ausgabe.
.."status":1,1,1,1 xxxx ,1,0,0]}

[Εrnst B. (ernst)]

Sirdus schrieb:
> Wenn ich es richtig sehe, wird beim Edge irgendwie die Datei geschrieben
> bevor die Funktion fertig ist. Man erkennt aber auch den Rest in der
> Ausgabe.

Wie Stefan geschrieben hat:
Es ist nicht garantiert, dass du nur einen einzigen Aufruf von 
"handleUpload" bekommst, da können auch mehrere kommen, jeder mit einem 
Teil der Daten. Erst wenn der Aufruf mit "final=true" kommt, sind die 
Daten vollständig übertragen.

mit "file_data" hast du ja schon angefangen, dir diese Daten 
zusammenzusammeln. Aber: Du darfst das nur beim ersten Aufruf auf 
""(leer) setzen.
z.B:

  server.on("/handleupload", HTTP_POST, [](AsyncWebServerRequest *request)  
    { file_data=""; request->send(200); },
      handleUpload);

oder alternativ am Ende der Datenübertragung, also im "if (final) ..."

Vorsicht: Ist keine 100%ige Lösung, wenn Zwei Uploads auf die URL 
gleichzeitig passieren, zerschießt es dir den Variableninhalt.

[Stefan F. (Gast)]

Sirdus schrieb:
> for (size_t i = 0; i < total; i++)
> Auf der Console sehe ich jetzt folgendes:
(ein bisschen richtiges gefolgt von Zufallsdaten)

> Wenn ich es richtig sehe, wird beim Edge irgendwie die Datei
> geschrieben bevor die Funktion fertig ist

Weil dein Code immer noch davon ausgeht, das gesamte JSON Dokument in 
einem Rutsch zu empfangen. Darauf kannst du dich aber nie verlassen. 
Beim TCP Protokoll können Datenströme immer in unerwartete Paketgrößen 
zerlegt werden.  Du wirst mit dem anderen Browser genau das gleiche 
Problem bekommen wenn das JSON Dokument größer als 4 kB ist. Das ist 
nämlich die maximale zulässige Paketgröße bei Ethernet. Doch darauf 
kannst du dich nicht verlassen, da jedes beteiligte Programm und Gerät 
den Datenstrom in kleinere Stücke zerlegen darf.

Die Funktion onRequestBody() wird mehrmals (!) mit folgenden Parametern 
aufgerufen:

data:  Zeiger auf die empfangenen Bytes des aktuellen Fragmentes
len:   Anzahl der empfangenen Bytes in data
index: Position innerhalb der Gesamtgröße
total: Gesamte Anzahl erwarteter Bytes (wie im Content-Length header)

Angenommen dein Request Body besteht auf 3 Stücken, dann könnten sie so 
aufgeteilt sein:

Erster Aufruf:  len=128, index=0,   total=300
Zweiter Aufruf: len=64,  index=128, total=300
Dritter Aufruf: len=108, index=192, total=300

Wenn len+index=total ist, hast du das letzte Fragment empfangen.

Du möchtest alle Fragmente nacheinander verketten, und erst ganz zum 
Schluss das JSON Dokument weiter verarbeiten. Nicht bei jedem Aufruf von 
onRequestBody().

[Sirdus (Gast)]

Hallo,

@ Stefan F. vielen Dank für deinen letzten Beitrag, das hat mir wirklich 
geholfen das Problem zu verstehen.

Ich habe nun versucht das irgendwie umzusetzten aber so recht geht es 
leider nicht.

server.onRequestBody([](AsyncWebServerRequest *request, uint8_t *data, size_t len, size_t index, size_t total){
    
    if (index = 0){
      myjson ="";
    }
    
    if (request->url() == "/submit")
    {
      Serial.print("len ");
      Serial.println(len);
      Serial.print("idx ");
      Serial.println(index);
      Serial.print("tot ");
      Serial.println(total);

      for (int i = 0; i < len; i++){
           myjson = myjson + String((char)data[i]);

      }
    
      cnt = len + index;

      if (cnt == total) 
       {
          Serial.println();
          printf("%s\n", myjson.c_str());
          Serial.println();
          save_config_file(DEFAULT_CONFIG_FILE, myjson);
          int r = load_config(start_time, stop_time, status, DEFAULT_CONFIG_FILE);

          String resp = String(header_html);

          resp += get_jsdate_fn();
          resp += get_html_table();
          resp += String(rem_body);
          resp += String(footer_html);  
          state = STARTUP;
          enable_ap();
       }     
 
    } });
}

damit bekomme ich folgende Print Ausgaben
Firefox

len 115
idx 0
tot 115

{"start_time":[450,450,450,450,450,480,480],"stop_time":[1320,960,1320,1080,1140,720,720],"status":[1,1,1,1,0,0,0]}

Edge

len 103
idx 0
tot 115
len 12
idx 0
tot 115

Leider ist Index immer 0 ?

[J. S. (jojos)]

Mal die Compiler Warnungen einschalten.

if (index = 0){

[Stefan F. (Gast)]

Sirdus schrieb:
> Ich habe nun versucht das irgendwie umzusetzten aber so recht geht es
> leider nicht.

Dein gezeigter Quelltext ist jedenfalls der richtige Ansatz.

J. S. schrieb:
> Mal die Compiler Warnungen einschalten.
> if (index = 0){

Das wird es sein.

[Sirdus (Gast)]

Hallo,

if (index = 0){
jetzt hab ich mich aber wieder angestellt.

Vielen Dank nochmal für die tolle Hilfe.

[Sirdus (Gast)]

Ein Problem habe ich noch und zwar beim Stellen der Uhr.

 // load selected file for pump timing
  server.on("/updatertc", HTTP_GET, [](AsyncWebServerRequest *request){
    state = STARTUP;
    uint16_t yr;
    uint8_t mont, dy, hrs, minu, sec;
      
    String thisy = request->getParam("y")->value();
    String thismo = request->getParam("mo")->value();
    String thisd = request->getParam("d")->value();
    String thish = request->getParam("h")->value();
    String thism = request->getParam("m")->value();
    String thiss = request->getParam("s")->value();
   
    yr = thisy.toInt(); mont = thismo.toInt(); dy = thisd.toInt();
    hrs = thish.toInt(); minu = thism.toInt(); sec = thiss.toInt();

    Serial.printf("%d,%d,%d\n", yr, mont, dy);
    Serial.printf("%d,%d,%d\n", hrs, minu, sec);

    delay(300);

#ifdef DEBUG
   // Serial.printf("%d\n",yr);
#endif
    rtc.adjust(DateTime(yr, mont, dy, hrs, minu, sec));
    int r = load_config(start_time, stop_time, status, DEFAULT_CONFIG_FILE);
    String head = String(header_html);
    String fn = get_jsdate_fn();
    String table = get_html_table();
    String rem = String(rem_body);
    String foot = String(footer_html);
    String resp = head + fn + table + rem+ foot;
    request->send_P(200, "text/html", (resp).c_str());
    delay(10);
    });

Leider funktioniert das nicht unter Firefox, Edge macht keine Probleme.
Ich sehe mit Firefox keine Print-Ausgabe. Es scheint als ob die Funktion 
nicht aufgerufen wird. Im Debugfesnter vom Firefox sehe ich 
NS_BINDING_ABORTED

Kann mir hier noch einer einen Tipp geben?

[Stefan F. (Gast)]

Mache mal eine Debug Ausgabe ganz am Anfang der Funktion um zu sehen ob 
sie überhaupt aufgerufen wird.

Kontrolliere mit Wireshark, wie dein Mikrocontroller den HTTP Request 
beantwortet. Du kann mit Wireshark auch gut herausfinden, worin sich die 
Requests deiner beiden Browser unterscheiden.

[Sirdus (Gast)]

Stefan F. schrieb:
> Mache mal eine Debug Ausgabe ganz am Anfang der Funktion um zu sehen ob
> sie überhaupt aufgerufen wird.

server.on("/updatertc", HTTP_GET, [](AsyncWebServerRequest *request){
    Serial.printf("debug");

--> keine Ausgabe

Habe es mit Wireshark aufgezeichnet, sprengt aber meinen Stack...
In der LOG sieht man erst den Firefox, dann Edge.
Beim Firefox fehlt irgendwie die Anfrage.

[Sebastian (Gast)]

Sirdus schrieb:
> Beim Firefox fehlt irgendwie die Anfrage.

Vorher den Cache geleert?

LG, Sebastian

[Sirdus (Gast)]

Sebastian schrieb:
> Vorher den Cache geleert?

gerade getestet, ohne Erfolg.

[Stefan F. (Gast)]

Sirdus schrieb:
> keine Ausgabe
> 123.png

> Habe es mit Wireshark aufgezeichnet, sprengt aber meinen Stack...

Wieso ist doch gut. Du hast genau das gezeigt, was ich sehen wollte.

Dass ein Browser wiederholt versucht, das /favicon.ico zu laden ist ganz 
normal. Dass dein µC mit darauf mit einem Error antwortet wenn er dieses 
Bild nicht bereitstellen kann ist auch OK (wobei dann ein anderer 
Errorcode üblich wäre, aber egal).

Was hier aber völlig fehlt ist der Aufruf /updaterc durch den Firefox 
Browser. Kein Wunder dass dein Mikrocontroller nicht reagiert. Du hast 
offenbar einen Fehler im HTML oder Javascript der Webseite. Hänge mal 
den Seitenquelltext als HTML Datei an. Mit dem Browser abspeichern, ich 
will sehen wie die Seite aus seiner Sicht aussieht. Falls sie 
irgendwelche Javascripte als separate Datei includiert, dann hänge diese 
bitte auch an.

[Sirdus (Gast)]

Hallo Stefan F.

anbei die HTML Seite

[Stefan F. (Gast)]

Die letzte Zeile der Funktion muss weg, ich habe sie auskommentiert:

        function updateRtc(){
          ...
          var http = new XMLHttpRequest();
          http.open("GET", url+"?"+params, true);
          http.onreadystatechange = function(){
          if(http.readyState == 4 && http.status == 200) {
            alert("Time updated");
            location.reload();
          }}
          http.send(null);
          //location.reload();
        }

Erklärung: Mit http.onreadystatechange richtest du eine Call-Back 
Funktion ein, der aufgerufen werden soll, wenn der Request beantwortet 
wurde. Da du aber schon vorher das Fenster neu lädst, ist der 
Eventhandler nicht mehr Verfügbar. Der Request wird vom Browser 
abgebrochen.

Schau dir auch mal deine submitFunction an, die ist auch nicht in 
Ordnung:

        function submitFunction() {
            ...
            let jsonData = { ... };
            let xhr = new XMLHttpRequest();
            let url = "/submit";
            xhr.open("POST", url, true);
            xhr.setRequestHeader("Content-Type", "application/json");
            var data = JSON.stringify(jsonData);
            xhr.send(data);
            alert("Daten gespeichert!");
            location.reload();
        }

Bei xhr.open() hast du mit dem Parameter true festgelegt, dass der 
Request asynchron ausgeführt werden soll. Direkt nach xhr.send() gibst 
du aber schon eine Erfolgsmeldung aus, völlig egal ob der Request 
überhaupt erfolgreich beantwortet wurde. Du musst an dieser Stelle auch 
wie oben eine Call-Back Funktion benutzen, um die Antwort auszuwerten.