Server liefert verschiedene Statuscodes (Hilfe bitte)

[Timm R. (Firma: privatfrickler.de) (treinisch)]

Hallo liebe Mitglieder des Forums,

ich bin komplett baff. Ich habe gerade mal das Logfile eines Servers, 
den ich betreue untersucht und komme zu dem Befund, dass er seltsame 
Statuscodes liefert.

hier mal ein Beispiel:

66.249.79.56 - - [12/Sep/2019:10:49:48 +0200] "GET /robots.txt HTTP/1.1" 301 606 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.79.56 - - [14/Sep/2019:16:31:39 +0200] "GET /robots.txt HTTP/1.1" 301 5796 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
66.249.79.32 - - [14/Sep/2019:20:22:03 +0200] "GET /robots.txt HTTP/1.1" 200 6068 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

mir fehlt leider absolut jede Erklärung, wie sowas sein kann! Es gibt 
auch noch 404 und nicht nur beim Googlebot und auch bei anderen URLs. 
Ich habe nur den Googlebot genommen, wegen des Datenschutzes.

Bei robots.txt gibt es aber keinen 404, das hängt von der konkreten URL 
ab, manchmal wechseln 301 und 404, manchmal 200 und 404 oder 301 und 200 
oder auch alle drei.

Das ab und an mal ein 404 kommt, ist ja normal, aber sowas?

Hätte vielleicht jemand einen Tipp, wo ich anfangen könnte zu suchen?

Der Webserver ist ein Apache 2.4.25, das OS ein Debian 9.9,
mit Intel(R) Xeon(R) CPU E3-1271 v3 @ 3.60GHz und 32 GB RAM.

Es gibt eine Firewall, aber die würde ja nicht zu Statuscodes führen.

Die betroffene Domain läuft durch Cloudflare CDN, aber das kann ja auch 
keine Rolle spielen, robots.txt ist außerdem vom Caching ausgeschlossen.

Wo kann ich anfangen zu suchen?

Vielen Dank und herzliche Grüße

 Timm

[Kristallkugel (Gast)]

301 -> URL redirection
200 -> OK

Apache leitet die URL um.

[Timm R. (Firma: privatfrickler.de) (treinisch)]

Hallo,

nee, schau doch oben: Die 200 kommt bei genau derselben URL wie die 301 
außerdem ist es nicht so, dass eine 301 kommt und dann sofort eine 200, 
wie es normal wäre. Da liegen Stunden dazwischen?

Wenn ich die URL abrufe kriege ich nur die 200 und nie eine 301.

vlg
Timm

[Kristallkugel (Gast)]

Steht was im Apache error.log?

[Timm R. (Firma: privatfrickler.de) (treinisch)]

Hallo Kristallkugel,

nichts, dass auf sowas hindeuten könnte, nur php Fehler, aber die 
robots.txt läuft ja nicht durch php.

vlg
 Timm

[yesitsme (Gast)]

Vielleicht eine Umleitung HTTP -> HTTPS
Oder domain.de -> www.domain.de

[Timm R. (Firma: privatfrickler.de) (treinisch)]

Hallo,

yesitsme schrieb:
> Vielleicht eine Umleitung HTTP -> HTTPS
> Oder domain.de -> www.domain.de

theoretisch dürfte das nicht sein, weil die Domain korrekt in der Search 
Console angelegt ist und eigentlich müssten die Statuscodes-Wechsel ja 
dann auch näher beieinander liegen. Andererseits: Vielleicht vertagt 
google den redirecteten Besuch ja?

Ich habe jetzt das Logfile um die angefragte Domain und http / https 
ergänzt, mal schauen! Vielleicht ist das ja doch der Grund.

Danke für den Tip schonmal!

Herzliche Grüße

 Timm

[T.roll (Gast)]

Timm R. schrieb:
> nee, schau doch oben: Die 200 kommt bei genau derselben URL wie die 301
> außerdem ist es nicht so, dass eine 301 kommt und dann sofort eine 200,
> wie es normal wäre. Da liegen Stunden dazwischen?

Natürlich liegen da Stunden dazwischen. Das ist der Googlebot, der folgt 
Änderungen (3XX-Codes) meist nicht sofort, sondern trägt sie erstmal in 
seine interne Datenbank ein und ruft sie dann in Stunden/Tagen/Wochen 
ab.

Timm R. schrieb:
> theoretisch dürfte das nicht sein, weil die Domain korrekt in der Search
> Console angelegt ist und eigentlich müssten die Statuscodes-Wechsel ja
> dann auch näher beieinander liegen. Andererseits: Vielleicht vertagt
> google den redirecteten Besuch ja?

THEORETISCH! Google testet oft verschiedene Sachen durch die nirgendwo 
eingetragen sind, einfach um zu prüfen ob die Leute Google bescheißen 
wollen.

Log mal die Domains mit, dann siehst du, was hier in Wirklichkeit 
aufgerufen wird.

[Timm R. (Firma: privatfrickler.de) (treinisch)]

Hallo,

T.roll schrieb:

> THEORETISCH! Google testet oft verschiedene Sachen durch die nirgendwo
> eingetragen sind, einfach um zu prüfen ob die Leute Google bescheißen
> wollen.
>
> Log mal die Domains mit, dann siehst du, was hier in Wirklichkeit
> aufgerufen wird.

jepp. Mache ich ja schon, siehe Antwort etwas weiter oben.

Und? Tataa! In der Tat, sowohl https, als auch http, als auch www, als 
auch ohne werden aufgerufen.

Wie dämlich.

Vielen Dank für die Hilfe an alle.

Herzliche Grüße

 Timm