Detektion Seite nicht erreichbar about ws-domainvalidator HOT 6 CLOSED

Ich habe eingebaut:
"httpCouldConnect":true,
"httpStatusCode":301

Damit solltest du dein Ziel erreichen können.

from ws-domainvalidator.

Imho sollte hier hasError nicht true sein, da der DomainValidator arbeiten konnte - nur das Ergebniss der evaluierung negativ ausgefallen ist (dnsResolves=false).
Original URL ist das was der WS-Domain Valiadtor von der Anfrage verstanden hat. Wenn kein explizites Protokoll angegeben wurde wird angenommen das http gemeint war. Ich wusste nicht genau was gebraucht wird, weswegen ich einfach die Ausgabe mal noisy gemacht habe.

Ob die Seite noch erreichbar ist teste ich aktuell nicht. Lediglich ob die eingegebene URL syntaktisch korrekt ist und ob wir DNS auflösen können. Falls ja wird dann anschließend zurückgegeben was an die Scanner weitergeleitet werden kann. Da die Scanner unterschiedliche Ports ansprechen/ansprechen können kann der DomainValidator diese Aufgabe nicht übernehmen. Wenn interessant ist welche Dienste angeboten werden sollte man den Portscanner vor die anderen Scanner schalten.

from ws-domainvalidator.

Der DomainValidator wird ausschließlich mit der crawl: true option genutzt.

Vielleicht dort einbauen, ob die Haupt-URL einen 404er lieferte oder erreichbar war, das wäre schon ausreichend.

from ws-domainvalidator.

ehm - was ist mit den user scans?

from ws-domainvalidator.

Zusammenfassung aus Chat-Verlauf:

Wenn der Crawler auf "An" gesetzt wird, aber nichts crawlen kann (weil Server nicht erreichbar, 404er, etc.), wird ein Rückgabewert crawlerErrror: true/false benötigt.

Es muss festgestellt werden können, ob der Crawler durchlaufen konnte und nichts gefunden hat, oder ob er nichts gefunden hat, weil er nicht laufen konnte.

from ws-domainvalidator.

Dankeschön.

from ws-domainvalidator.