Comments (6)
Ich habe eingebaut:
"httpCouldConnect":true,
"httpStatusCode":301
Damit solltest du dein Ziel erreichen können.
from ws-domainvalidator.
Imho sollte hier hasError nicht true sein, da der DomainValidator arbeiten konnte - nur das Ergebniss der evaluierung negativ ausgefallen ist (dnsResolves=false).
Original URL ist das was der WS-Domain Valiadtor von der Anfrage verstanden hat. Wenn kein explizites Protokoll angegeben wurde wird angenommen das http gemeint war. Ich wusste nicht genau was gebraucht wird, weswegen ich einfach die Ausgabe mal noisy gemacht habe.
Ob die Seite noch erreichbar ist teste ich aktuell nicht. Lediglich ob die eingegebene URL syntaktisch korrekt ist und ob wir DNS auflösen können. Falls ja wird dann anschließend zurückgegeben was an die Scanner weitergeleitet werden kann. Da die Scanner unterschiedliche Ports ansprechen/ansprechen können kann der DomainValidator diese Aufgabe nicht übernehmen. Wenn interessant ist welche Dienste angeboten werden sollte man den Portscanner vor die anderen Scanner schalten.
from ws-domainvalidator.
Der DomainValidator wird ausschließlich mit der crawl: true
option genutzt.
Vielleicht dort einbauen, ob die Haupt-URL einen 404er lieferte oder erreichbar war, das wäre schon ausreichend.
from ws-domainvalidator.
ehm - was ist mit den user scans?
from ws-domainvalidator.
Zusammenfassung aus Chat-Verlauf:
Wenn der Crawler auf "An" gesetzt wird, aber nichts crawlen kann (weil Server nicht erreichbar, 404er, etc.), wird ein Rückgabewert crawlerErrror: true/false
benötigt.
Es muss festgestellt werden können, ob der Crawler durchlaufen konnte und nichts gefunden hat, oder ob er nichts gefunden hat, weil er nicht laufen konnte.
from ws-domainvalidator.
Dankeschön.
from ws-domainvalidator.
Related Issues (15)
- Callback Implementieren HOT 4
- Umbenennung crawledDomains zu crawledUrls HOT 1
- Option `allowSubdomains` implementieren HOT 1
- Option `maxAmountUrlsToCrawl` implementieren HOT 3
- Support für Umlaut-Domains integrieren HOT 1
- Timeout für Callbacks fehlt HOT 2
- Callback optional machen oder Input-Validierung HOT 2
- Option allowSubdomains fehlerhaft HOT 1
- Crawling: Unterschiedliche Pfade bevorzugen HOT 2
- Anpassung Log-Level HOT 1
- .space TLD wird nicht aufgelöst HOT 1
- Fehlender "domain" Parameter HOT 1
- Domain wird nicht bearbeitet HOT 1
- DomainValidator durch Domain in 100%-Auslastungsschleife HOT 1
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from ws-domainvalidator.