Infos
Haben Sie die Domainliste gekauft? Möchten Sie das Internet und Ihre Domains nach gewünschten Daten durchsuchen?
Großartig, wir haben gerade einen unserer Crawler aus einer Hand bezogen, was super SCHNELL ist! und wenig Ressourcenverbrauch (dh über 100-Verbindungen pro Sekunde) mit geringem RAM- und CPU-Verbrauch. Es ist asynchron und bietet daher auch auf kleineren VPS / Linux-Servern beste Leistung. Sie können ein Cluster der Crawler einrichten. Verwenden Sie beispielsweise Redis und beispielsweise RQ (Redis Queue), um Domänen von mehreren Computern zu verarbeiten.
Wie Sie sehen können, kostet dies die Einrichtung und Ausführung einer solchen Umgebung etwas Geld. Sie können das Rechnen mit ca. 100-Anfragen pro Sekunde und bei 260,000,000-Domänen würde dies ca. 30-Server (dh $ 10 / month pro Server) können sie innerhalb eines Tages verarbeiten. Wir haben das gemacht und machen es kontinuierlich.
Wenn Sie es bei uns kaufen, sparen Sie Geld und Ärger.
Fühlen Sie sich frei, um die gewünschten Daten zu erhalten, nachdem Sie eine Liste der Domains von uns gekauft haben:
Hier ist die Domain Crawler Open Source GitHub Seite:
https://github.com/topcodersonline/domain-crawler/blob/master/crawler.py
Sie müssen Felder angeben, die Sie durchsuchen und die Eingabedatei eingeben möchten.
Derzeit werden diese Werte im Standardformat im JSON-Format ausgegeben:
- Domain
- IP
- Webservertyp
- Tech Stack (Powered By)
- MetaGenerator
- E-Mail
- Land gehostet
Fühlen Sie sich frei, hinzuzufügen / zu ändern.
Bei Fragen können Sie sich gerne direkt an uns wenden.
