Opis
Czy kupiłeś listę domen? Chcesz zaindeksować Internet i swoje domeny w poszukiwaniu żądanych danych?
Świetnie, po prostu otworzyliśmy jeden z naszych robotów, co jest super SZYBKIE! i niskie zużycie zasobów (tj. na połączenia 100 na sekundę) przy niskim zużyciu pamięci RAM i procesora. Jest asynchroniczny, więc zapewnia najlepszą wydajność nawet na mniejszym serwerze VPS / Linux. Możesz skonfigurować klaster robotów indeksujących, używając na przykład Redis i na przykład RQ (Redis Queue) do przetwarzania domen z kilku komputerów.
Jak widać, będzie to kosztować trochę pieniędzy na skonfigurowanie i uruchomienie takiego środowiska. Możesz zrobić matematykę, z ok. Żądania 100 na sekundę i domeny 260,000,000 wymagałyby około. Serwery 30 (np. $ 10 / miesiąc pro Server) do przetworzenia w ciągu jednego dnia. Zrobiliśmy to i robimy to ciągle.
Kupując od nas, oszczędzasz pieniądze i kłopoty.
Skorzystaj z niego, aby uzyskać żądane dane, po zakupieniu listy domen od nas:
Oto strona GitHub przeszukiwacza domeny Open Source:
https://github.com/topcodersonline/domain-crawler/blob/master/crawler.py
Musisz określić pola, które chcesz przeszukać i plik wejściowy.
Obecnie na standardowe wyjście w formacie JSON wyświetli następujące wartości:
- Domena
- IP
- Typ serwera WWW
- Stos technologii (zasilany przez)
- MetaGenerator
- Email
- Kraj hostowany
Nie krępuj się dodawać / modyfikować.
W razie pytań prosimy o bezpośredni kontakt z nami.
