Narzędzia do przechwytywania i konwertowania Internetu

GrabzIt's Web Scraper API, Data as a Service!

Poprzez interfejs API Web Scraper GrabzIt możemy dostarczyć twojej aplikacji zeskrobane dane jako usługę internetową, która ci to umożliwia integruj zeskrobane informacje z powrotem into twoje podanie. The intdegradacja danych into twoja aplikacja jest realizowana przez moduł obsługi wywołania zwrotnego, który jest skryptem lub aplikacją pod publicznie dostępnym adresem URL, przetwarzającym dane wysłane z Skrobak internetowy GrabzIt. Kompletne pliki są umieszczane w tym module obsługi wywołania zwrotnego sekwencyjnie, więc na przykład może on zacząć od serii obrazów przed zakończeniem z JSON plik, dane w pliku JSON można następnie łatwo przeanalizować za pomocą metod pomocniczych w bibliotece klienta. Ten interfejs API umożliwia również Twojej aplikacji automatyczne kontrolowanie rozpoczęcia i zatrzymania zgarniania, a także żądanie ponownego wysłania wyników.

Najpierw zacząć stworzyć zdrapkę następnie wybierz Opcja zwrotnego adresu URL z zakładki Opcje eksportu i wprowadź adres URL do programu obsługi wywołania zwrotnego, np http://www.example.com/handler/

Jeśli masz problemy z obsługą oddzwaniania, wybierz tryb debugowania z karty Opcje zgarniania. Spowoduje to wyświetlenie odpowiedzi zwróconej przez moduł obsługi wywołania zwrotnego into dzienniki.

Obsługa zwrotna

Aby przetworzyć zeskrobane dane w module obsługi wywołania zwrotnego, wybierz opcje JSON lub XML na karcie Eksport, ponieważ spowoduje to zwrócenie danych w formacie, który można łatwo odczytać w dowolnym języku obiektowym.

W przypadku danych, które nie są danymi JSON ani XML, opcje przetwarzania są ograniczone, ponieważ dane nie są bardzo czytelne dla komputera, więc najlepszą opcją może być save plik na dysk lub w bazie danych.

Aby pomóc intproces degradacji GrabzIt zapewnia następujące API skrobaka dla poniższych języków. Jednak ponieważ nasz kod jest open source i dostępny na GitHub nie ma powodu, dla którego nie możesz stworzyć takiego języka programowania, którego nie ma tutaj na liście, lub możesz nas o to poprosić utwórz bibliotekę dla siebie. Jeśli tak, to dlaczego nie podzielić się nim ze światem?

Interfejs API zgarniacza ASP.NET PHP Scraper API Python Scraper API

Podczas gdy obsługa oddzwaniania jest najlepszym sposobem na ścisłe integrating skrobaczki internetowej GrabzIt za pomocą aplikacji możesz także integrate przez Amazon S3, Dropbox, FTP i WebDav.