Narzędzia do przechwytywania i konwertowania Internetu

Duże ulepszenia skrobaka sieciowego na rok 2019

Marzec 08 2019

Oprócz przeprojektowania i mnóstwa poprawek błędów, wprowadziliśmy drastyczne ulepszenia skrobaka internetowego GrabzIt, obejmują one:

  • Wspieranie ekstrakcji treści zawartej w stylach CSS
  • Możesz teraz wybrać kraj, z którego wykonywany jest scrap. W tej chwili do wyboru są Stany Zjednoczone lub Wielka Brytania.
  • Możesz teraz wybrać, czy respektujesz zasady pliku robots.txt, czy nie. Domyślnie robi to zadrapanie.
  • Dane względne można teraz automatycznie łączyć ze sobą, jest to przydatne, gdy istnieją dane dotyczące niektórych elementów HTML, ale nie innych. Dzięki powiązaniu ze sobą tych elementów wartości pojawią się w odniesieniu do odpowiednich elementów danych w wynikowym zbiorze danych.
  • Podczas tworzenia zbioru danych różne kolumny mogą należeć do różnych szablonów, co oznacza, że ​​niektóre kolumny można wypełnić z jednego typu strony, a inne z różnych typów stron. Jednym z przykładów może być strona z listą produktów i strona ze szczegółami produktu. Umożliwiłoby to uzyskanie ogólnych szczegółów ze strony z listą, a następnie szczegółowych informacji ze strony ze szczegółami produktu.
  • Innym sposobem ulepszenia narzędzia do tworzenia zestawów danych jest umożliwienie zastosowania efektów operacji, takich jak zawiera, mniej niż itp., do wszystkich lub niektórych kolumn.
  • Teraz jest ich kilka nowe polecenia dostępne w kreatorze zgarniania.
    • Usuń – możesz teraz usuwać elementy, co jest przydatne w niektórych okolicznościach, aby zapobiec wielokrotnemu czytaniu tych samych elementów.
    • Przewijanie – skrobak sieciowy może teraz przewijać elementy HTML, które go obsługują.
    • Najedź – polecenie najechania myszką na określony element, co może być przydatne przy ujawnianiu informacji.
    • Paginacja – jest to nowa funkcja akcji Kliknij, która pozwala na automatyczne wykonanie paginacji na wybranych linkach paginacyjnych. Oznacza to, że nawet jeśli moduł skrobaka wyłączy się gdzieś w paginowanych danych, w ramach pobierania, powróci do bieżącej strony, aby kontynuować pobieranie.
  • Najlepsza część GrabzIt's Skrobak do sieci jest to, że możesz z niego korzystać bezpłatnie co miesiąc. Więc na co czekasz, spróbuj i przekaż nam wszelkie uwagi, jakie masz. Z chęcią uczynimy z naszego najlepszego internetowego skrobaka internetowego!

Zobacz najnowsze posty na blogu