Narzędzia do przechwytywania i konwertowania Internetu

Duże ulepszenia skrobaka do 2019

Marzec 08 2019

Oprócz przeprojektowania i mnóstwa poprawek błędów, wprowadziliśmy drastyczne ulepszenia skrobaka internetowego GrabzIt obejmują:

  • Wsparcie ekstrakcji treści zawartych w stylach CSS
  • Możesz teraz wybrać kraj, z którego wykonuje się zgarnianie. Obecnie dostępne są opcje w USA lub Wielkiej Brytanii.
  • Możesz teraz wybrać, czy przestrzegasz reguł pliku robots.txt, czy nie. Domyślnie robi to scrape.
  • Dane względne mogą być teraz automatycznie łączone razem, jest to przydatne, gdy masz dane, które występują w przypadku niektórych elementów HTML, ale nie innych. Dzięki powiązaniu tych elementów razem wartości pojawią się względem poprawnych elementów danych w wynikowym zbiorze danych.
  • Podczas tworzenia zestawu danych różne kolumny mogą należeć do różnych szablonów, co oznacza, że ​​niektóre kolumny można wypełnić z jednego typu strony, a inne z różnych typów stron. Przykładem może być strona z listą produktów i strona ze szczegółowymi informacjami o produkcie. Umożliwi to uzyskanie szczegółowych informacji ze strony z listą produktów, a następnie szczegółowych informacji ze strony ze szczegółowymi informacjami o produkcie.
  • Innym sposobem ulepszenia konstruktora zestawu danych jest umożliwienie zastosowania efektów operacji, takich jak zawartość, mniejsza niż itp., Do wszystkich lub niektórych kolumn.
  • Jest ich teraz kilka nowe polecenia dostępne z kreatora scrape.
    • Usuń - możesz teraz usuwać elementy, co jest przydatne w niektórych okolicznościach, aby zatrzymać wielokrotne czytanie tych samych elementów.
    • Przewijanie - skrobak internetowy może teraz przewijać elementy HTML, które go obsługują.
    • Hover - to polecenie umieści kursor myszy nad określonym elementem, co może być przydatne w ujawnianiu informacji.
    • Paginacja - jest to nowa funkcja dla akcji Kliknięcie i umożliwia automatyczne wykonywanie paginacji dla wybranych linków do stronicowania. Oznacza to, że nawet jeśli skrobak kliknie gdzieś w paginowanych danych, jako część skrobania, znajdzie drogę z powrotem do bieżącej strony paginowanej, aby kontynuować skrobanie.
  • Najlepsza część o GrabzIt's Skrobak do sieci jest to, że możesz korzystać z niego bezpłatnie co miesiąc. Więc na co czekasz, daj nam szansę i prześlij nam swoją opinię, chcielibyśmy, aby nasz najlepszy skrobak internetowy!

Zobacz najnowsze posty na blogu