Narzędzia do przechwytywania i konwertowania Internetu

Tworzenie zrzutów ekranu strony internetowej tak szybko, jak to możliwe

21 września 2015

Niedawno zakończyliśmy szereg ulepszeń naszych usług, aby ich tworzenie było jak najszybsze zrzuty ekranu stron internetowych, uruchom scrapowanie lub utwórz animowany GIF itp.

Przede wszystkim przeanalizowaliśmy nasz sprzęt i wprowadziliśmy kilka zmian, które znacznie przyspieszyły czas generowania zrzutów ekranu. Pierwszą zmianą było przejście na MongoDB przy użyciu WiredTiger jako silnik bazy danych, co znacznie skróciło czas reakcji naszej bazy danych.

Następnie przeprowadziliśmy migrację do nowego centrum danych, które wykorzystuje dyski twarde SSD i podwójne połączenia sieciowe, które są 100 razy szybsze niż nasze poprzednie serwery. Oznaczało to, że nasi klienci uzyskują znacznie lepszą, bardziej stałą wydajność nawet przy dużych obciążeniach.

Na koniec przeanalizowaliśmy nasze niestandardowe oprogramowanie i wdrożyliśmy szybszą technikę buforowania, która pozwala nam buforować zawartość internetową, taką jak obrazy i JavaScript, bez wpływu na szybkość generowania zrzutów ekranu. Teraz automatycznie blokujemy także wiele zewnętrznych usług analityki internetowej, aby zmniejszyć liczbę żądań internetowych wymaganych do zrobienia zrzutu ekranu. Wszystko to skróciło czas potrzebny na wygenerowanie zrzutu ekranu aż o 50%.

Zobacz najnowsze posty na blogu