Przegląd Serpstack: JSON Rest API dla wyników wyszukiwania Google

Jeśli chcesz pobrać wyniki wyszukiwania - w szczególności te z Google - jednym ze sposobów jest zrobienie tego uruchom rzeczywiste wyszukiwanie na google.com i spróbuj przeanalizować skomplikowany kod HTML, który otrzymasz jako wynik. Można to zrobić, ale jest to dość przedsięwzięcie. Jeśli chcesz wybrać prostszą trasę, skorzystaj z dedykowanego interfejsu API SERP, który możesz karmić wyszukiwanym hasłem i który zwróci wyniki w formacie, który można łatwo przeanalizować. Jednym z takich produktów jest Serpstack API od warstw. Bierze ciąg zapytania i parametry wyszukiwania jako dane wejściowe i zwraca wyniki wyszukiwania w formacie JSON. Przyjrzyjmy się dokładniej produktowi.

Zaczniemy, jak to często bywa, od ogólnego omówienia SERP. Następnie wyjaśnimy, co to jest i opiszemy kilka różnych rodzajów wyników, które są zazwyczaj dostępne w wyszukiwarkach. Przeanalizujemy również kilka powodów, dla których warto użyć interfejsu API SERP. A kiedy już będziemy na tej samej stronie, przyjrzymy się dokładniej interfejsowi API Serpstack. Zanim przejdziemy do korzystania z interfejsu API, omówimy niektóre z jego głównych funkcji. I zanim zakończymy, zbadamy strukturę cen usługi i dostępne plany.

SERP w pigułce

Po pierwsze, SERP to skrót od stron wyników wyszukiwania. Są to strony internetowe, które są wyświetlane użytkownikom, gdy szukają czegoś w Internecie za pomocą wyszukiwarki, takiej jak Google lub Bing. Użytkownik określa wyszukiwane hasło za pomocą określonych terminów i fraz, które są powszechnie nazywane słowami kluczowymi, a następnie wyszukiwarka przedstawia je SERP.

Każdy SERP jest wyjątkowy. Dotyczy to nawet wielu zapytań wykonywanych w tej samej wyszukiwarce przy użyciu tych samych słów kluczowych lub tekstu zapytania. Głównym tego powodem jest fakt, że praktycznie każda wyszukiwarka dostosowuje sposób działania swoich użytkowników, prezentując wyniki w oparciu o szeroki zakres czynników, które znacznie wykraczają poza wyszukiwane hasła. Czynniki te mogą obejmować fizyczną lokalizację użytkownika, jego historię przeglądania i ustawienia społecznościowe itp. I chociaż dwa SERP mogą wydawać się identyczne i mogą zawierać wiele takich samych wyników, często będą miały subtelne różnice.

Dostawcy wyszukiwarek, tacy jak Google, Bing lub inni gracze, stale rozwijają swoje usługi i technologie oraz eksperymentują z wynikami. Ich celem jest zaoferowanie użytkownikom bardziej responsywnego i intuicyjnego interfejsu. Wraz z wprowadzaniem nowych technologii w przestrzeni wyszukiwania - i są one w niesamowitym tempie, wygląd SERPs zmienia się, a dziś różnią się znacznie od tego, czym były kiedyś.

Wyniki organiczne

SERP zwykle zawierają dwa rodzaje treści: wyniki bezpłatne i wyniki płatne. Wyniki bezpłatne to wykazy stron internetowych pojawiających się w wyniku działania algorytmu wyszukiwarki. Więcej o tym za chwilę. Optymalizacja witryn pod kątem wyszukiwarek (SEO) to nauka - czy raczej sztuka - manipulowania treściami w celu oszukiwania wyszukiwarek w celu umieszczenia naszej witryny na liście pod kątem określonego słowa kluczowego lub ciągu wyszukiwania.

Informacje o algorytmach wyszukiwania i sygnałach rankingowych

Wróćmy do wyników organicznych. W skrócie, są to wykazy, które zostały zindeksowane przez wyszukiwarkę na podstawie wielu czynników łącznie określane jako „sygnały rankingowe”. Na przykład algorytm wyszukiwania używany przez Google zawiera setki czynniki rankingowe. Operatorzy wyszukiwarek zwykle trzymają w tajemnicy szczegóły swojego systemu rankingowego. Tak więc, chociaż nikt poza Google - i być może nie tak wiele osób w środku - dokładnie wie, jakie są sygnały rankingu, niektóre są uważane za ważniejsze niż inne.

Dlaczego warto korzystać z SERP API?

Istnieje kilka powodów, dla których ktokolwiek miałby użyć API SERP. Istnieje oczywista potrzeba okresowego pobierania danych SERP dla Twoich produktów i witryn oraz śledzenia ich w czasie, ponieważ jest to niezbędny element każdej strategii SEO. Ponieważ rankingi stale się zmieniają, a słowa kluczowe wyszukiwania stają się z czasem mniej lub bardziej odpowiednie i cenne, istnieje tylko jeden sposób, aby pozostać na ich szczycie zmiany, a mianowicie użycie gotowego rozwiązania Software-as-a-Service (SaaS), które implementuje dane SERP bezpośrednio we własnych aplikacjach lub witrynach internetowych przy użyciu interfejsu API SERP, takiego jak Serpstack.

Krótko mówiąc, główną różnicą między używaniem przeglądarki do pobierania danych SERP a używaniem interfejsu API SERP, takiego jak Serpstack, jest format odpowiedzi. Interfejs API Serpstack zwróci dane JSON, które można łatwo przeanalizować za pomocą oprogramowania wewnętrznego. Korzystanie z niego uwalnia Cię od konieczności wydobywania znaczących danych z całego otaczającego formatowania internetowego.

Przedstawiamy Serpstack

W jednym zdaniu Serpstack to dokładny interfejs API wyników wyszukiwania Google w czasie rzeczywistym. Zaufany przez niektóre z największych marek na świecie, JSON REST API jest błyskawiczny i łatwy w użyciu. Produkt jest budowany i obsługiwany przez apilayer, firmę z siedzibą w Londynie w Wielkiej Brytanii i Wiedniu w Austrii. Pierwotnie stworzony z wewnętrznej potrzeby automatycznego śledzenia pozycji w wyszukiwarkach, produkt stał się jednym z najbardziej zaufanych interfejsów API SERP dostępnych na rynku. Co do apilayer, jest to firma, która stoi za jednymi z najpopularniejszych produktów API i SaaS na całym świecie, w tym Currencylayer, Invoicely i Eversign.

Interfejs API Serpstack pobiera dane SERP z wyszukiwarek w sposób zautomatyzowany za pomocą sieci proxy i zastrzeżonej technologii skrobania za każdym razem, gdy wysyłane są żądania API. Wynikowe dane SERP są publicznie dostępne i każdy może uzyskać do nich dostęp. Ponadto Serpstack API obsługuje prawie wszystkie typy wyników wyszukiwania zwracane przez Google, w tym internetowe wyniki, wyniki obrazów, wyniki wideo, wyniki wiadomości, wyniki zakupów, reklamy sponsorowane, pytania i wiele innych więcej.

Zbudowany na bazie infrastruktury chmury apilayer, systemu, na którym działają niektóre z najpopularniejszych na świecie usług API w czasie rzeczywistym, Serpstack API jest wysoce skalowalny i elastyczny na każdym etapie. Został zbudowany, aby oferować sposób na zgarnianie danych Google SERP w czasie rzeczywistym i na dowolną skalę. Wdrożenie usługi zajmuje zaledwie kilka minut przy użyciu prostej struktury HTTP GET URL, a wyniki są zwracane w formacie JSON lub CSV.

Główne cechy Serpstack

Jeśli chodzi o funkcje, Serpstack API nie pozostawia nic do życzenia. Przede wszystkim usługa jest wysoce skalowalna i zawsze pozbawiona kolejkowania. Potężna infrastruktura chmurowa Apilayer została po prostu zbudowana, aby wytrzymać duże żądania API bez konieczności kolejki. To był rdzeń kilku produktów firmy. Jest również wysoce konfigurowalny. Ponieważ nie ma dwóch identycznych potrzeb, możesz dostosować automatyczne zapytania do wyszukiwania na podstawie szeregu opcji, w tym lokalizacji, języka, urządzenia i innych.

Dzięki temu produktowi nie ma już obaw o globalne adresy IP, klastry przeglądarki lub CAPTCHA. Dzięki potężna podstawowa sieć proxy, to API zgarniające SERP zapewniło Ci dostęp do niemal każdego sytuacja. I to jest również łatwe w budżecie. Otrzymujesz do 100 miesięcznych wniosków bezpłatnie, a jeśli potrzebujesz więcej - i najprawdopodobniej tak się stanie - płatne plany zaczynają się już od 29,99 USD miesięcznie. Wkrótce omówimy bardziej szczegółowo ceny produktu.

Oto przegląd niektórych najważniejszych funkcji produktu:

Prosta integracja

Korzystanie z interfejsu API Scrapestack nie może być łatwiejsze od samego początku. Tworzenie niestandardowych zapytań zajmuje tylko kilka minut i rozpoczęcie zgarniania stron SERP na dowolną skalę przy użyciu niestandardowych lokalizacji, urządzeń, języków i innych.

Wysoki poziom bezpieczeństwa

Wszystkie strumienie danych wysyłane i odbierane z Serpstack API są szyfrowane przy użyciu 256-bitowego szyfrowania SSL. Jest to ten sam rodzaj zabezpieczeń, z którego korzystają strony bankowe lub większość platform handlu elektronicznego. Możesz mieć pewność, że Twoje dane pozostaną chronione.

Niezrównana szybkość i dostępność

Dzięki prawie idealnej ocenie dostępności możesz mieć pewność, że interfejs API Scrapestack będzie dostępny, gdy będziesz go potrzebować. A układarka nigdy nie idzie na kompromis w zakresie prędkości. Żądania interfejsu API wysyłane do interfejsu API są przetwarzane w ciągu milisekund. Oczywiście, jak szybko przychodzą wyniki, zależy również od czasu reakcji Google.

Wybór formatów wyjściowych

Aby jeszcze bardziej ułatwić pozywanie danych SERP, łatwy w użyciu interfejs API REST Serpstack oferuje wybór odpowiedzi JSON lub CSV. Dzięki temu jest kompatybilny z dowolnym językiem programowania.

Wsparcie na światowym poziomie

Często mówi się, że produkt jest tak dobry, jak jego struktura wsparcia technicznego. Znów jest to miejsce, w którym świeci Scrapestack. Jeśli masz jakieś pytania techniczne, przeszkolony zespół specjalistów jest w stanie pomóc Ci w każdej sprawie. Odpowiedź jest szybka, a usługa działa dość dobrze.

Obszerna dokumentacja

Dokumentacja, równie ważna jak wsparcie, często będzie Twoim głównym sposobem uczenia się, jak korzystać z produktu. Serpstack oferuje obszerną dokumentację API, która czeka na zbadanie. Korzystanie z niego pozwoli Ci rozpocząć pracę w ciągu zaledwie kilku minut i sprawi, że będziesz ekspertem w ciągu kilku dni, a nie tygodni lub miesięcy.

Korzystanie z Serpstack

Dość przechwalania się wspaniałymi funkcjami produktu - i tak naprawdę są, rzućmy okiem na to, jak możesz faktycznie korzystaj z produktu i różnych rodzajów żądań, które możesz złożyć, i odpowiadających Ci odpowiedzi można się spodziewać.

Podstawy

Aby korzystać z Serpstack API, musisz najpierw założyć konto. Jest to bezpłatne, w wyniku czego otrzymasz unikalny klucz dostępu do interfejsu API. Tego będziesz używać odtąd do uwierzytelniania za pomocą interfejsu API za pomocą prostych żądań HTTP GET w celu uzyskania dostępu do dowolnego z dostępnych punktów końcowych. Aby użyć interfejsu API, wystarczy dołączyć klucz API do podstawowego adresu URL za pomocą „klucz dostępu”Parametr. Oto jak wygląda typowa - aczkolwiek bardzo podstawowa i całkowicie bezużyteczna - prośba:

http://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

W celu zwiększenia bezpieczeństwa wszystkie płatne plany pozwalają na użycie 256-bitowego szyfrowania SSL. Aby go użyć, wystarczy wysłać żądanie HTTPS zamiast żądania HTTP. Na przykład powyższy przykład z szyfrowaniem wyglądałby następująco:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

Ilekroć żądanie API nie powiedzie się, Serpstack API zwróci obiekt JSON zawierający szczegółowe informacje o błędzie. Na przykład oto, co zostanie zwrócone przez API, jeśli maksymalny dozwolony limit żądań API został osiągnięty lub przekroczony. Każdy plan subskrypcji ma inny limit liczby żądań, które można złożyć.

{„success”: false, „error”: {„code”: 104, „type”: „use_limit_reached”, „info”: „Osiągnięto miesięczną liczbę żądań interfejsu API. Zaktualizuj swój plan. "}}

Żądanie i parametry API

O ile nie określono inaczej, Serpstack API zawsze domyślnie dostarcza wyniki wyszukiwania z Google. W związku z tym, jeśli chcesz wysłać zapytanie do interfejsu API wyników wyszukiwania Google, wystarczy dołączyć „pytanie”Do podstawowego adresu URL interfejsu API i ustaw go na wybrane zapytanie. Oto jak wygląda zapytanie wykorzystujące „mcdonalds” jako wyszukiwane hasło z uwierzytelnianiem i szyfrowaniem:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY & query = mcdonalds

Jak widać, jest to dość prosta składnia. Istnieje, jak z pewnością sobie wyobrażasz, mnóstwo opcjonalnych parametrów, które można dołączyć do żądania dalszego zawężenia wyników wyszukiwania. Kilka z nich omówimy za chwilę, ale ich szczegółowa lista jest dostępna w dokumentacji interfejsu API online.

Odpowiedzi API

Odpowiedzi otrzymane z interfejsu API Serpstack będą silnie zależeć od wyszukiwanego hasła i parametrów, których wybierzesz. Podstawowe zapytanie bez określonego filtrowania zwróci tonę danych. Oto pierwsza część odpowiedzi, którą otrzymałeś z powyższego przykładowego zapytania.

{„request”: {„success”: true, „przetwarzany_timestamp”: 1566207832, „search_url”: „ https://www.google.com/search? q = Mcdonalds ”,„ total_time_taken ”: 1.5},„ search_parameters ”: {„ engine ”:„ google ”,„ query ”:„ mcdonalds ”,„ type ”:„ web ”,„ device ”:„ desktop ”, „google_domain”: „google.com”, „hl”: „en”, „gl”: „us”, „page”: „1”, „num”: „10”}, „search_information”: {„total_results „: 759000000, "time_taken_displayed": 0.91, "did_you_mean": null, "showing_results_for": null, "query_displayed": "mcdonalds", "wykrywana lokalizacja": null, „no_results_for_original_query”: false},

Celem powyższej próbki jest po prostu dać wyobrażenie o tym, jak mogą wyglądać wyniki. Podałem tylko pierwsze 25 wierszy odpowiedzi, które w całości mają ponad czterysta wierszy.

Jak można zauważyć podczas korzystania z wyszukiwania Google, typowa strona wyników wyszukiwania ma różne sekcje, z których każda wyświetla inny rodzaj wyników. Otrzymasz płatne wyniki reklam, bezpłatne wyniki, obrazy, filmy itp. Ponadto wstążka u góry strony pozwala wyświetlać określone typy wyników, takie jak mapy, wiadomości, zakupy lub książki, żeby wymienić tylko kilka. Różne opcjonalne parametry pozwolą ci określić, jaki typ wyników wyszukiwania chcesz uzyskać, dzięki czemu parsowanie wynikowego pliku JSON jest znacznie prostsze. Przyjrzyjmy się bliżej niektórym rodzajom wyników, jakie możesz uzyskać.

Wyniki reklam

Ilekroć w wyszukiwanym haśle pojawiają się sponsorowane reklamy - i najczęściej będą pojawiać się, odpowiedź interfejsu API będzie zawierać obiekt reklamy. Zawiera wszystkie reklamy w kolejności, w jakiej są wyświetlane w wyniku wyszukiwania. Obejmuje zarówno reklamy wyświetlane u góry, jak iu dołu wyniku wyszukiwania.

Wyniki organiczne

Bezpłatne wyniki wyszukiwania są głównymi wynikami wyszukiwania udostępnianymi przez Google i prawdopodobnie są nimi szczególnie zainteresowani. Są one determinowane przez szereg czynników, takich jak ruch w sieci, linki zwrotne, obecność w mediach społecznościowych i wiele innych, z dokładnym algorytmem utrzymywanym w tajemnicy przez Google w celu zachowania przewagi konkurencyjnej. Wyniki te są szczegółowo analizowane przez interfejs API i zwracane jako „organiczne_wyniki”.

Wyniki obrazu

Tak jak istnieją dwa sposoby uzyskania wyników wyszukiwania obrazów w wyszukiwarce Google, istnieją dwa sposoby zwracania obrazów przez interfejs API. Podczas standardowego wyszukiwania w Internecie niektóre obrazy są dostarczane przez Google w wynikach wyszukiwania. Te obrazy - zwane obrazami wbudowanymi - są zwracane przez interfejs API Scrapestack w „inline_images”Tablica.

„image_results”: [{„position”: 1, „title”: „Gold Card McDonald's: The True Story ...”, „width”: 1024, „height”: 683, „image_url”: „ https://www.rd.com/wp-content/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg", „type”: „png”, „url”: „ http://rd.com", "źródło": " https://rd.com" }, {„position”: 2, „title”: „McDonald's - Wikipedia”, „width”: 1200, „height”: 1051, „image_url”: „ https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png", „type”: „png”, „url”: „ https://en.wikipedia.org/wiki/McDonald%27s", "źródło": " https://en.wikipedia.org" }, {„position”: 3, „title”: „Best New Global Menu Items…”, „width”: 970, „height”: 545, „image_url”: „ https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg", „type”: „png”, „url”: „ https://thrillist.com/", "źródło": " https://thrillist.com" } ]

Jeśli natomiast obrazy są przeszukiwane konkretnie, a parametr type ustawiony jest na obrazy, obrazy są zwracane jako „image_results”Tablica. W takich sytuacjach interfejs API domyślnie zwraca 100 obrazów.

Wyniki wideo

Dokładne te same rozważania, które omówiliśmy w przypadku obrazów, dotyczą również wyników wideo, przy czym dostępne są zarówno wbudowane filmy wideo z globalnymi wynikami wyszukiwania, jak i dedykowane wyniki wideo

Możemy przejść do stron i podać szczegółowe informacje o różnych typach wyników, które może zwrócić interfejs API Serpstack, ale naszym zdaniem otrzymujesz ten obraz. Wystarczy powiedzieć, że jakikolwiek typ wyników zwracanych przez typową wyszukiwarkę Google jest również dostępny w odpowiedzi interfejsu API. Oprócz typów wyników już opisanych, API zwróci, wyniki wiadomości, wyniki zakupów i lokalne wyniki, a także zawartość pola odpowiedzi strony wyników, pola pogody, wydarzeń, najlepszej karuzeli, najlepszych artykułów itp.

Obsługiwane środowiska programowania

Jedną z najlepszych rzeczy w Serpstack API jest to, że można go łatwo używać z większości środowiska, Niezależnie od używanego języka, o ile możesz wysyłać żądania HTTP, powinieneś być dobrze iść. Obsługiwane są wszystkie popularne języki internetowe, takie jak PHP lub Python. W rzeczywistości dokumentacja API zawiera przykłady użycia z PHP, Python, Nodejs, jQuery, Go i Ruby.

Oto, na przykład, kod PHP do wydrukowania całkowitej liczby wyników wyszukiwania, a także każdego organicznego wyniku wyszukiwania zwróconego przez API Serpstack.

$ queryString = http_build_query (['access_key' => 'YOUR_ACCESS_KEY', 'query' => 'mcdonalds',]); $ ch = curl_init (sprintf ('% s?% s', ' https://api.serpstack.com/search', $ queryString)); curl_setopt ($ ch, CURLOPT_RETURNTRANSFER, prawda); $ json = curl_exec ($ ch); curl_close ($ ch); $ api_result = json_decode ($ json, true); echo „Total results:”, $ api_result ['search_information'] ['total_results'], PHP_EOL; foreach ($ api_result ['organic_results'] jako $ number => $ result) {echo "{$ number}. {$ result ['title']} ”, PHP_EOL; }

A oto kod do osiągnięcia tego samego w Pythonie:

parametry importu żądań = {'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds'} api_result = requests.get (' https://api.serpstack.com/search', params) api_response = api_result.json () print „Total results:”, api_response ['search_information'] ['total_results'] dla liczby, wynik w wyliczeniu (api_response ['organic_results'], start = 1): print "% s. % s "% (liczba, wynik [„ tytuł ”])

Ceny i plany

Interfejs API Serpstack jest dostępny w ramach kilku planów w zależności od twoich potrzeb. Najbardziej podstawowym planem jest bezpłatny. Jak sama nazwa wskazuje, jest darmowy, ale chociaż nie jest ograniczony czasowo, jak typowe wersje próbne, jest ograniczony zarówno pod względem funkcji, jak i użytkowania. Będziesz mógł uruchomić do 100 wyszukiwań miesięcznie.

Następne trzy poziomy są w pełni funkcjonalne i różnią się tylko maksymalną liczbą miesięcznych wyszukiwań, które możesz uruchomić. Plan podstawowy daje 5000 za 29,99 USD / miesiąc, biznesplan za 99,99 USD / miesiąc to maksymalnie 20 000, a plan biznesowy Pro umożliwia przeprowadzenie aż 50 000 wyszukiwań za 199,99 USD miesięcznie. Jeśli żaden z tych planów Ci nie odpowiada, dostępny jest również pakiet Enterprise o zmiennej cenie, który można dostosować do konkretnych potrzeb. Jeśli wybierzesz rozliczenia roczne zamiast miesięcznego, masz prawo do 20% zniżki, dzięki czemu usługa jest jeszcze bardziej przystępna.

Podsumowanie

Krótko mówiąc, Serpstack API jest łatwym w użyciu, w pełni funkcjonalnym produktem, który można dobrze wykorzystać, gdy trzeba pobrać dane SERP z Google. Gwiezdny czas sprawności i imponujący czas reakcji to jedne z jego najlepszych zalet. Wspierany przez apilayer, który przyniósł nam inne doskonałe interfejsy API, jesteśmy przekonani, że ten zapewni oczekiwane rezultaty. To produkt, który możemy jedynie polecić.