Revisione Serpstack: un'API di riposo JSON per i risultati di ricerca di Google

Se devi recuperare i risultati dei motori di ricerca, in particolare quelli di Google, un modo per farlo è farlo esegui una ricerca effettiva su google.com e prova ad analizzare il codice HTML intricato che otterrai come risultato. Può essere fatto ma è piuttosto uno sforzo. Se vuoi seguire un percorso più semplice, perché non utilizzare un'API SERP dedicata che puoi alimentare con il termine di ricerca e che restituirà i risultati in un formato che può essere facilmente analizzato. Uno di questi prodotti è il API Serpstack da apilayer. Prende la stringa e i parametri della query di ricerca come input e restituisce i risultati della ricerca in formato JSON. Diamo uno sguardo approfondito al prodotto.

Inizieremo come facciamo spesso discutendo della SERP in generale. Successivamente, spiegheremo di cosa si tratta e descriveremo alcuni dei diversi tipi di risultati che sono in genere disponibili dai motori di ricerca. Esploreremo anche alcuni motivi per cui si dovrebbe usare un'API SERP. E una volta che saremo tutti sulla stessa pagina, daremo uno sguardo dettagliato all'API Serpstack. Daremo una rapida occhiata ad alcune delle sue caratteristiche principali prima di approfondire l'uso dell'API. E prima di concludere, esploreremo la struttura dei prezzi del servizio e i piani disponibili.

SERP In breve

Innanzitutto, SERP è l'acronimo di Pagine dei risultati dei motori di ricerca. Queste sono le pagine Web che vengono offerte agli utenti quando cercano qualcosa online utilizzando un motore di ricerca come Google o Bing. L'utente specifica la propria query di ricerca utilizzando termini e frasi specifici che vengono comunemente indicati come parole chiave e quindi il motore di ricerca presenta loro una SERP.

Ogni SERP è unica. Ciò vale anche per più query di ricerca eseguite sullo stesso motore di ricerca utilizzando le stesse parole chiave o lo stesso testo di query. La ragione principale di ciò è che praticamente ogni motore di ricerca personalizza l'esperienza per i propri utenti presentando risultati basati su una vasta gamma di fattori che vanno ben oltre i loro termini di ricerca. Questi fattori possono includere la posizione fisica dell'utente, la sua cronologia di navigazione e le sue impostazioni social, ecc. E mentre due SERP possono apparire identici e contenere molti degli stessi risultati, spesso presentano sottili differenze.

I fornitori di motori di ricerca come Google, Bing o altri giocatori stanno costantemente evolvendo i loro servizi e tecnologie e sperimentando i loro risultati. Il loro obiettivo è offrire ai propri utenti un'esperienza più reattiva e intuitiva. Quando le nuove tecnologie vengono introdotte nello spazio di ricerca e hanno un ritmo straordinario, l'aspetto delle SERP cambia e oggi sono abbastanza diverse da come erano una volta.

Risultati organici

Le SERP conterranno normalmente due tipi di contenuti: risultati organici e risultati a pagamento. I risultati organici sono elenchi di pagine Web che appaiono come risultato dell'algoritmo del motore di ricerca. Altro su questo in un momento. L'ottimizzazione dei motori di ricerca, o SEO, è la scienza - o è piuttosto un'arte - di manipolare i contenuti per indurre i motori di ricerca a elencare il nostro sito Web per una parola chiave o una stringa di ricerca specifica.

Informazioni sugli algoritmi di ricerca e sui segnali di classificazione

Quindi, tornando ai risultati organici. In breve, sono elenchi che sono stati indicizzati dal motore di ricerca in base a una serie di fattori collettivamente denominati "segnali di classificazione". Ad esempio, l'algoritmo di ricerca utilizzato da Google presenta centinaia di fattori di classifica. I fornitori di motori di ricerca tendono a mantenere segreti i dettagli del loro sistema di classificazione. Quindi, mentre nessuno al di fuori di Google - e forse non così tante persone all'interno - sanno esattamente quali sono i segnali di classifica, alcuni sono considerati più importanti di altri.

Perché usare un'API SERP?

Esistono diversi motivi per cui qualcuno potrebbe utilizzare un'API SERP. C'è l'ovvia necessità di recuperare periodicamente i dati SERP per i tuoi prodotti e siti Web e di tenerne traccia nel tempo in quanto è una parte essenziale di qualsiasi strategia SEO. Con le classifiche che fluttuano costantemente e le parole chiave di ricerca diventano più o meno applicabili e utili nel corso del tempo, c'è solo un modo per rimanere al passo con queste modifiche e che consiste nell'utilizzare una soluzione SaaS (Software-as-a-Service) pronta per l'uso che implementa i dati SERP direttamente nelle proprie applicazioni o siti Web utilizzando un'API SERP come Serpstack.

In breve, la principale differenza tra l'utilizzo di un browser per recuperare i dati SERP e l'utilizzo di un'API SERP come Serpstack è il formato della risposta. L'API Serpstack restituirà i dati JSON che possono essere facilmente analizzati dal software interno. Usarlo ti libera dal dover estrarre i dati significativi da tutta la formattazione web circostante.

Presentazione di Serpstack

In una frase, Serpstack è un'API dei risultati della Ricerca Google accurata e in tempo reale. Scelto da alcuni dei più grandi marchi di tutto il mondo, questa API REST JSON è estremamente veloce e facile da usare. Il prodotto è costruito e gestito da apilayer, una società di software con sede a Londra, Regno Unito e Vienna, Austria. Originariamente creato da un'esigenza interna di tenere traccia delle posizioni dei motori di ricerca in modo automatizzato, il prodotto è cresciuto fino a diventare una delle API SERP più affidabili disponibili sul mercato. Per quanto riguarda apilayer, questa è la società dietro alcuni dei più famosi prodotti API e SaaS in tutto il mondo, tra cui Currencylayer, Invoicely ed Eversign.

L'API Serpstack recupera i dati SERP dai motori di ricerca in modo automatizzato utilizzando una rete proxy e una tecnologia di scraping proprietaria ogni volta che vengono fatte richieste API. I dati SERP risultanti sono disponibili al pubblico e chiunque può accedervi. Inoltre, l'API Serpstack supporta quasi tutti i tipi di risultati di ricerca restituiti da Google, incluso il Web risultati, risultati di immagini, risultati di video, risultati di notizie, risultati di acquisti, annunci sponsorizzati, domande e molto altro Di Più.

Basato sull'infrastruttura cloud apilayer, un sistema su cui sono in esecuzione alcuni dei più famosi servizi API in tempo reale del mondo, l'API Serpstack è altamente scalabile e flessibile in qualsiasi fase. È stato creato per offrire un modo per scansionare i dati SERP di Google in tempo reale e su qualsiasi scala. L'implementazione del servizio richiede solo pochi minuti utilizzando una semplice struttura URL GET HTTP e i risultati vengono restituiti in formato JSON o CSV.

Caratteristiche principali di Serpstack

Per quanto riguarda le funzionalità, l'API Serpstack non lascia nulla a desiderare. Innanzitutto, il servizio è altamente scalabile e sempre privo di coda. La potente infrastruttura cloud di Apilayer è stata semplicemente costruita per resistere a richieste API di volume elevato senza la necessità di una coda. È stato al centro di numerosi prodotti dell'azienda. È anche altamente personalizzabile. Poiché non esistono due clienti con esigenze identiche, è possibile personalizzare le query di ricerca automatizzata in base a una serie di opzioni, tra cui posizione, lingua, dispositivo e altro ancora.

Usando questo prodotto, è andato il preoccupante per IP globali, cluster di browser o CAPTCHA. Grazie a potente rete proxy sottostante, questa API di scraping SERP ti ha coperto praticamente in ogni singolo situazione. Ed è anche facile per il budget. Ricevi gratuitamente fino a 100 richieste mensili e, nel caso avessi bisogno di qualcosa in più, e molto probabilmente lo farai, i piani a pagamento iniziano a soli $ 29,99 al mese. Tratteremo i prezzi del prodotto in modo più dettagliato a breve.

Ecco una panoramica di alcune delle funzionalità più importanti del prodotto:

Integrazione semplice

L'utilizzo dell'API Scrapestack non potrebbe essere più semplice fin dall'inizio. Bastano pochi minuti per creare query personalizzate e iniziare a raschiare pagine SERP su qualsiasi scala utilizzando posizioni, dispositivi, lingue e altro personalizzati.

Alto livello di sicurezza

Tutti i flussi di dati inviati e ricevuti dall'API Serpstack sono crittografati utilizzando la crittografia SSL a 256 bit. Questo è lo stesso tipo di sicurezza utilizzato dai siti bancari o dalla maggior parte delle piattaforme di e-commerce. Puoi essere certo che i tuoi dati rimarranno protetti.

Velocità e disponibilità senza pari

Con un punteggio di disponibilità quasi perfetto, puoi essere certo che l'API Scrapestack sarà lì quando ne avrai bisogno. E apilayer non scende mai a compromessi sulla velocità. Le richieste API inviate all'API vengono elaborate in pochi millisecondi. Naturalmente, la velocità con cui arrivano i risultati dipende anche dai tempi di risposta di Google.

Scelta dei formati di output

Per rendere ancora più facile citare in giudizio i dati SERP, l'API REST Serpstack di facile utilizzo offre una scelta di risposte JSON o CSV. Ciò lo rende compatibile con qualsiasi linguaggio di programmazione.

Supporto di livello mondiale

Si dice spesso che un prodotto sia buono solo quanto la sua struttura di supporto tecnico. Ancora una volta, questo è un posto in cui Scrapestack brilla. In caso di domande tecniche, un team qualificato di specialisti è lì per assisterti con qualsiasi richiesta tu possa avere. La risposta è rapida e il servizio funziona piuttosto bene.

Ampia documentazione

Altrettanto importante quanto il supporto, la documentazione sarà spesso il tuo modo principale di imparare come usare un prodotto. Serpstack offre un'ampia documentazione API che è in attesa di essere esplorata. Usarlo ti farà iniziare in pochi minuti e ti renderà un esperto in pochi giorni, non settimane o mesi.

Utilizzando Serpstack

Abbastanza vantarsi delle fantastiche funzionalità del prodotto, e lo sono davvero, diamo un'occhiata a come puoi utilizzare effettivamente il prodotto e i diversi tipi di richieste che è possibile effettuare e le risposte corrispondenti posso aspettarmi.

Le basi

Per utilizzare l'API Serpstack, devi prima registrarti per un account. Questo è gratuito e, di conseguenza, ti verrà assegnata una chiave di accesso API unica. Questo è ciò che utilizzerai d'ora in poi per autenticarti con l'API tramite semplici richieste GET HTTP per accedere a uno degli endpoint disponibili. Pertanto, per utilizzare l'API devi semplicemente aggiungere la tua chiave API all'URL di base utilizzando il "chiave di accesso"Parametro. Ecco come appare una richiesta tipica, sebbene molto semplice e totalmente inutile:

http://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

Per una maggiore sicurezza, tutti i piani a pagamento consentono l'uso della crittografia SSL a 256 bit. Per usarlo, tutto ciò che serve è inviare richieste HTTPS anziché richieste HTTP. Ad esempio, l'esempio sopra con la crittografia diventerebbe:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

Ogni volta che una richiesta API non riesce, l'API Serpstack restituirà un oggetto JSON contenente dettagli sull'errore. Ad esempio, ecco cosa verrebbe restituito dall'API se il limite massimo consentito per la richiesta API è stato raggiunto o superato. Ogni piano di abbonamento ha un limite diverso al numero di richieste che si possono fare.

{"success": false, "error": {"code": 104, "type": "use_limit_reached", "info": "È stato raggiunto il volume di richieste mensili dell'API. Aggiorna il tuo piano. "}}

Richiesta API e parametri

Se non diversamente specificato, l'API Serpstack imposterà sempre per impostazione predefinita la consegna dei risultati di ricerca da Google. Di conseguenza, se desideri eseguire una query sull'API per i risultati di ricerca di Google, tutto ciò che devi fare è aggiungere il "domanda"All'URL di base dell'API e impostarlo su una query di ricerca di tua scelta. Ecco come appare una query che utilizza "mcdonalds" come termine di ricerca con autenticazione e crittografia:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY & query = mcdonalds

Come puoi vedere, questa è una sintassi piuttosto semplice. Ci sono, come sicuramente avresti immaginato, una tonnellata di parametri opzionali che possono essere aggiunti a una richiesta per restringere ulteriormente i risultati della ricerca. Ne esploreremo alcuni tra un momento, ma un elenco dettagliato di tutti è disponibile nella documentazione dell'API online.

Risposte API

Le risposte che riceverai dall'API Serpstack dipenderanno fortemente dalla tua query di ricerca e dai parametri che scegli di utilizzare. Una query di base senza filtri specificati restituirà una tonnellata di dati. Ecco la parte iniziale della risposta che otterresti dalla query di esempio sopra.

{"request": {"success": true, "processing_timestamp": 1566207832, "search_url": " https://www.google.com/search? q = mcdonalds "," total_time_taken ": 1.5}," search_parameters ": {" engine ":" google "," query ":" mcdonalds "," type ":" web "," device ":" desktop ", "google_domain": "google.com", "hl": "en", "gl": "us", "page": "1", "num": "10"}, "search_information": {"total_results ": 759000000, "time_taken_displayed": 0.91, "did_you_mean": null, "Showing_results_for": null, "query_displayed": "mcdonalds", "detect_location": null, "no_results_for_original_query": false},

Lo scopo del precedente esempio è solo quello di darti un'idea di come potrebbero apparire i risultati. Ho incluso solo le prime 25 righe della risposta che, nella sua interezza, è lunga oltre quattrocento righe.

Come avrai notato quando utilizzi la ricerca di Google, una tipica pagina dei risultati di ricerca ha sezioni diverse, ognuna delle quali mostra un diverso tipo di risultati. Avrai risultati di annunci a pagamento, risultati organici, immagini, video, ecc. Inoltre, una barra multifunzione nella parte superiore della pagina consente di visualizzare tipi specifici di risultati come mappe, notizie, acquisti o libri, solo per citarne alcuni. Vari parametri opzionali ti permetteranno di specificare quale tipo di risultati di ricerca ti interessa ottenere, rendendo molto più semplice l'analisi del file JSON risultante. Diamo uno sguardo più approfondito ad alcuni dei diversi tipi di risultati che puoi ottenere.

Risultati dell'annuncio

Ogni volta che ci sono annunci sponsorizzati per la tua query di ricerca e ci saranno più spesso, la risposta API arriverà con un oggetto annunci. Contiene tutti gli annunci nell'ordine in cui sono visualizzati nei risultati di ricerca. Include sia gli annunci che vengono visualizzati nella parte superiore che nella parte inferiore del risultato della ricerca.

Risultati organici

I risultati di ricerca organici sono i principali risultati di ricerca forniti da Google e sono probabilmente quelli di cui sarai particolarmente interessato. Sono determinati da una serie di fattori, come traffico web, backlink, presenza sui social media e molto altro, con l'algoritmo esatto tenuto segreto da Google per mantenere il proprio vantaggio competitivo. Questi risultati vengono analizzati in dettaglio dall'API e restituiti come "organic_results”.

Risultati dell'immagine

Proprio come ci sono due modi per ottenere risultati di immagini da una ricerca di Google, ci sono due modi in cui le immagini possono essere restituite dall'API. Quando si esegue una ricerca Web standard, alcune immagini vengono fornite da Google nei risultati di ricerca. Queste immagini, denominate immagini incorporate, vengono restituite dall'API Scrapestack in un "inline_images" Vettore.

"image_results": [{"position": 1, "title": "McDonald's Gold Card: The True Story ...", "width": 1024, "height": 683, "image_url": " https://www.rd.com/wp-content/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg", "type": "png", "url": " http://rd.com", "fonte": " https://rd.com" }, {"position": 2, "title": "McDonald's - Wikipedia", "width": 1200, "height": 1051, "image_url": " https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png", "type": "png", "url": " https://en.wikipedia.org/wiki/McDonald%27s", "fonte": " https://en.wikipedia.org" }, {"position": 3, "title": "Migliori nuove voci del menu globale ...", "larghezza": 970, "altezza": 545, "image_url": " https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg", "type": "png", "url": " https://thrillist.com/", "fonte": " https://thrillist.com" } ]

Se, d'altra parte, le immagini vengono cercate in modo specifico, con il parametro type impostato su images, le immagini vengono restituite come "image_results" Vettore. In queste situazioni, l'API restituisce 100 immagini per impostazione predefinita.

Risultati video

Le stesse identiche considerazioni che abbiamo appena esaminato per le immagini sono valide anche per i risultati video con la disponibilità di entrambi i video incorporati all'interno dei risultati di ricerca globali o risultati video dedicati

Potremmo andare avanti per le pagine e fornirti informazioni dettagliate sui vari tipi di risultati che l'API Serpstack può restituire, ma pensiamo che tu stia ottenendo l'immagine. Basti dire che qualsiasi tipo di risultati restituiti da una tipica ricerca di Google è disponibile anche nella risposta dell'API. Oltre ai tipi di risultati già descritti, l'API restituirà, risultati delle notizie, risultati degli acquisti e locali risultati, nonché i contenuti della casella di risposta, della finestra meteo, degli eventi, del carosello principale, delle storie più importanti della pagina dei risultati, ecc.

Ambienti di programmazione supportati

Una delle cose migliori dell'API Serpstack è che puoi usarla facilmente dalla maggior parte ambienti, indipendentemente dalla lingua che stai utilizzando, purché tu possa inviare richieste HTTP, dovresti essere buono andare. Sono supportati tutti i linguaggi Web popolari come PHP o Python. In effetti, la documentazione dell'API include esempi su come usarlo da PHP, Python, Nodejs, jQuery, Go e Ruby.

Ecco, ad esempio, il codice PHP per stampare il numero totale di risultati della ricerca, nonché ogni risultato di ricerca organico restituito dall'API Serpstack.

$ queryString = http_build_query (['access_key' => 'YOUR_ACCESS_KEY', 'query' => 'mcdonalds',]); $ ch = curl_init (sprintf ('% s?% s', ' https://api.serpstack.com/search', $ QueryString)); curl_setopt ($ ch, CURLOPT_RETURNTRANSFER, vero); $ json = curl_exec ($ ch); curl_close ($ ch); $ api_result = json_decode ($ json, true); echo "Risultati totali:", $ api_result ['search_information'] ['total_results'], PHP_EOL; foreach ($ api_result ['organic_results'] come $ numero => $ risultato) {echo "{$ number}. {$ result ['title']} ", PHP_EOL; }

Ed ecco un po 'di codice per realizzare la stessa cosa in Python:

import request params = {'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds'} api_result = request.get (' https://api.serpstack.com/search', params) api_response = api_result.json () print "Risultati totali:", api_response ['search_information'] ['total_results'] per numero, risultato enumerare (api_response ['organic_results'], start = 1): stampa "% s. % s "% (numero, risultato ['titolo'])

Prezzi e piani

L'API Serpstack è disponibile sotto diversi piani a seconda delle tue esigenze. Il piano più semplice è il piano gratuito. Come suggerisce il nome, è gratuito ma, sebbene non sia limitato nel tempo come le versioni di prova tipiche, è limitato dalle funzionalità e dall'uso limitato. Sarai in grado di eseguire fino a 100 ricerche al mese.

I tre livelli successivi sono completi e variano solo in base al numero massimo di ricerche mensili che ti è consentito eseguire. Il piano di base ti darà 5000 per $ 29,99 al mese, il piano aziendale a $ 99,99 al mese lo porta a 20.000 e il piano Business Pro ti consente di eseguire un enorme 50.000 ricerche per $ 199,99 al mese. Se nessuno di questi piani è adatto a te, esiste anche un piano Enterprise a prezzi variabili che può essere personalizzato in base alle tue esigenze. Se scegli la fatturazione annuale anziché mensile, hai diritto a uno sconto del 20%, rendendo il servizio ancora più conveniente.

Avvolgendo

In poche parole, l'API Serpstack è un prodotto completo e di facile utilizzo che puoi utilizzare in modo ottimale ogni volta che devi recuperare i dati SERP da Google. I suoi tempi di attività straordinari e i suoi impressionanti tempi di risposta sono alcuni dei suoi punti di forza. Supportato da apilayer che ci ha portato altre eccellenti API, siamo fiduciosi che questo fornirà i risultati che ti aspetti. Questo è un prodotto che possiamo solo raccomandare.