Revisão do Serpstack: uma API JSON Rest para resultados de pesquisa do Google

Se você precisar buscar os resultados dos mecanismos de pesquisa, em particular os do Google, uma maneira de fazer isso é: faça uma pesquisa real no google.com e tente analisar o código HTML complexo que você obterá como resultado. Isso pode ser feito, mas é um grande esforço. Se você quiser seguir uma rota mais fácil, por que não usar uma API SERP dedicada que você possa alimentar com seu termo de pesquisa e que retornará os resultados em um formato que possa ser facilmente analisado. Um desses produtos é o API Serpstack de apilayer. Ele usa sua cadeia de caracteres e parâmetros de consulta de pesquisa como entrada e retorna os resultados da pesquisa no formato JSON. Vamos dar uma olhada em profundidade no produto.

Começaremos como geralmente discutimos o SERP em geral. Em seguida, explicaremos o que é e descreveremos alguns dos diferentes tipos de resultados normalmente disponíveis nos mecanismos de pesquisa. Também exploraremos alguns motivos pelos quais alguém usaria uma API SERP. E quando estivermos todos na mesma página, veremos detalhadamente a API do Serpstack. Analisaremos rapidamente alguns de seus principais recursos antes de descobrir como usar a API. E antes de concluirmos, exploraremos a estrutura de preços do serviço e os planos disponíveis.

SERP em poucas palavras

Primeiramente, SERP é um acrônimo para Páginas de resultados de mecanismos de pesquisa. Essas são as páginas da web que são exibidas aos usuários quando eles pesquisam algo on-line usando um mecanismo de pesquisa como Google ou Bing. O usuário especifica sua consulta de pesquisa usando termos e frases específicos que são comumente referidos como palavras-chave e, em seguida, o mecanismo de pesquisa apresenta uma SERP.

Cada SERP é única. Isso vale mesmo para várias consultas de pesquisa realizadas no mesmo mecanismo de pesquisa, usando as mesmas palavras-chave ou texto da consulta. A principal razão disso é que praticamente todo mecanismo de pesquisa personaliza a experiência de seus usuários, apresentando resultados com base em uma ampla gama de fatores que vão muito além dos termos de pesquisa. Esses fatores podem incluir a localização física do usuário, seu histórico de navegação e configurações sociais, etc. E embora duas SERPs possam parecer idênticas e possam conter muitos dos mesmos resultados, elas geralmente apresentam diferenças sutis.

Os provedores de mecanismos de pesquisa como Google, Bing ou outros players estão constantemente desenvolvendo seus serviços e tecnologias e experimentando seus resultados. Seu objetivo é oferecer a seus usuários uma experiência mais ágil e intuitiva. À medida que novas tecnologias são introduzidas no espaço de pesquisa - e elas estão em um ritmo incrível, a aparência dos SERPs muda e hoje são bem diferentes do que eram antes.

Resultados Orgânicos

Os SERPs normalmente contêm dois tipos de conteúdo: resultados orgânicos e resultados pagos. Resultados orgânicos são listagens de páginas da web que aparecem como resultado do algoritmo do mecanismo de pesquisa. Mais sobre isso em um momento. Search Engine Optimization, ou SEO, é a ciência - ou é uma arte - de manipular conteúdo para induzir os mecanismos de pesquisa a listar nosso site para uma palavra-chave ou sequência de pesquisa específica.

Sobre algoritmos de pesquisa e sinais de classificação

Então, voltando aos resultados orgânicos. Em poucas palavras, são listagens que foram indexadas pelo mecanismo de pesquisa com base em vários fatores que são coletivamente referidos como "sinais de classificação". Por exemplo, o algoritmo de pesquisa usado pelo Google apresenta centenas de fatores de classificação. Os provedores de mecanismos de pesquisa tendem a manter em segredo os detalhes de seu sistema de classificação. Portanto, embora ninguém fora do Google - e possivelmente não tantas pessoas dentro - saiba exatamente quais são os sinais de classificação, alguns são considerados mais importantes que outros.

Por que usar uma API SERP?

Há várias razões pelas quais alguém poderia usar uma API SERP. Existe a necessidade óbvia de recuperar dados SERP periodicamente para seus produtos e sites e acompanhá-los ao longo do tempo, pois é uma parte essencial de qualquer estratégia de SEO. Com as classificações constantemente flutuando e as palavras-chave de pesquisa se tornando mais ou menos aplicáveis ​​e valiosas ao longo do tempo, há apenas uma maneira de permanecer no topo delas alterações e é usar uma solução SaaS (Software como Serviço) pronta para implementar que implementa dados SERP diretamente em seus próprios aplicativos ou sites usando uma API SERP como Serpstack.

Em poucas palavras, a principal diferença entre usar um navegador para recuperar dados SERP e usar uma API SERP como o Serpstack é o formato da resposta. A API Serpstack retornará dados JSON que são facilmente analisados ​​pelo seu software interno. Usá-lo evita que você precise extrair os dados significativos de toda a formatação da Web ao redor.

Apresentando o Serpstack

Em uma frase, o Serpstack é uma API de resultados da Pesquisa do Google precisa e em tempo real. Confiada em algumas das maiores marcas do mundo, esta API JSON REST é extremamente rápida e fácil de usar. O produto é construído e mantido pela apilayer, uma empresa de software com sede em Londres, Reino Unido e Viena, Áustria. Originalmente criado a partir de uma necessidade interna de acompanhar as posições dos mecanismos de pesquisa de maneira automatizada, o produto cresceu e se tornou uma das APIs SERP mais confiáveis ​​disponíveis no mercado. Quanto ao apilayer, esta é a empresa por trás de alguns dos mais populares produtos de API e SaaS do mundo, incluindo Currencylayer, Invoicely e Eversign.

A API Serpstack recupera dados SERP dos mecanismos de pesquisa de maneira automatizada, usando uma rede proxy e uma tecnologia de raspagem proprietária sempre que solicitações de API são feitas. Os dados SERP resultantes estão disponíveis ao público e qualquer pessoa pode acessá-los. Além disso, a API Serpstack suporta quase todos os tipos de resultados de pesquisa retornados pelo Google, incluindo web resultados, imagem, vídeo, notícias, notícias, compras, anúncios patrocinados, perguntas e muito mais Mais.

Construída sobre a infraestrutura de nuvem de camada intermediária, um sistema em que alguns dos serviços de API em tempo real mais populares do mundo estão executando, a API do Serpstack é altamente escalável e flexível a qualquer momento. Foi desenvolvido para oferecer uma maneira de coletar dados SERP do Google em tempo real e em qualquer escala. A implementação do serviço leva apenas alguns minutos usando uma estrutura de URL HTTP GET simples e os resultados são retornados no formato JSON ou CSV.

Principais características do Serpstack

Em termos de recursos, a API Serpstack não deixa nada a desejar. Em primeiro lugar, o serviço é altamente escalável e sempre sem fila. A poderosa infraestrutura de nuvem do Apilayer foi criada para suportar solicitações de API de alto volume sem a necessidade de uma fila. Ele está no centro de vários produtos da empresa. Também é altamente personalizável. Como não há dois clientes com necessidades idênticas, você pode personalizar suas consultas de pesquisa automatizada com base em uma série de opções, incluindo local, idioma, dispositivo e muito mais.

Usando este produto, desapareceu a preocupação com IPs globais, clusters de navegador ou CAPTCHAs. Graças a um poderosa rede proxy subjacente, esta API de raspagem de SERP cobre você em praticamente todos os situação. E também é fácil no orçamento. Você recebe até 100 solicitações mensais gratuitamente e, caso precise de mais do que isso - e provavelmente precisará - os planos pagos começam em apenas US $ 29,99 por mês. Cobriremos os preços do produto com mais detalhes em breve.

Aqui está uma visão geral de alguns dos recursos mais importantes do produto:

Integração Simples

Usar a API Scrapestack dificilmente seria mais fácil desde o início. Leva apenas alguns minutos para criar consultas personalizadas e começar a raspar páginas SERP em qualquer escala usando locais, dispositivos, idiomas e muito mais.

Alto nível de segurança

Todos os fluxos de dados enviados e recebidos da API Serpstack são criptografados usando criptografia SSL de 256 bits. Esse é o mesmo tipo de segurança usado pelos sites bancários ou pela maioria das plataformas de comércio eletrônico. Você pode ter certeza de que seus dados permanecerão protegidos.

Velocidade e disponibilidade incomparáveis

Com uma pontuação de disponibilidade quase perfeita, você pode ter certeza de que a API do Scrapestack estará lá quando você precisar. E o usuário nunca compromete a velocidade. As solicitações de API enviadas para a API são processadas em questão de milissegundos. Obviamente, a rapidez com que os resultados chegam também depende dos tempos de resposta do Google.

Escolha dos formatos de saída

Para tornar ainda mais fácil processar os dados SERP, a API REST fácil de usar do Serpstack oferece uma opção de respostas JSON ou CSV. Isso o torna compatível com qualquer linguagem de programação.

Suporte de classe mundial

Costuma-se dizer que um produto é tão bom quanto sua estrutura de suporte técnico. Novamente, este é um lugar onde o Scrapestack brilha. Se você tiver alguma dúvida técnica, uma equipe treinada de especialistas estará disponível para ajudá-lo com quaisquer solicitações que você possa ter. A resposta é rápida e o serviço funciona muito bem.

Documentação extensa

Tão importante quanto o suporte, a Documentação geralmente será sua principal maneira de aprender a usar um produto. O Serpstack oferece extensa documentação de API que está aguardando para ser explorada. Usando-o, você começará em apenas alguns minutos e fará de você um especialista em questão de dias, não semanas ou meses.

Usando Serpstack

Se gabar bastante dos excelentes recursos do produto - e eles realmente são, vamos dar uma olhada em como você pode use o produto e os diferentes tipos de solicitações que você pode fazer e as respostas correspondentes que você pode esperar.

O básico

Para usar a API Serpstack, primeiro você precisa se inscrever em uma conta. Isso é gratuito e, como resultado, você receberá uma chave de acesso à API exclusiva. É a partir de agora que você usará para se autenticar com a API por meio de solicitações HTTP GET simples para acessar qualquer um dos pontos de extremidade disponíveis. Portanto, para usar a API, basta anexar sua chave da API ao URL base usando o "chave de acessoParâmetro Aqui está uma solicitação típica - embora muito básica e totalmente inútil -:

http://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

Para maior segurança, todos os planos pagos permitem o uso de criptografia SSL de 256 bits. Para usá-lo, tudo o que você precisa é enviar solicitações HTTPS em vez de HTTP. Por exemplo, o exemplo acima com criptografia se tornaria:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

Sempre que uma solicitação de API falha, a API Serpstack retornará um objeto JSON contendo detalhes sobre o erro. Por exemplo, eis o que seria retornado pela API se o limite máximo permitido de solicitação da API fosse atingido ou excedido. Cada plano de assinatura tem um limite diferente para o número de solicitações que você pode fazer.

{"success": false, "error": {"code": 104, "type": "use_limit_reached", "info": "Seu volume mensal de solicitações de API foi atingido. Atualize seu plano. "}}

Solicitação e parâmetros da API

A menos que especificado de outra forma, a API Serpstack sempre adotará como padrão o fornecimento de resultados de pesquisa do Google. Consequentemente, se você deseja consultar os resultados de pesquisa do Google na API, basta anexar o item "inquerir"Para o URL base da API e defina-o para uma consulta de pesquisa de sua escolha. Veja como uma consulta usando "mcdonalds" como o termo de pesquisa se parece com autenticação e criptografia:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY & query = mcdonalds

Como você pode ver, essa é uma sintaxe bastante simples. Como você certamente imaginou, existem vários parâmetros opcionais que podem ser anexados a uma solicitação para restringir ainda mais os resultados da pesquisa. Vamos explorar alguns deles em um momento, mas uma lista detalhada de todos eles está disponível na documentação da API on-line.

Respostas da API

As respostas que você receberá da API Serpstack dependerão fortemente da sua consulta de pesquisa e dos parâmetros que você escolher usar. Uma consulta básica sem filtragem especificada retornará uma tonelada de dados. Aqui está a parte inicial da resposta que você obteve da consulta de exemplo acima.

{"request": {"success": true, "process_timestamp": 1566207832, "search_url": " https://www.google.com/search? q = mcdonalds "," total_time_taken ": 1.5}," search_parameters ": {" engine ":" google "," query ":" mcdonalds "," type ":" web "," device ":" desktop ", "google_domain": "google.com", "hl": "en", "gl": "us", "page": "1", "num": "10"}, "search_information": {"total_results ": 759000000, "time_taken_displayed": 0.91, "did_you_mean": null, "showing_results_for": null, "query_displayed": "mcdonalds", "detect_location": null, "no_results_for_original_query": false},

O objetivo da amostra acima é apenas fornecer uma idéia de como os resultados podem parecer. Incluí apenas as 25 primeiras linhas da resposta que, na sua totalidade, têm mais de quatrocentas linhas.

Como você deve ter notado ao usar a pesquisa do Google, uma página típica de resultado de pesquisa possui seções diferentes, cada uma exibindo um tipo diferente de resultado. Você terá resultados de anúncios pagos, resultados orgânicos, imagens, vídeos etc. Além disso, uma faixa de opções na parte superior da página permitirá exibir tipos específicos de resultados, como mapas, notícias, compras ou livros, apenas para citar alguns. Vários parâmetros opcionais permitem especificar que tipo de resultados de pesquisa você deseja obter, tornando a análise do arquivo JSON resultante muito mais simples. Vamos dar uma olhada mais profunda em alguns dos diferentes tipos de resultados que você pode obter.

Resultados do anúncio

Sempre que houver anúncios patrocinados para sua consulta de pesquisa - e geralmente haverá, a resposta da API virá com um objeto de anúncio. Ele contém todos os anúncios na ordem em que são mostrados no resultado da pesquisa. Inclui os anúncios exibidos na parte superior e na parte inferior do resultado da pesquisa.

Resultados Orgânicos

Os resultados de pesquisa orgânica são os principais resultados de pesquisa fornecidos pelo Google e provavelmente são aqueles em que você estará particularmente interessado. Eles são determinados por uma série de fatores, como tráfego na web, back-links, presença nas mídias sociais e muito mais, com o algoritmo exato mantido em segredo pelo Google para manter sua vantagem competitiva. Esses resultados são analisados ​​pela API em detalhes e retornados como "resultados_ orgânicos”.

Resultados da imagem

Assim como existem duas maneiras de obter resultados de imagens em uma pesquisa no Google, há duas maneiras pelas quais as imagens podem ser retornadas pela API. Ao fazer uma pesquisa na web padrão, algumas imagens são fornecidas pelo Google nos resultados da pesquisa. Essas imagens, chamadas de imagens embutidas, são retornadas pela API Scrapestack dentro de um "inline_images”.

"image_results": [{"position": 1, "title": "McDonald's Gold Card: A Verdadeira História ...", "width": 1024, "height": 683, "image_url": " https://www.rd.com/wp-content/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg", "type": "png", "url": " http://rd.com", "fonte": " https://rd.com" }, {"position": 2, "title": "McDonald's - Wikipedia", "width": 1200, "height": 1051, "image_url": " https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png", "type": "png", "url": " https://en.wikipedia.org/wiki/McDonald%27s", "fonte": " https://en.wikipedia.org" }, {"position": 3, "title": "Melhores novos itens de menu globais ...", "width": 970, "height": 545, "image_url": " https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg", "type": "png", "url": " https://thrillist.com/", "fonte": " https://thrillist.com" } ]

Se, por outro lado, as imagens forem pesquisadas especificamente, com o parâmetro de tipo definido como imagens, as imagens serão retornadas como um "image_results”. Nessas situações, a API retorna 100 imagens por padrão.

Resultados do vídeo

As mesmas considerações que acabamos de examinar para as imagens também são válidas para os resultados de vídeo, com a disponibilidade de ambos os vídeos em linha nos resultados da pesquisa global ou nos vídeos dedicados

Poderíamos continuar procurando páginas e fornecer informações detalhadas sobre os vários tipos de resultados que a API Serpstack pode retornar, mas achamos que você está entendendo. Basta dizer que qualquer tipo de resultado retornado por uma pesquisa típica do Google também está disponível na resposta da API. Além dos tipos de resultados já descritos, a API retornará, resultados de notícias, resultados de compras e informações locais. resultados, bem como o conteúdo da caixa de resposta da página de resultados, caixa climática, eventos, carrossel principal, histórias principais, etc.

Ambientes de programação suportados

Uma das melhores coisas da API Serpstack é que você pode usá-la facilmente de dentro da maioria Qualquer que seja o idioma que você esteja usando, desde que você possa enviar solicitações HTTP, você deve bom para ir. Todas as linguagens populares da Web, como PHP ou Python, são suportadas. De fato, a documentação da API inclui exemplos de como usá-la em PHP, Python, Nodejs, jQuery, Go e Ruby.

Aqui está, por exemplo, o código PHP para imprimir o número total de resultados de pesquisa, bem como cada resultado de pesquisa orgânica retornado pela API Serpstack.

$ queryString = http_build_query (['access_key' => 'YOUR_ACCESS_KEY', 'query' => 'mcdonalds',]); $ ch = curl_init (sprintf ('% s?% s', ' https://api.serpstack.com/search', $ queryString)); curl_setopt ($ ch, CURLOPT_RETURNTRANSFER, verdadeiro); $ json = curl_exec ($ ch); curl_close ($ ch); $ api_result = json_decode ($ json, verdadeiro); echo "Total de resultados:", $ api_result ['search_information'] ['total_results'], PHP_EOL; foreach ($ api_result ['organic_results'] como $ number => $ result) {echo "{$ number}. {$ result ['title']} ", PHP_EOL; }

E aqui está um código para realizar a mesma coisa em Python:

params de solicitações de importação = {'access_key': 'YOUR_ACCESS_KEY', 'query': 'mcdonalds'} api_result = orders.get (' https://api.serpstack.com/search', parâmetros) api_response = api_result.json () print "Total results:", api_response ['search_information'] ['total_results'] para número, resultar em enumerar (api_response ['organic_results'], start = 1): imprima "% s. % s "% (número, resultado ['título'])

Preços e Planos

A API Serpstack está disponível sob vários planos dependendo de suas necessidades. O plano mais básico é o plano gratuito. Como o próprio nome indica, é gratuito, mas, embora não seja limitado por tempo, como nas versões de teste típicas, é limitado por recursos e por uso limitado. Você só poderá executar até 100 pesquisas por mês.

Os próximos três níveis são completos e variam apenas pelo número máximo de pesquisas mensais que você tem permissão para executar. O plano Básico fornecerá US $ 5.000 por US $ 29,99 / mês, o plano de negócios a US $ 99,99 / mês o eleva a 20.000 e o plano Business Pro permite executar 50 mil pesquisas impressionantes por US $ 199,99 por mês. Se nenhum desses planos se adequar a você, também há um plano corporativo de preço variável que pode ser personalizado para suas necessidades exatas. Se você escolher o faturamento anual em vez de mensal, terá direito a um desconto de 20%, tornando o serviço ainda mais acessível.

Empacotando

Em resumo, a API Serpstack é um produto fácil de usar e com todos os recursos que você pode usar bem sempre que precisar buscar dados SERP do Google. Seu tempo de atividade estelar e tempo de resposta impressionante são alguns de seus melhores ativos. Apoiado por apilayer, que nos trouxe outras excelentes APIs, estamos confiantes de que este apresentará os resultados esperados. Este é um produto que só podemos recomendar.