סקירת Serpstack: ממשק API של JSON Rest לתוצאות חיפוש בגוגל

אם אתה צריך להביא תוצאות של מנוע חיפוש - ובמיוחד אלה מגוגל - אחת הדרכים לעשות זאת היא לעשות זאת בצע חיפוש בפועל ב- google.com ונסה לנתח את קוד ה- HTML המורכב שתקבל כ תוצאה. אפשר לעשות זאת אבל זה די מאמץ. אם ברצונך לעבור מסלול קל יותר, מדוע שלא תשתמש בממשק API ייעודי של SERP שתוכל להזין עם מונח החיפוש שלך, ויחזיר את התוצאות בפורמט שניתן לנתח אותו בקלות. מוצר אחד כזה הוא ממשק API של Serpstack מ apilayer. זה לוקח את מחרוזת שאילתת החיפוש והפרמטרים שלך כקלט ומחזיר את תוצאות החיפוש בפורמט JSON. בואו נסתכל לעומק על המוצר.

נתחיל כפי שעושים לעתים קרובות על ידי דיון ב- SERP באופן כללי. בשלב הבא נסביר מה זה ונתאר כמה סוגים שונים של תוצאות הזמינות בדרך כלל ממנועי חיפוש. נבדוק גם כמה סיבות מדוע ניתן להשתמש בממשק API של SERP. וברגע שכולנו באותו דף, נסקור את ה- API של Serpstack. אנו נבדוק במהירות כמה מהתכונות העיקריות שלו לפני שנעבור כיצד להשתמש בממשק ה- API. ולפני שנסיים, נסקור את מבנה התמחור של השירות ואת התוכניות הזמינות שלו.

SERP על קצה המזלג

ראשית, SERP הוא ראשי תיבות של דפי תוצאות מנועי חיפוש. אלה דפי האינטרנט המוגשים למשתמשים כאשר הם מחפשים משהו מקוון באמצעות מנוע חיפוש כמו גוגל או בינג. המשתמש מציין את שאילתת החיפוש שלו באמצעות מונחים וביטויים ספציפיים המכונים בדרך כלל מילות מפתח ואז מנוע החיפוש מציג להם SERP.

כל SERP הוא ייחודי. זה נכון אפילו לגבי שאילתות חיפוש מרובות המבוצעות באותו מנוע חיפוש באמצעות אותן מילות מפתח או טקסט שאילתה. הסיבה העיקרית לכך היא שלמעשה כל מנוע חיפוש מותאם אישית את החוויה עבור המשתמשים שלהם על ידי הצגת תוצאות על בסיס מגוון רחב של גורמים החורגים הרבה מעבר למונחי החיפוש שלהם. גורמים אלה יכולים לכלול את המיקום הפיזי של המשתמש, היסטוריית הגלישה שלו וההגדרות החברתיות וכו '. ובעוד ששני סרטי SERP עשויים להיראות זהים ועשויים להכיל רבים מאותן תוצאות, הם לרוב יציגו הבדלים עדינים.

ספקי מנועי חיפוש כמו גוגל, בינג או שחקנים אחרים מפתחים כל העת את השירותים והטכנולוגיות שלהם ומתנסים בתוצאותיהם. מטרתם להציע למשתמשים שלהם חוויה מגיבה ואינטואיטיבית יותר. כאשר טכנולוגיות חדשות מוצגות בחלל החיפוש - והן נמצאות בקצב מדהים, המראה של ה- SERP משתנה, והן כיום שונות למדי ממה שהיו פעם.

תוצאות אורגניות

SERPs בדרך כלל יכילו שני סוגים של תוכן: תוצאות אורגניות ותוצאות בתשלום. תוצאות אורגניות הן רשימות של דפי אינטרנט המופיעים כתוצאה מאלגוריתם של מנוע החיפוש. עוד על זה ברגע. אופטימיזציה למנועי חיפוש, או SEO, היא המדע - או שזה בעצם אמנות - של מניפולציה של תוכן בכדי להערים על מנועי חיפוש לרשום באתר האינטרנט שלנו מילת מפתח או מחרוזת חיפוש ספציפית.

אודות אלגוריתמי חיפוש וסימני דירוג

אז, חזרה לתוצאות אורגניות. על קצה המזלג, מדובר ברשימות שאינדקסו על ידי מנוע החיפוש בהתבסס על מספר גורמים שהם המכונה באופן קולקטיבי "אותות דירוג." לדוגמה, אלגוריתם החיפוש שמשמש גוגל כולל מאות גורמי דירוג. ספקי מנועי חיפוש נוטים לשמור את פרטי מערכת הדירוג שלהם בסוד. לכן, אף שאיש מחוץ לגוגל - ואולי גם לא הרבה אנשים בפנים - יודע בדיוק מהם אותות הדירוג, חלקם נחשבים חשובים יותר מאחרים.

מדוע להשתמש בממשק API של SERP?

ישנן כמה סיבות לכך שמישהו ישתמש בממשק API של SERP. יש את הצורך הברור באחזור מעת לעת של נתוני SERP למוצרים ולאתרי האינטרנט שלך ולעקוב אחריהם לאורך זמן, מכיוון שהם חלק חיוני מכל אסטרטגיית קידום אתרים. כאשר דירוגים משתנים ללא הרף וחיפוש מילות מפתח הופך להיות פחות או יותר ישים ובעל ערך במהלך הזמן, יש רק דרך אחת להישאר בראש אלה משתנה וזה להשתמש בפתרון מוכנה של תוכנה כשירות (SaaS) המיישם נתוני SERP ישירות ליישומים או אתרים משלך באמצעות ממשק API של SERP כמו סרפסטאק.

על קצה המזלג, ההבדל העיקרי בין שימוש בדפדפן לאחזור נתוני SERP לבין שימוש בממשק API של SERP כמו Serpstack הוא פורמט התגובה. ממשק ה- API של Serpstack יחזיר נתוני JSON שמנותחים בקלות על ידי תוכנת הבית שלך. השימוש בו משחרר אותך מהצורך לחלץ את הנתונים המשמעותיים מכל עיצוב האינטרנט שמסביב.

מציגה את Serpstack

במשפט אחד, Serpstack הוא ממשק API של תוצאות חיפוש בגוגל בזמן אמת ומדויק. אמון על ידי כמה מהמותגים הגדולים בעולם, ממשק ה- API הזה של JSON REST הוא מהיר וקל לשימוש. המוצר בנוי ומתוחזק על ידי חברת Apilayer, חברת תוכנה שמוקמה בלונדון, בריטניה ווינה, אוסטריה. במקור שנוצר מתוך צורך פנימי לעקוב אחר עמדות מנועי החיפוש בצורה אוטומטית, המוצר הפך להיות אחד ממשקי ה- API של SERP המהימנים ביותר הקיימים בשוק. באשר לאפילייזר, זו החברה שעומדת מאחורי כמה ממוצרי ה- API וה- SaaS הפופולריים ביותר בעולם, כולל Currencylayer, Invoicely ו- Eversign.

ממשק ה- API של Serpstack מאחזר נתוני SERP ממנועי חיפוש באופן אוטומטי באמצעות רשת פרוקסי וטכנולוגיית גרידה קניינית בכל פעם שמתבצעות בקשות API. נתוני SERP שהתקבלו זמינים לציבור וכל אחד יכול לגשת אליהם. יתר על כן, ה- API של Serpstack תומך כמעט בכל סוגי תוצאות החיפוש שהוחזרו על ידי Google, כולל אינטרנט תוצאות, תוצאות תמונה, תוצאות וידאו, תוצאות חדשות, תוצאות קניות, מודעות ממומנות, שאלות והרבה יותר.

נבנה על גבי תשתית ענן של Apilayer, מערכת שכמה משירותי ה- API הפופולריים ביותר בזמן אמת פועלים עליהם. ממשק ה- API של Serpstack ניתן להרחבה וגמיש ביותר בכל שלב. הוא נבנה כדי להציע דרך לגרד נתונים של Google SERP בזמן אמת ובכל קנה מידה. יישום השירות לוקח מספר דקות תוך שימוש במבנה URL פשוט של HTTP GET והתוצאות מוחזרות בפורמט JSON או CSV.

התכונות העיקריות של סרפסטאק

בתכונה, ממשק ה- API של Serpstack לא משאיר דבר רצוי. בראש ובראשונה, השירות ניתן במדרג גבוה ותמיד ללא תורים. תשתית הענן החזקה של Apilayer נבנתה פשוט בכדי לעמוד בבקשות API בעלות נפח גבוה ללא צורך בתור. זה היה הליבה של כמה ממוצרי החברה. זה גם יכול להתאמה אישית מאוד. מכיוון שלשני לקוחות אין צרכים זהים, אתה יכול להתאים את שאילתות החיפוש האוטומטיות שלך על סמך שורה של אפשרויות, כולל מיקום, שפה, מכשיר ועוד.

השימוש במוצר זה, הוא לא מדאיג לגבי כתובות IP עולמיות, אשכולות דפדפנים או CAPTCHAs. בזכות א רשת פרוקסי עוצמתית עוצמתית, ממשק גרוטאות SERP זה מכסה אתכם כמעט בכל אחד מהם מצב. וזה גם קל בתקציב. אתה מקבל עד 100 בקשות חודשיות בחינם, ואם תזדקק ליותר מזה - וכנראה שתעשה זאת - תוכניות בתשלום מתחילות רק ב 29.99 $ לחודש. אנו מכסים את תמחור המוצר בפירוט רב יותר בקרוב.

להלן סקירה של כמה מהתכונות החשובות ביותר של המוצר:

שילוב פשוט

השימוש בממשק ה- API של Scrapestack בקושי יכול להיות קל יותר מההתחלה. לוקח כמה דקות ליצור שאילתות בהתאמה אישית ולהתחיל לגרד דפי SERP בכל סולם באמצעות מיקומים, מכשירים, שפות, ועוד.

רמת אבטחה גבוהה

כל זרמי הנתונים שנשלחים ומתקבלים מממשק ה- API של Serpstack מוצפנים באמצעות קידוד SSL ​​של 256 סיביות. זהו אותו סוג אבטחה המשמש את אתרי הבנקאות או את רוב הפלטפורמות למסחר אלקטרוני. אתה יכול להיות סמוך ובטוח שהנתונים שלך יישארו מוגנים.

מהירות וזמינות ללא תחרות

עם ציון זמינות כמעט מושלם אתה יכול להיות סמוך ובטוח שממשק ה- API של Scrapestack יהיה שם כשתזדקק לו. ו apilayer אף פעם לא מתפשר על מהירות. בקשות ממשק API שנשלחות לממשק ה- API עוברות עניין של אלפיות שנייה. כמובן, כמה מהר התוצאות מגיעות תלוי גם בזמני התגובה של גוגל.

בחירה בפורמטי פלט

כדי להקל עוד יותר על נתוני SERP, ממשק ה- API של REST קל לשימוש ב- REST מציע בחירה של תגובות JSON או CSV. זה עושה את זה תואם לכל שפת תכנות.

תמיכה ברמה העולמית

לעתים קרובות אומרים שמוצר טוב רק כמו מבנה התמיכה הטכנית שלו. שוב, זהו מקום בו Scrapestack מאיר. אם יש לך שאלות טכניות, צוות מומחים מיומן עומד לרשותך בכל בקשה שעשויה להיות לך. התגובה מהירה והשירות עובד די טוב.

תיעוד נרחב

חשוב לא פחות מהתמיכה, התיעוד יהיה בדרך כלל הדרך העיקרית שלך ללמוד כיצד להשתמש במוצר. Serpstack מציע תיעוד API נרחב הממתין לבדיקה. השימוש בו יתחיל לעבוד תוך מספר דקות ויהפוך אותך למומחה בנושא של ימים, לא שבועות או חודשים.

באמצעות Serpstack

די מתרברבים מהתכונות הנהדרות של המוצר - והם באמת, בואו נבדוק איך אתה יכול למעשה משתמשים במוצר ובסוגים השונים של בקשות שתוכלו להגיש ואת התגובות המתאימות לכם יכול לצפות.

הבסיס

כדי להשתמש בממשק ה- API של Serpstack, תחילה עליך להירשם לחשבון. זה בחינם וכתוצאה מכך, תקצה לך מפתח גישה ייחודי ל- API. זה מה שתשתמש מעתה והלאה לצורך אימות עם ה- API באמצעות בקשות GET פשוטות של HTTP כדי לגשת לאחת מנקודות הקצה הזמינות. לכן, כדי להשתמש בממשק ה- API אתה פשוט צריך להוסיף את מפתח ה- API שלך לכתובת האתר הבסיסית באמצעות "מפתח גישהפרמטר. כך נראית בקשה טיפוסית - גם אם בסיסית מאוד וחסרת תועלת לחלוטין:

http://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

לקבלת אבטחה נוספת, כל התוכניות בתשלום מאפשרות שימוש בהצפנת SSL של 256 סיביות. כדי להשתמש בו כל מה שאתה צריך זה לשלוח בקשות HTTPS במקום בקשות HTTP. לדוגמה, הדוגמה לעיל עם הצפנה תהפוך:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY

בכל פעם שבקשת API נכשלה, ממשק ה- Serpstack יחזיר אובייקט JSON המכיל פרטים אודות השגיאה. לדוגמה, הנה מה שיוחזר על ידי ה- API אם יגיע או חורג מגבלת בקשת ה- API המרבית המותרת. לכל תוכנית מנויים יש מגבלה שונה למספר הבקשות שניתן לבצע.

{"success": false, "error": {"code": 104, "type": "use_limit_reached", "info": "נפח בקשת ה- API החודשית שלך הושג. אנא שדרג את התוכנית שלך. "}}

בקשת API ופרמטרים

אלא אם כן צוין אחרת, ממשק ה- API של Serpstack תמיד יביא תוצאות חיפוש מגוגל. כתוצאה מכך, אם ברצונך לבצע שאילתות בממשק ה- API לתוצאות החיפוש של Google, כל שעליך לעשות הוא להוסיף את "שאילתאפרמטר לכתובת האתר הבסיסית של ה- API והגדר אותה לשאילתת חיפוש לפי בחירתך. כך נראה שאילתה המשתמשת ב"מקדונלדס "כמונח החיפוש עם אימות והצפנה:

https://api.serpstack.com/search? access_key = YOUR_ACCESS_KEY & query = mcdonalds

כפי שאתה יכול לראות, זהו תחביר פשוט למדי. ישנם, כפי שבוודאי הייתם מעלים לעצמכם, המון פרמטרים אופציונליים שניתן להוסיף לבקשה לצמצום נוסף של תוצאות החיפוש. אנו נחקור כמה מהם בעוד רגע, אך רשימה מפורטת של כולם זמינה בתיעוד המקוון של ה- API.

תגובות API

התגובות שתקבלו מממשק ה- API של Serpstack יהיו מאוד תלויים בשאילתת החיפוש שלכם ובפרמטרים בהם בחרתם להשתמש. שאילתה בסיסית שלא צוינה בה סינון תחזיר טונה של נתונים. הנה החלק ההתחלתי של התגובה שתקבל משאילתת הדוגמה שלמעלה.

{"בקשה": {"הצלחה": נכון, "מעובד_טימסטמפ": 1566207832, "search_url": " https://www.google.com/search? q = mcdonalds "," total_time_taken ": 1.5}," search_parameters ": {" engine ":" google "," query ":" mcdonalds "," type ":" web "," device ":" desktop ", "google_domain": "google.com", "hl": "en", "gl": "אותנו", "page": "1", "num": "10"}, "search_information": {"total_results ": 759000000, "time_taken_displayed": 0.91, "did_you_mean": null, "showing_results_for": null, "query_displayed": "mcdonalds", "Detected_location": null, "no_results_for_original_query": false},

מטרת הדגימה שלעיל היא רק לתת לך מושג כיצד נראות התוצאות. כללתי רק את 25 השורות הראשונות של התגובה שאורכה במלואו למעלה מארבע מאות שורות.

כפי שאולי שמתם לב כשאתם משתמשים בחיפוש בגוגל, בדף תוצאות חיפוש טיפוסי יש קטעים שונים, שכל אחד מהם מציג סוג שונה של תוצאות. תקבלו תוצאות מודעות בתשלום, תוצאות אורגניות, תמונות, סרטונים וכו '. יתרה מזאת, סרט בראש העמוד יאפשר לכם להציג סוגים ספציפיים של תוצאות כגון מפות, חדשות, קניות או ספרים, רק כדי להזכיר כמה. פרמטרים אופציונליים שונים יאפשרו לך לציין איזה סוג של תוצאות חיפוש אתה מעוניין לקבל, והופך את ניתוח הקובץ JSON שנוצר לפשוט הרבה יותר. בואו נסתכל לעומק על כמה סוגים שונים של תוצאות שתוכלו לקבל.

תוצאות מודעה

בכל פעם שיש מודעות ממומנות לשאילתת החיפוש שלך - ולעיתים קרובות יהיו, תגובת ה- API תגיע עם אובייקט מודעות. הוא מכיל את כל המודעות לפי הסדר שמוצגות בתוצאת החיפוש. זה כולל שתי מודעות המוצגות בחלק העליון ותחתית תוצאות החיפוש.

תוצאות אורגניות

תוצאות חיפוש אורגניות הן תוצאות החיפוש העיקריות המסופקות על ידי גוגל, וסביר להניח שתוצאות אלה יעניינו אותך במיוחד. הם נקבעים על ידי שורה של גורמים, כמו תעבורת אתרים, קישורים אחוריים, נוכחות במדיה חברתית, ועוד ועוד, כאשר האלגוריתם המדויק נשמר על ידי גוגל על ​​מנת לשמור על היתרון התחרותי שלה. תוצאות אלה נותחו על ידי ה- API בפירוט והוחזרו כ- "תוצאות אורגניות”.

תוצאות תמונה

כמו שיש שתי דרכים להשיג תוצאות תמונה מחיפוש בגוגל, ישנן שתי דרכים שניתן להחזיר תמונות באמצעות ה- API. כאשר מבצעים חיפוש רגיל באינטרנט, תמונות מסוימות מסופקות על ידי Google בתוצאות החיפוש. תמונות אלה - המכונות תמונות מוטבעות - מוחזקות על ידי ממשק ה- API של Scrapestack בתוך "inline_imagesמערך.

"image_results": [{"מיקום": 1, "כותרת": "כרטיס הזהב של מקדונלד: הסיפור האמיתי ...", "רוחב": 1024, "גובה": 683, "image_url": " https://www.rd.com/wp-content/uploads/2017/12/the-true-story-behind-the-mysterious-mcdonalds-gold-card-673955074-Vytautas-Kielaitis-1024x683.jpg", "type": "png", "url": " http://rd.com", "מקור": " https://rd.com" }, {"position": 2, "title": "מקדונלד'ס - ויקיפדיה", "רוחב": 1200, "גובה": 1051, "image_url": " https://upload.wikimedia.org/wikipedia/commons/thumb/3/36/McDonald%27s_Golden_Arches.svg/1200px-McDonald%27s_Golden_Arches.svg.png", "type": "png", "url": " https://en.wikipedia.org/wiki/McDonald%27s", "מקור": " https://en.wikipedia.org" }, {"position": 3, "title": "פריטי התפריט הגלובלי החדשים הטובים ביותר ...", "רוחב": 970, "גובה": 545, "image_url": " https://assets3.thrillist.com/v1/image/2825587/size/gn-gift_guide_variable_c.jpg", "type": "png", "url": " https://thrillist.com/", "מקור": " https://thrillist.com" } ]

אם, לעומת זאת, מחפשים תמונות ספציפית, כאשר פרמטר הסוג מוגדר לתמונות, התמונות מוחזרות כ- "תוצאות תמונהמערך. במצבים אלה ממשק ה- API מחזיר 100 תמונות כברירת מחדל.

תוצאות וידאו

אותם השיקולים שקיבלנו בדיוק לגבי תמונות תקפים גם לתוצאות הווידיאו עם הזמינות של שני הסרטונים המשולבים בתוצאות החיפוש הגלובליות או תוצאות הווידאו הייעודיות

אנו יכולים להמשיך לדפים ולספק לך מידע מפורט על סוגי התוצאות השונות שממשק ה- API של Serpstack יכול להחזיר, אך אנו חושבים שאתה מקבל את התמונה. די לומר כי כל סוג של תוצאות שיוחזרו על ידי חיפוש בגוגל טיפוסי זמין גם בתגובת ה- API. בנוסף לסוגי התוצאות שכבר תוארו, ה- API יחזור, תוצאות חדשות, תוצאות קניות ומקומיות תוצאות כמו גם את תוכן תיבת התשובות של עמוד התוצאות, תיבת מזג האוויר, אירועים, קרוסלה עליונה, סיפורים עליונים וכו '.

סביבות תכנות נתמכות

אחד הדברים הטובים ביותר בממשק ה- API של Serpstack הוא שתוכלו להשתמש בו בקלות מתוך רוב סביבות, לא משנה מה השפה בה אתה משתמש, כל עוד אתה יכול לשלוח בקשות HTTP, אתה צריך להיות מוכן ללכת. כל שפות האינטרנט הפופולריות כגון PHP או Python נתמכות. למעשה, התיעוד של ממשק ה- API כולל דוגמאות לשימוש ב- PHP, Python, Nodejs, jQuery, Go ו- Ruby.

הנה למשל קוד ה- PHP להדפסת המספר הכולל של תוצאות חיפוש כמו גם כל תוצאות חיפוש אורגניות שהוחזרו על ידי ה- Serpstack API.

$ queryString = http_build_query (['access_key' => 'YOUR_ACCESS_KEY', 'query' => 'mcdonalds',]); $ ch = curl_init (sprintf ('% s?% s', ' https://api.serpstack.com/search', $ queryString)); curl_setopt ($ ch, CURLOPT_RETURNTRANSFER, נכון); $ json = curl_exec ($ ch); curl_close ($ ch); $ api_result = json_decode ($ json, נכון); הד "סך התוצאות:", $ api_result ['search_information'] ['total_results'], PHP_EOL; foreach ($ api_result ['organ_results '] כתוצאה $ $ => $ $) {echo "{$ number}. {$ result ['title']}}, PHP_EOL; }

והנה איזה קוד להשגת אותו הדבר בפיתון:

ייבוא ​​params בקשות = {'access_key': 'YOUR_ACCESS_KEY', 'שאילתה': 'mcdonalds'} api_result = request.get (' https://api.serpstack.com/search', params) api_response = api_result.json () להדפיס "סך הכל תוצאות:", api_response ['search_information'] ['total_results'] למספר, תביא למספר (api_response ['organ_results'], התחל = 1): הדפיס "% s. % s "% (מספר, תוצאה ['כותרת'])

תמחור ותוכניות

ממשק ה- API של Serpstack זמין תחת כמה תוכניות תלוי בצרכים שלך. התוכנית הבסיסית ביותר היא התוכנית בחינם. כשמו כן הוא, הוא בחינם, אך למרות שהוא אינו מוגבל בזמן כמו גרסאות ניסיון טיפוסיות, הוא מוגבל בתכונות כמו גם שימוש מוגבל. תוכל לבצע עד 100 חיפושים בחודש בלבד.

שלושת הרמות הבאות כוללות תכונות מלאות ומשתנות רק במספר המרבי של החיפושים החודשיים שמותר לך לבצע. התוכנית הבסיסית תעניק לך 5000 תמורת 29.99 $ לחודש, התוכנית העסקית במחיר של 99.99 $ לחודש מעלה אותה ל 20,000, ותוכנית ה- Business Pro מאפשרת לך לבצע 50,000 חיפושים עצומים של 199.99 $ לחודש. אם אף אחת מהתכניות הללו לא מתאימה לך, יש גם תוכנית ארגונית במחיר משתנה הניתנת להתאמה אישית לצרכים המדויקים שלך. אם אתה בוחר חיוב שנתי במקום חודשי, אתה זכאי להנחה של 20%, מה שהופך את השירות ליותר זול.

מסיימים

על קצה המזלג, ממשק ה- API של Serpstack הוא מוצר קל לשימוש ומלא תכונות שתוכלו לעשות בו שימוש טוב בכל פעם שתצטרכו להביא נתוני SERP מגוגל. זמן הפעילות הכוכב וזמן התגובה המרשים שלו הם כמה מהנכסים הטובים ביותר שלו. מגובה על ידי apilayer שהביא לנו ממשקי API מצוינים אחרים, אנו בטוחים כי התוצאה הזו תביא את התוצאות שאתה מצפה. זהו מוצר שאנחנו יכולים רק להמליץ ​​עליו.