גארי איליס הוא ראש מחלקת Sunshine and Happiness בגוגל. מרטין ספליט אשר אחראי על מדיניות הפיתוח וקשרי מפתחים בגוגל. וליזי ססמן כותבת טכנית בכירה במרכז החיפוש של גוגל שוחחו בפודקאסט הקבוע שלהם ב- YouTube על תקציב הזחילה של גוגל תוך כדי שהם מנסים לענות השאלה, האם באמת בעלי ובעלות אתרי אינטרנט צריכים לחשוש מנושא תקציב הזחילה?
התשובה הקצרה היא: אם אין לך אתר אינטרנט גדול במיוחד עם אלפי עמודים - אין לך באמת ממה לחשוש. אז אם אין צורך לחשוש ממנו, מאיפה בכלל התחיל כל הנושא הזה?
![תמלול מהפודקאסט: [00:04:12] Gary Illyes: [00:04:12] We put up a blog post which tried to demystify a little bit. Maybe it was also partly demystifying it for us because for the longest time we were saying that we don't have the concept of crawl budget. [00:04:26] And it was true. We didn't have something that could mean crawl budget on its own-- the same way we don't have a number for EAT, for example. [00:04:35] And then, because people were talking about it, we tried to come up with something... at least, somehow defined. And then we worked with two or three or four teams-- I don't remember-- where we tried to come up with at least a few internal metrics that could map together into something that people externally define as crawl budget. [00:04:56] And that's how we came up with that blog post, and then we defined it as number of URLs Googlebot can and is willing or is instructed to crawl.](https://hamefakeh.co.il/wp-content/uploads/2022/09/Gary-Illyes-on-Crawl-Budget.png)
קהילת SEO מדברת על תקציב זחילה - גוגל מקשיבה
לפי גארי אליס, לגוגל בהתחלה לא היה כל מדד של תקציב זחילה או משהו בסגנון, אלא זה משהו שנוצר מחוץ לגוגל על ידי קהילת אנשי ה- SEO.
הם התחילו לדבר על זה, גוגל הקשיבה וכתוצאה מכך מספר עובדים בחברה התחילו לייצר לתקציב הזחילה מדדים שונים.
כאשר למעשה אין באמת טעם לחשוש מתקציב זחילה, ב- 90% מהאתרים אין בכלל בעיה של תקציב זחילה גם אם הם חושבים כך. העניין הוא אחר לגמרי.
ישנם הרבה מאוד אתרים בעולם, ואיחסון (זיכרון) מוגבל כדי לאחסן את כל האתרים בתוצאות מנוע החיפוש. כתוצאה לכך האלגוריתם של גוגל לא מאחסן את כל האתרים בעולם במסד הנתונים שלו, אלא רק את אלה שהוא מוצא בהם כאתרים רלוונטיים. למעשה בהיבט הזה גוגל לא שונה משאר מנועי החיפוש.
דברים שנאמרו בעבר גם על ידי ג'ון מילר (John Mueller) המדינאי של מנועי החיפוש מטעם גוגל, אותם שיתף בשני ציוצים שונים בטוויטר:
מה שכנראה הוביל לעדכון התוכן המועיל של גוגל ומוביל אותנו לשאלה אחרת.
איך גוגל בוחרת מה לאנדקס ומה להשאיר מחוץ למנוע החיפוש הגדול?
בגדול לפי גארי איליס, האלגוריתם של גוגל בודק תדירות עדכונים + קישורים חיצוניים ממקורות שונים המעידים האם מדובר בנושא מעניין וחם, או משהו שלא שווה אפילו חצי קילובייט במסד הנתונים של גוגל:
![תמלול מתוך הפודקאסט: [00:10:20] Gary Illyes: [00:10:20] But you both are thinking small... [laughter] because you're saying only yearly or whatever update frequency. But it's not just update frequency. It's also the quality signals that the main site has. [00:10:35] So, for example, if we see that a certain pattern is very popular on the internet, like a slash product is very popular on the internet, and people on Reddit are talking about it, other sites are linking to URLs in that pattern, then it's a signal for us that people like the site in general. [00:10:54] While if you have something that people are not linking to, and then you are trying to launch a new directory, it's like, well, people don't like the site, then why would we crawl this new directory that you just launched?](https://hamefakeh.co.il/wp-content/uploads/2022/09/Gary-Illyes-איך-גוגל-בוחר-מה-ל.png)
החשיבות של אופטימיזציית SEO באתר
אם כל העניין זה תדירות עדכונים (תוכן חדש באתר או עדכון תוכן קיים) וקישורים חיצוניים, אז מה זה אומר על כל האופטימיזציית ה- SEO הרבה אשר מתבצעת באתר האינטרנט שלך?
- תוכן איכותי באתר האינטרנט שלך גורם לאתר האינטרנט שלך להיות ראוי למקום הראשון.
- אופטימיזציית SEO עוזרת לגוגל להבין על מה התוכן שלך מדבר, מה ההקשרים בין העמודים השונים, מה התחום של האתר שלך ועד כמה הוא אמין וסמכותי
- קישורים חיצוניים יובילו את מנועי החיפוש לתוכן האיכותי שלך באתר, אופטימיזציית SEO תסייע לגוגל להבין על איזו שאלה הוא עונה והאם מדובר בתוכן המתקיים באתר אמין.
השורה התחתונה - הדברים שלמדנו מהפודקאסט על ניהול תקציב הזחילה
- גוגל מקשיבה לקהילת מקצועני ה- SEO - לטוב ולרע.
- גם כשאין כל שגיאה - עדיין גוגל יכולה שלא לאנדקס את האתר שלך או חלק מהעמודים בו
- תוכן צריך להיות מועיל למי שקורא אותו
- תוכן מועיל הוא תוכן שגם צובר שיח סביבו וזוכה לקישורים חיצוניים במקומות שונים
- כמות הזיכרון של גוגל מוגבלת - לא כל עמוד באינטרנט זוכה לאינדוקס.
אז מה עושים?
על כן אם ברצונך שהאתר שלך יהיה מאונדקס בגוגל? - צריך להשקיע בתוכן מועיל ויחסי ציבור בדיגיטל. יחסי ציבור בדיגיטל לא רק יעזרו לאתר האינטרנט שלך להיות מאונדקס על ידי גוגל ולהתקדם למקומות ראשונים בגוגל, אלא יותר מזה - יחסי ציבור בדיגיטל, יעזרו לעסק שלך לתפוס יותר נדל"ן דיגיטלי בתוצאות החיפוש בגוגל.
