קובץ רובוטס סקירה כללית
אחד הדברים הבסיסיים בקידום אתרים הוא השימוש בשני כלים בסיסיים אך חשובים מאוד ופונקציונליים לקידום האתר שלנו:
- קובץ רובוטס- המוכר גם בסיומת txt
- מפת אתר.
במאמר זה ברצוני להסביר ולסקור את חשיבותו של קובץ רובוטס, השימוש בו, להבין למה הוא מיועד ולמה הוא אינו מיועד, ובמה הוא יכול לעזור לכם מאוד ומתי לא מומלץ להשתמש בו או להשתמש בו במתינות ובזהירות.
מה זה קובץ רובוטס?
קובץ זה הוא למעשה הקובץ הראשון אליו ניגשים הזחלנים שבאים לסרוק את האתר.
קובץ זה בהגדרתו, מיועד לומר לזחלנים לאן מותר להם להיכנס- לאיזה תיקיות באתר, ולאילו תיקיות אסור לזחלן להיכנס (מכל מיני טעמים החל מאבטחה, הגנה על מידע וכלה במידע פרטי או אישי באתר, דפים בתשלום המיועדים לחברים ולקוחות משלמים ועוד).
בקובץ robots.txt מומלץ לפיכך, להגדיר 2 דברים מהותיים:
- לאן אסור לזחלן להיכנס באתר (חסימה של תיקיה או דף ספציפי).
- לאן מותר לזחלן להיכנס ולסרוק.
הנושא השלישי ואולי החשוב מאוד בקובץ דיי בסיסי זה הוא הוספת מפת האתר מתחת להנחיות שאנחנו שמים לזחלן שנכנס וקורא את הקובץ (הרחבה תמצאו לקראת סוף פוסט זה).
כלי לחסימה לסריקה? לא תמיד!
שימו לב עכשיו למה שאני כותב כי זה עלול להתהפך עליכם, ולא בגלל שלא הייתם בסדר!
הזחלן של גוגל, יקרא ויציית לפקודות הנקובות בקובץ robots.txt. אך עם זאת, תמיד חשוב לקחת בחשבון כי ישנם גם לא מעט זחלנים עוינים, אשר יכולים להתעלם מהפקודות בקובץ זה, ואשר יכולים כן לסרוק תיקיות שלמות באתר- גם ולמרות שאסרתם זאת במפורש!
לכן, חשוב מאוד לפעמים לחסום את הדף או התיקיה בקובץ robots מצד אחד, וגם ניתן לחסום את הדף לסריקה באמצעות הוספת תגית noindex, שהמטרה שלה היא למנוע סריקה של דפים חשובים או דפי כסף שאליהם אתם מפנים לקוחות משלמים ועוד.
מבנה בסיסי של קובץ robots.txt
בהיותי מנהל אתרים של לא מעט אתר וורדפרס, אני נעזר בתוסף הקידום של יוסט, שבו אני מייצר את הקובץ. ברוב המקרים המבנה הבסיסי כבר מוכן בתבנית של יוסט וכל מה שצריך לעשות זה להפעיל אותה, אך למרות הכול אציג בפניכם כיצד צריך להיראות קובץ רובוטס של כל אתר וורדפרס.
להלן המבנה באתר שלי:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yanshufseo.co.il/sitemap_index.xml
הערות חשובות הקשורות לעדכון התוכן המועיל
עדכון התוכן המועיל שהתחיל להתגלגל באוגוסט 2022 ובישראל מחודש נובמבר 2022 גרם ללא מעט אתרים לירידות הקשורות למאפיינים שעליהם גוגל מתמקדים בעדכון הזה.
אחד הנושאים שלמדתי הן מהסיכום שיחה עם עומר שוובל מכל יום, והן התובנות האישיות שלי, היא שאתרים שיש להם קבצי PDF סרוקים, הם אתרים המועדים לפורענות ולפגיעה מצד גוגל.
זיכרו, גוגל יודע לקרוא קבצי PDF וגם להבין אותם. אם הם מאונדקסים ואין אליהם כניסות (לדוגמה הקלקות על הקישור למסמך), גוגל מתייחס אליהם כאל תוכן לא מועיל. מכאן, הדרך לענישה וירידה בדירוגים יכולה להיות מאוד מהירה ואכזרית, על משהו שהוא יכול להתפרש כשולי ואולי אפילו טיפשי…
חסימת קבצי PDF לסריקה באמצעות רובוטס
לאחד מלקוחותיי יש לא מעט קבצי PDF. עוד טרם עדכון התוכן המועיל, הגעתי למסקנה שהדרך הטובה ביותר למצות את הפוטנציאל הטמון בקבצים אלה יהיה באמצעות הצגתם בצורה מעט שונה לגולש בדפי האתר. מצד שני לא רציתי לוותר על הקבצים האלה ולכן חיפשתי דרך שבה אוכל לחסום לסריקה את הקבצים הללו.
בסיכומו של דבר לאחר לא מעט חיפושים, מצאתי פקודה פשוטה החוסמת לסריקה באמצעות קובץ הרובוטס את הסריקה של כל קבצי הPDF באתר הלקוח.
זה שירת את הלקוח בצורה טובה ומנע מפלה שהיתה יכולה להגיע בעקבות עדכון התוכן המועיל שהתחיל להתגלגל בחודש נובמבר 2022.
הפקודה לחסימת קבצי PDF אם תהיתם היא דיי פשוטה:
Disallow: *.pdf
דרך חסימה נוספת באמצעות תוסף יוסט
יש לכם דף או פוסט שאתם לא רוצים שגוגל יסרוק מסיבות שונות ומשונות? זה פשוט וקל
ועכשיו אדגים לכם כיצד ניתן לעשות זאת באמצעות תוסף הקידום המעולה והפופולארי- Yoast.
- היכנסו לדף שאתם רוצים שלא ייסרק
- גללו למטה עד שתגיעו לתוף יוסט
- לחצו על מתקדם\ advanced
- תחת השאלה האם לאפשר למנועי חיפוש להציג פוסט \דף בתוצאות החיפוש שנו את התשובה ל- לא
- תחת השאלה האם מנועי חיפוש צריכים לעקוב אחרי הקישורים בפוסט\דף- לחצו על לא או No.
- לסיום לחצו על עדכון של העמוד\פוסט וזהו- יש לכם חסימה לסריקה של גוגל.
הערה אחרונה וחשובה לגבי מפת אתר בקובץ זה
אם התבוננתם היטב בפקודות הבסיסיות שהצעתי לכם להעלות לאתר שלכם בקובץ, בוודאי שמתם לב לשני דברים. הראשון יש חסימה לסריקה של wp-admin. הסיבה לכך נעוצה בעובדה שאנחנו לא מעוניינים שגוגל יסרוק את האזור שבו אנו מזינים את הסיסמאות.
החלק השני מתמקד במפת אתר. מדוע חשוב שתופיע מפת אתר בקובץ הזה?
זוכרים שזה הקובץ הראשון שאליו פונה הזחלן כשהוא בא לסרוק את האתר? עכשיו אם הזחלן כבר בא לבדוק מה אסור ומה מותר, למה שלא נפנה אותו ישירות למפת האתר שלנו ושיתחיל לסרוק את האתר? הרעיון הוא להגיש על מגש של זהב, את מפת האתר- ולעודד את הזחלן כבר לסרוק לנו את האתר על בסיס המפה.
יש לכם שאלות? צריכים עזרה? צרו קשר או התקשרו לנייד 054-6814325 ואשמח לעזור.
אהבתם את התוכן? אודה לכם אם תעשו לייק תדרגו ותשתפו- זה עוזר לי לגדול ולייצר עוד תכנים איכותיים בבלוג.
