JimmyOS

    קובץ רובוטיםRobots.txt

    1 דק׳ קריאה מונח #203

    קובץ טקסט ב-yourdomain.com/robots.txt שמורה לבוטים אילו עמודים לסרוק ואילו לא. Allow/Disallow לפי נתיב. אחד הכלים הבסיסיים ב-SEO טכני.

    1

    מה זה אומר לי בפועל

    Robots.txt הוא ה-'שוטר בכניסה' לאתר. אתם אומרים לגוגל: 'כן לסריקת מוצרים ובלוג, לא לסריקת Admin ולFaceted Navigation'. בחנויות גדולות — Robots.txt חוסך Crawl Budget יקר ומפנה אותו לתוכן שחשוב לדרג.
    2

    הקשר לשאר המונחים

    • Crawl Budget: Robots.txt שומר על Crawl Budget
    • Sitemap: Robots.txt מציין מיקום Sitemap
    • Technical SEO: Robots.txt = כלי טכני בסיסי
    • Index Coverage: Robots.txt משפיע על מה שנאנדקס
    3

    מה אנשים מבינים לא נכון

    'Disallow = הדף לא יאונדקס'. שגוי. Disallow מונע סריקה, לא אינדוקס. דף שNot Allowed בRobots.txt עדיין יכול להאנדקס אם יש קישורים אליו מאתרים אחרים. לחסימת אינדוקס — noindex Meta Tag, לא Robots.txt.
    4

    מה עושים כשמשהו משתבש

    שגיאות ב-Robots.txt? (1) GSC → Robots Testing Tool — בדקו שהקובץ תקין, (2) בדקו שלא חסמתם בטעות דפים חשובים (קרה לכמה חנויות שחסמו את כל האתר), (3) Verify: /robots.txt ב-דפדפן — קריא ונכון? (4) Googlebot עשוי להתעלם מRobots.txt — noindex = אמין יותר לחסימה.
    5

    דוגמה מהחיים

    חנות אלקטרוניקה: Robots.txt חסם בטעות /product/ (אמורים לחסום רק /product/filter/). גוגל הפסיק לסרוק דפי מוצר. Organic Traffic ירד 60% בחודש. GSC → Index Coverage גילה הבעיה. תיקון + Re-crawl Request: שחזור 8 שבועות.
    6

    סדר עדיפויות ועיתוי

    בדקו Robots.txt מיד אחרי Site Launch וכל פעם שמשנים URL Structure. הכלל: אל תחסמו מה שלא הכרחי. בחנויות גדולות: חסמו Faceted Navigation + Admin + Internal Search Results.

    מונחים קשורים

    המשך ללמוד: מדדים שנוגעים באותו תחום:

    ג'ימי עוקב אחרי קובץ רובוטים שלך, אוטומטית

    התראות בוואטסאפ כשמשהו חשוב משתנה. בלי דאשבורדים, בלי התעסקות.

    התחל בחינם