התשובה הקצרה
Cloudflare חוסמת בוטים של AI לפי מה שהוגדר באתר: לפי התיעוד שלה אפשר לבחור פעולה נפרדת לחיפוש, לסוכנים ולאימון, ובאתרים חדשים ברירת המחדל היא לא לחסום. בבדיקת הקבצים הפומביים של 1,907 אתרים ישראליים כ-31% במדגם ישבו על Cloudflare, ורק בכ-3.8% נמצא בלוק חסימה שלה או הצהרת Content-Signal. לפי OpenAI, אתר שחסם את בוט החיפוש שלה לא יוצג בתשובות החיפוש של ChatGPT, ולכן בודקים את ה-robots.txt ואת ההגדרה.
גיליתם ש-Cloudflare יושבת על הדומיין שלכם, ועכשיו עולה השאלה אם ChatGPT יכול לקרוא את האתר. עצם השימוש ב-Cloudflare לא אומר שהבוטים חסומים. מה שקובע הוא ההגדרות באתר שלכם, וכדאי לבדוק בנפרד מה הן אומרות על חיפוש ועל אימון.
Cloudflare מאפשרת לקבוע מדיניות נפרדת לחיפוש, לסוכנים ולאימון
לפי התיעוד של Cloudflare, ההגדרה AI Crawler and Agent access policies מחלקת את פעילות הבוטים לשלוש התנהגויות. Search מתייחס לסורקים שאוספים או מאנדקסים תוכן כדי לענות על שאלות בהמשך. Agent מתייחס לפעילות אוטומטית בזמן אמת בשם אדם, למשל בוט של צ’אט ששולף מידע. Training מתייחס לסורקים שלוקחים תוכן לאימון מודלים, כולל סורקים שמשמשים גם לאימון וגם לחיפוש.
אפשר לבחור פעולה נפרדת לכל התנהגות: לחסום, לחסום בעמודים שיש בהם פרסומות, או לא לחסום. עבור Training קיימת גם אפשרות Disallow, שמעבירה הוראת אי-גישה דרך robots.txt. לפי Cloudflare, באתרים חדשים ברירת המחדל בכל ההתנהגויות היא לא לחסום. זה לא אומר דבר על ההגדרה שנבחרה באתר ותיק. את ההגדרה בודקים בלוח הבקרה של Cloudflare, תחת Security, אחר כך Settings, עם הסינון Bot traffic.
חסימת אימון אינה חסימת חיפוש
אם המטרה שלכם היא לאפשר למנוע AI למצוא מידע על העסק ולהשתמש בו בתשובות, בדקו קודם את מדיניות החיפוש. החלטה שלא לאפשר שימוש בתוכן לאימון היא שאלה נפרדת. גם בתוך עולם החיפוש, שם הקטגוריה Search ב-Cloudflare אינו תחליף לבדיקה של בוט מסוים: צריך לראות מה כתוב ב-robots.txt ומה מוגדר בלוח הבקרה.
לפי OpenAI, אתר שחסם את OAI-SearchBot לא יוצג בתשובות החיפוש של ChatGPT. זו סיבה טובה לבדוק חסימה של בוט החיפוש שלה, ולא להסתפק בשאלה הכללית ״האם חסמנו AI?״ פתיחת הגישה אינה הבטחה שהעסק יוזכר בתשובה. אחרי שהאתר פתוח לקריאה, יש גם שאלה נפרדת של איך מנועי AI בוחרים איזה עסק להזכיר.
ברוב האתרים שבדקנו לא הופיעה חסימה של בוט חיפוש
באוקטובר 2026 בדקנו קבצים של אתרי עסקים ישראליים, ו-1,907 אתרים נמדדו בהצלחה. כ-31% מהאתרים במדגם ישבו על Cloudflare, אבל רק ב-3.8% מכלל האתרים נמצא בלוק חסימה של Cloudflare או הצהרת Content-Signal. ב-1.3% נמצאה ב-robots.txt חסימה של לפחות בוט חיפוש אחד של מנוע AI, לעומת כ-5.1% שחסמו בוטי אימון. זה סבב מדידה אחד של מה שמופיע בקבצים, לא בדיקה חיה של השרת או מדידה של מה שמנועי AI עשו בפועל.
ההבדל בין המספרים חשוב: העובדה שאתר משתמש ב-Cloudflare אינה מספרת אם הוא חוסם חיפוש. גם הצהרת Content-Signal אינה כשלעצמה הוכחה שבוט חיפוש מסוים נחסם. כדי לענות על השאלה לגבי האתר שלכם, צריך לבדוק את ההוראות ואת ההגדרה שלו, לא להסיק מסקנה מהשירות שמופיע על הדומיין.
robots.txt מביע העדפה, אך אינו מחסום טכני בפני עצמו
לפי Cloudflare, הנחיות ב-robots.txt הן וולונטריות: חלק ממפעילי הסורקים עשויים להתעלם מהן. כש-Bot Preference Sync פועל, Cloudflare מוסיפה בראש הקובץ הנחיות שנגזרות מההגדרות, ואם אין קובץ היא יוצרת אותו. לכן הוראה שמופיעה שם יכולה להגיע מההגדרה ב-Cloudflare, ולא רק ממי שערך את קובצי האתר.
יש גם הבדל בין הוראה בקובץ לבין חסימה בקצה של Cloudflare. לפי התיעוד שלה, כשב-Training נבחר Disallow והסנכרון פועל, מתווספת חסימה בקצה, למעט סורקים משולבים שמשמשים גם לחיפוש. לכן קריאה של robots.txt היא נקודת התחלה טובה, אבל לא תחליף לשיחה עם מי שמנהל את Cloudflare.
מה עושים מחר בבוקר?
- פותחים בדפדפן את כתובת האתר שלכם בתוספת
/robots.txtומחפשים הוראות חסימה לבוטים של AI, במיוחד לבוטי חיפוש. - מבקשים מבונה האתר או ממי שמנהל את Cloudflare לבדוק מה מוגדר ב-AI Crawler and Agent access policies עבור Search, Agent ו-Training, והאם Bot Preference Sync פועל.
- אם אתם רוצים שמנועי AI יוכלו לקרוא את האתר לצורך תשובות, מוודאים שחיפוש אינו חסום. מחליטים בנפרד מה המדיניות הרצויה לגבי אימון.
- אם שיניתם את robots.txt עבור OAI-SearchBot, מחכים כ-24 שעות ובודקים שוב. לפי OpenAI, זה הזמן שיכול לקחת למערכות שלה להתאים את עצמן לעדכון.
- מריצים את הבדיקה החינמית לאתר כדי לראות אילו בוטים של AI חסומים ב-robots.txt, ומשווים את התוצאה להגדרות שבדקתם.
השורה התחתונה: אל תניחו ש-Cloudflare חוסמת את ChatGPT, ואל תניחו שהיא משאירה אותו פתוח. בדקו את מדיניות החיפוש באתר שלכם ואת ההוראות שמופיעות ב-robots.txt.
לשם גילוי: פריים לינק דיגיטל מוכרת שירותי נראות במנועי AI, ולכן יש לנו עניין בנושא.
בדיקת AI לאתר
האם ChatGPT רואה את האתר שלכם?
בדיקה חינמית שבודקת אם מנועי AI יכולים לקרוא את האתר, אם ברור מהאתר מי העסק, ומה לתקן קודם. תוך כמה שניות, בלי הרשמה.
מקורות
- Cloudflare: מדיניות הגישה של סורקי AI וסוכנים
- Cloudflare: הגדרת robots.txt מנוהל
- OpenAI: הסורקים של OpenAI ומה כל אחד מהם עושה
מספרים שמיוחסים לנו נלקחו מהמדידות של פריים לינק דיגיטל, בתאריכים שמצוינים בטקסט. איך אנחנו כותבים ובודקים: מדיניות העריכה.
על הכותב
אלמוג קינן הקים את פריים לינק דיגיטל, שבונה ומקדמת אתרי תוכן בעברית מאז 2016.
הוא מוביל את המדידה השבועית של החברה במנועי AI, ואת מדד הנראות הרבעוני שלה.