מה Cloudflare עושה לבוטים של מנועי AI, ואיך בודקים מה מוגדר באתר שלכם

אלמוג קינן

מייסד פריים לינק

פורסם 5 דקות קריאה

התשובה הקצרה

Cloudflare חוסמת בוטים של AI לפי מה שהוגדר באתר: לפי התיעוד שלה אפשר לבחור פעולה נפרדת לחיפוש, לסוכנים ולאימון, ובאתרים חדשים ברירת המחדל היא לא לחסום. בבדיקת הקבצים הפומביים של 1,907 אתרים ישראליים כ-31% במדגם ישבו על Cloudflare, ורק בכ-3.8% נמצא בלוק חסימה שלה או הצהרת Content-Signal. לפי OpenAI, אתר שחסם את בוט החיפוש שלה לא יוצג בתשובות החיפוש של ChatGPT, ולכן בודקים את ה-robots.txt ואת ההגדרה.

גיליתם ש-Cloudflare יושבת על הדומיין שלכם, ועכשיו עולה השאלה אם ChatGPT יכול לקרוא את האתר. עצם השימוש ב-Cloudflare לא אומר שהבוטים חסומים. מה שקובע הוא ההגדרות באתר שלכם, וכדאי לבדוק בנפרד מה הן אומרות על חיפוש ועל אימון.

Cloudflare מאפשרת לקבוע מדיניות נפרדת לחיפוש, לסוכנים ולאימון

לפי התיעוד של Cloudflare, ההגדרה AI Crawler and Agent access policies מחלקת את פעילות הבוטים לשלוש התנהגויות. Search מתייחס לסורקים שאוספים או מאנדקסים תוכן כדי לענות על שאלות בהמשך. Agent מתייחס לפעילות אוטומטית בזמן אמת בשם אדם, למשל בוט של צ’אט ששולף מידע. Training מתייחס לסורקים שלוקחים תוכן לאימון מודלים, כולל סורקים שמשמשים גם לאימון וגם לחיפוש.

אפשר לבחור פעולה נפרדת לכל התנהגות: לחסום, לחסום בעמודים שיש בהם פרסומות, או לא לחסום. עבור Training קיימת גם אפשרות Disallow, שמעבירה הוראת אי-גישה דרך robots.txt. לפי Cloudflare, באתרים חדשים ברירת המחדל בכל ההתנהגויות היא לא לחסום. זה לא אומר דבר על ההגדרה שנבחרה באתר ותיק. את ההגדרה בודקים בלוח הבקרה של Cloudflare, תחת Security, אחר כך Settings, עם הסינון Bot traffic.

חסימת אימון אינה חסימת חיפוש

אם המטרה שלכם היא לאפשר למנוע AI למצוא מידע על העסק ולהשתמש בו בתשובות, בדקו קודם את מדיניות החיפוש. החלטה שלא לאפשר שימוש בתוכן לאימון היא שאלה נפרדת. גם בתוך עולם החיפוש, שם הקטגוריה Search ב-Cloudflare אינו תחליף לבדיקה של בוט מסוים: צריך לראות מה כתוב ב-robots.txt ומה מוגדר בלוח הבקרה.

לפי OpenAI, אתר שחסם את OAI-SearchBot לא יוצג בתשובות החיפוש של ChatGPT. זו סיבה טובה לבדוק חסימה של בוט החיפוש שלה, ולא להסתפק בשאלה הכללית ״האם חסמנו AI?״ פתיחת הגישה אינה הבטחה שהעסק יוזכר בתשובה. אחרי שהאתר פתוח לקריאה, יש גם שאלה נפרדת של איך מנועי AI בוחרים איזה עסק להזכיר.

ברוב האתרים שבדקנו לא הופיעה חסימה של בוט חיפוש

באוקטובר 2026 בדקנו קבצים של אתרי עסקים ישראליים, ו-1,907 אתרים נמדדו בהצלחה. כ-31% מהאתרים במדגם ישבו על Cloudflare, אבל רק ב-3.8% מכלל האתרים נמצא בלוק חסימה של Cloudflare או הצהרת Content-Signal. ב-1.3% נמצאה ב-robots.txt חסימה של לפחות בוט חיפוש אחד של מנוע AI, לעומת כ-5.1% שחסמו בוטי אימון. זה סבב מדידה אחד של מה שמופיע בקבצים, לא בדיקה חיה של השרת או מדידה של מה שמנועי AI עשו בפועל.

ההבדל בין המספרים חשוב: העובדה שאתר משתמש ב-Cloudflare אינה מספרת אם הוא חוסם חיפוש. גם הצהרת Content-Signal אינה כשלעצמה הוכחה שבוט חיפוש מסוים נחסם. כדי לענות על השאלה לגבי האתר שלכם, צריך לבדוק את ההוראות ואת ההגדרה שלו, לא להסיק מסקנה מהשירות שמופיע על הדומיין.

robots.txt מביע העדפה, אך אינו מחסום טכני בפני עצמו

לפי Cloudflare, הנחיות ב-robots.txt הן וולונטריות: חלק ממפעילי הסורקים עשויים להתעלם מהן. כש-Bot Preference Sync פועל, Cloudflare מוסיפה בראש הקובץ הנחיות שנגזרות מההגדרות, ואם אין קובץ היא יוצרת אותו. לכן הוראה שמופיעה שם יכולה להגיע מההגדרה ב-Cloudflare, ולא רק ממי שערך את קובצי האתר.

יש גם הבדל בין הוראה בקובץ לבין חסימה בקצה של Cloudflare. לפי התיעוד שלה, כשב-Training נבחר Disallow והסנכרון פועל, מתווספת חסימה בקצה, למעט סורקים משולבים שמשמשים גם לחיפוש. לכן קריאה של robots.txt היא נקודת התחלה טובה, אבל לא תחליף לשיחה עם מי שמנהל את Cloudflare.

מה עושים מחר בבוקר?

  1. פותחים בדפדפן את כתובת האתר שלכם בתוספת /robots.txt ומחפשים הוראות חסימה לבוטים של AI, במיוחד לבוטי חיפוש.
  2. מבקשים מבונה האתר או ממי שמנהל את Cloudflare לבדוק מה מוגדר ב-AI Crawler and Agent access policies עבור Search, Agent ו-Training, והאם Bot Preference Sync פועל.
  3. אם אתם רוצים שמנועי AI יוכלו לקרוא את האתר לצורך תשובות, מוודאים שחיפוש אינו חסום. מחליטים בנפרד מה המדיניות הרצויה לגבי אימון.
  4. אם שיניתם את robots.txt עבור OAI-SearchBot, מחכים כ-24 שעות ובודקים שוב. לפי OpenAI, זה הזמן שיכול לקחת למערכות שלה להתאים את עצמן לעדכון.
  5. מריצים את הבדיקה החינמית לאתר כדי לראות אילו בוטים של AI חסומים ב-robots.txt, ומשווים את התוצאה להגדרות שבדקתם.

השורה התחתונה: אל תניחו ש-Cloudflare חוסמת את ChatGPT, ואל תניחו שהיא משאירה אותו פתוח. בדקו את מדיניות החיפוש באתר שלכם ואת ההוראות שמופיעות ב-robots.txt.

לשם גילוי: פריים לינק דיגיטל מוכרת שירותי נראות במנועי AI, ולכן יש לנו עניין בנושא.

בדיקת AI לאתר

האם ChatGPT רואה את האתר שלכם?

בדיקה חינמית שבודקת אם מנועי AI יכולים לקרוא את האתר, אם ברור מהאתר מי העסק, ומה לתקן קודם. תוך כמה שניות, בלי הרשמה.

מקורות

מספרים שמיוחסים לנו נלקחו מהמדידות של פריים לינק דיגיטל, בתאריכים שמצוינים בטקסט. איך אנחנו כותבים ובודקים: מדיניות העריכה.

על הכותב

אלמוג קינן

מייסד ומנכ"ל, פריים לינק דיגיטל

אלמוג קינן הקים את פריים לינק דיגיטל, שבונה ומקדמת אתרי תוכן בעברית מאז 2016.

הוא מוביל את המדידה השבועית של החברה במנועי AI, ואת מדד הנראות הרבעוני שלה.

עוד על פריים לינק דיגיטל

שאלות נפוצות

האם Cloudflare חוסמת את ChatGPT באתר שלי בלי שהגדרתי?
לפי התיעוד של Cloudflare, באתרים חדשים ברירת המחדל בחיפוש, בסוכנים ובאימון היא לא לחסום. אם מישהו שינה את ההגדרה, או אם הוגדרה חסימה בעבר, התוצאה תלויה במה שמוגדר באתר שלכם, ולכן בודקים את ההגדרה ואת קובץ ה-robots.txt.
האם חסימת בוטי אימון מונעת מהעסק להופיע בתשובות של ChatGPT?
לפי Cloudflare, חיפוש ואימון הן התנהגויות נפרדות עם פעולה נפרדת לכל אחת. לפי OpenAI, מה שמוציא אתר מתשובות החיפוש של ChatGPT הוא חסימת OAI-SearchBot, ולא חסימת בוטי אימון.
אם הגדרתי חסימה ב-robots.txt, האם בטוח שהבוטים לא ייכנסו?
לא. לפי Cloudflare, הנחיות robots.txt הן העדפה וחלק מהסורקים עשויים להתעלם מהן. הן אינן מונעות גישה ברמה הטכנית.

רוצים לדעת מה מנועי ה-AI אומרים על העסק שלכם?

נבדוק את השאלות שהלקוחות שלכם שואלים, בכמה מנועים ובכמה הרצות, ונראה מי מוזכר במקומכם. ללא עלות.

או כתבו לנו: hello@primelink.co.il