האם ChatGPT, Claude ו-Perplexity יכולים לקרוא את האתר שלכם
מדביקים כתובת, ורואים מה robots.txt ותגי robots בדף מרשים לכל סורק של מנועי AI וחיפוש, והאם יש llms.txt.
התוצאה
הדביקו כתובת ולחצו לבדוק
נבדקים robots.txt, תגי robots בדף, ו-llms.txt.
אחרי הבדיקה תופיע כאן הרשימה המלאה: הסורקים, תגי robots ו-llms.txt.
חיפוש ותשובות
חסימה כאן אומרת לסורק החיפוש של המנוע לא לקרוא את הדף.
- OAI-SearchBotOpenAIלא נבדק
קובע אילו אתרים מופיעים בחיפוש של ChatGPT
- Claude-SearchBotAnthropicלא נבדק
סורק את הרשת כדי לשפר את תוצאות החיפוש של Claude
- PerplexityBotPerplexityלא נבדק
מציג ומקשר אתרים בתוצאות החיפוש של Perplexity
- GooglebotGoogleלא נבדק
הסורק של חיפוש Google. דף שלא נכנס לחיפוש לא יופיע גם כקישור ב-AI Overviews
- bingbotMicrosoftלא נבדק
הסורק של חיפוש Bing
כניסה כשמשתמש שואל
הסורקים האלה נכנסים לדף רק כשמשתמש שואל שאלה שדורשת אותו.
- ChatGPT-UserOpenAIלא נבדק
נכנס לדף כשמשתמש שואל את ChatGPT. לפי OpenAI, כללי robots.txt לא תמיד חלים עליו
- Claude-UserAnthropicלא נבדק
נכנס לדף כשמשתמש שואל את Claude שאלה שדורשת אותו
- Perplexity-UserPerplexityלא נבדק
נכנס לדף כשמשתמש שואל את Perplexity. לפי Perplexity, בדרך כלל הוא לא פועל לפי robots.txt
אימון מודלים
חסימה כאן היא בחירה של בעל האתר. לחיפוש יש לכל חברה סורק נפרד, ברשימה למעלה.
- GPTBotOpenAIלא נבדק
אוסף תוכן שעשוי לשמש לאימון המודלים של OpenAI
- ClaudeBotAnthropicלא נבדק
אוסף תוכן שעשוי לשמש לאימון המודלים של Anthropic
- Google-ExtendedGoogleלא נבדק
קובע אם תוכן ישמש לאימון Gemini ולעיגון תשובות. לפי Google, לא משפיע על ההופעה בחיפוש ולא על הדירוג
תגי robots בדף
לא נבדק
llms.txt
לא נבדק
מפת אתר ב-robots.txt
לא נבדק
פתוח לסורקים לא אומר שמצטטים אתכם. בבדיקה המהירה הצוות מריץ את שאלות הקנייה של העסק ב-ChatGPT (דרך Bing) וב-Google AI Overviews, ועמוד תוך 2 ימי עסקים.
שאלות
מה הבדיקה עושה, ומה לא
מקורות: OpenAI, Overview of OpenAI Crawlers · Anthropic, האם Anthropic סורקת את הרשת · Perplexity Crawlers · Google, common crawlers · Google, AI features and your website · RFC 9309, Robots Exclusion Protocol · llmstxt.org. נקראו ב-3.11.2026.
מה הבדיקה קוראת?
שלושה קבצים ציבוריים, כמו שסורק קורא אותם: robots.txt של האתר, הדף עצמו (תגי robots בקוד ובכותרות), ו-llms.txt. היא לא נכנסת לשום אזור סגור ולא שומרת את התוכן.
פתוח ב-robots.txt אומר שאני מופיע בתשובות?
לא. זה אומר רק שהסורק רשאי לקרוא את הדף. מי מצוטט בפועל כשלקוח שואל, בודקים בשאלות עצמן. את זה עושה הבדיקה המהירה.
למה הסורקים מחולקים לשלוש קבוצות?
כי לכל חברה יש כמה סורקים לשימושים שונים: חיפוש, כניסה כשמשתמש שואל, ואימון מודלים. אפשר לחסום אימון ולהשאיר חיפוש פתוח, וזו החלטה של בעל האתר.
מה זה llms.txt?
קובץ שמציע למודלים סיכום של האתר. זו הצעה פתוחה מ-2024 (llmstxt.org), לא תקן של מנועי החיפוש, ולכן הבדיקה רק אומרת אם הוא קיים.
מה עוד יכול לחסום סורקים?
חסימה שקורית מחוץ לקבצים: חומת אש או שירות CDN שחוסמים סורקים לפי כתובת או לפי זיהוי. אם האתר חוסם גם אותנו, תופיע הודעה שלא הצלחנו להגיע אליו.
בודקים איפה העסק שלכם מופיע
מראים מה זז, עם תאריך לכל שינוי.