Látja a ChatGPT a weboldaladat? Így ellenőrizd 5 perc alatt

Miért nem látják az AI-robotok a weboldaladat?

Szeptemberben kilenc ügyféloldalunkon mértük meg, mit lát belőlük a ChatGPT, a Perplexity és a Claude. Mind a kilencen ugyanazt találtuk: a szerveren működő robotvédelem ezeknek az AI-szolgáltatásoknak a robotjait is kizárta. A robot 403-as választ kapott, vagyis a szerver nem mutatta meg neki az oldalt. A Google robotja közben gond nélkül átjutott, ezért a Google-keresőben minden rendben látszott.

Ez a védelem jó szándékú és hasznos. A tárhelyek azért szűrik a robotokat, mert az interneten rengeteg kártékony robot jár: tartalmat másolnak, sebezhetőséget keresnek, vagy egyszerűen túlterhelik a szervert. A szűrő ezeket a nevük alapján tartja távol. Csakhogy ugyanez a szűrő az AI-szolgáltatások robotjait is megfoghatja, és erről sem hibaüzenet, sem értesítés nem szól. Az oldal a böngészőben tökéletesen működik, ezért ezt mi sem vettük észre, amíg külön meg nem mértük.

Ha viszont valaki a ChatGPT-től kérdezi meg, melyik céget válassza, és az AI nem tudja elolvasni az oldaladat, ajánlani sem fogja.

Mely AI-robotok maradnak kint és miért nem mindegyik?

Fontos pontosítás: a tiltás nem minden AI-robotot érintett. Egy AI-szolgáltatásnak általában több robotja van, és a tárhely ezeket név szerint szűri. Nálunk például a ChatGPT keresőjének robotja (OAI-SearchBot) átjutott, de az a robot, amelyik akkor nyitja meg az oldalt, amikor egy felhasználó konkrétan rákérdez (ChatGPT-User), már nem. A Perplexity és a Claude robotjai közül is volt, amelyik kint maradt. Az oldal tehát részben látszott, részben nem, és ez kívülről szinte lehetetlen észrevenni.

Sokan elsőre a robots.txt fájlt írnák át. Ez itt nem segít: a robots.txt a weboldal saját szabálylistája a robotoknak, a tiltás viszont előbb történik, a szerver kapujában. A robot el sem jut odáig, hogy a robots.txt-t elolvassa.

Hogy lásd, miről van szó, ezek a legfontosabb AI-robotok, és mire valók:

• ChatGPT-User: ez nyitja meg az oldalt, amikor valaki a ChatGPT-ben rákérdez vagy linket ad meg. Ha ez kint marad, a ChatGPT a beszélgetésben nem tudja elolvasni az oldaladat.
• OAI-SearchBot: a ChatGPT keresőjének robotja, ez gyűjti az oldalakat a keresési találatokhoz.
• GPTBot: az OpenAI ezzel gyűjt szöveget a modelljei tanításához.
• PerplexityBot és Perplexity-User: a Perplexity keresője és a felhasználói kérésre megnyitott oldalak.
• ClaudeBot és Claude-SearchBot: az Anthropic Claude modelljének robotjai, a tanításhoz és a kereséshez.

Nem kötelező mindet beengedni. Vannak cégek, amelyek tudatosan kizárják a tanításra gyűjtő robotokat, de a keresőket és a felhasználói kérésre érkezőket beengedik, mert ezek hoznak látogatót. Ez üzleti döntés, és az a lényeg, hogy tudatosan hozd meg.

Hogyan ellenőrizheted az AI-láthatóságot 5 perc alatt?

Az alábbi próbához nem kell műszaki tudás, és tényleg öt perc.

1. Kérd meg a ChatGPT-t, hogy nyissa meg és foglalja össze egy aloldaladat. Ne a főoldalt add meg, hanem egy konkrét aloldal teljes címét, például a szolgáltatásaidét, és írd mellé: „Nyisd meg ezt az oldalt, és foglald össze, mi van rajta.”
2. Figyeld, mit válaszol. Ha pontosan összefoglalja azt, ami az oldalon van, a robotja eléri az oldalt. Ha azt írja, hogy nem tudja megnyitni, vagy csak általánosságokat mond a cégedről, gyanakodj tiltásra.
3. Kérd meg a fejlesztődet a biztos mérésre. Ő egyetlen paranccsal megnézi, mit válaszol a szerver, ha az AI-robotok nevében kérik le az oldalt. Ez a próba már nem találgatás: megmutatja, melyik robot jut át és melyik nem.

Ha kíváncsi vagy, mit csinál a fejlesztő: lekéri az oldalt úgy, mintha ő maga lenne az AI-robot, és megnézi a szerver válaszát. Ha a válasz 200, a robot látja az oldalt. Ha 403, a szerver kizárja. Ezt robotonként érdemes megnézni, mert ahogy fent láttuk, az egyik átjuthat, a másik nem. Ugyanígy a főoldal és egy aloldal is viselkedhet eltérően, ezért legalább kettőt mérjen.

Mit kérj a tárhelyszolgáltatódtól?

Ha a mérés tiltást mutat, és neked fontos, hogy az AI is lássa az oldaladat, kérd a tárhelyszolgáltatódtól, hogy a te domainedre kapcsolja ki ezt a robotszűrést, vagy engedje át az AI-robotokat. Nevezd meg őket: ChatGPT-User, OAI-SearchBot, GPTBot, PerplexityBot, ClaudeBot.

Annál a tárhelynél, ahol mi találkoztunk ezzel, a beállítás domainenként kérhető volt, és a módosítás után percek alatt hatott. Más szolgáltatónál ez eltérhet, ezért a kérés után mindig mérd vissza: ismételd meg a ChatGPT-s próbát, vagy kérd meg a fejlesztődet, hogy futtassa le újra a mérést.

Fontos: ha a szűrő kikapcsol, a védelmet a weboldalnak kell átvennie. A szerver ezután a kártékony robotokat sem tartja vissza ugyanúgy, ezért a weboldal saját biztonságára nagyobb figyelem kell. A gyakorlatban ez rendszeres frissítést jelent (WordPress, bővítmények, téma), egy jól beállított biztonsági bővítményt, amely korlátozza a túl sok kérést és a belépési próbálkozásokat, erős jelszavakat kétlépcsős belépéssel, és rendszeres mentést. Ha ez megvan, a robotszűrés kikapcsolása nem jelent érdemi kockázatot.

Ha bizonytalan vagy, egy köztes megoldás is jó lehet: kérd, hogy csak azok a robotok jussanak át, amelyek a felhasználóknak keresnek (ChatGPT-User, OAI-SearchBot, PerplexityBot, Claude-SearchBot), a többit a szűrő továbbra is fogja meg.

A próbát akkor is érdemes megismételni, ha később változik valami a háttérben. Tipikusan ilyen a tárhelyváltás, egy új biztonsági bővítmény telepítése, vagy ha valaki bekapcsolja a Cloudflare-hez hasonló szolgáltatások robotvédelmét. Ezek közül többnek van külön kapcsolója az AI-robotok kitiltására, és frissítéskor vagy átköltözéskor az alapbeállítás visszaállhat. Egy félévente megismételt ötperces próba elég ahhoz, hogy időben észrevedd.

Miért fontos az AI-láthatóság a weboldalad számára?

Az, hogy a robot eléri az oldalt, csak az első lépés. Az AI akkor idézi szívesen a weboldaladat, ha könnyű belőle pontos választ kiolvasni. Három dolog segít a legtöbbet:

• Egyértelmű válaszok. Írd le világosan, mit csinálsz, kinek és hol. Ha valaki megkérdezi, „ki készít weboldalt Budapesten”, az AI olyan oldalt idéz, amelyik ezt egy mondatban kimondja.
• A cégadatok egy helyen. Név, cím, telefonszám, nyitvatartás ugyanúgy szerepeljen az oldaladon, mint a Google-cégprofilodon.
• Gyakori kérdések szekció. A kérdés-válasz formát az AI könnyen fel tudja dolgozni, és gyakran szó szerint ebből idéz.

Mindez nem helyettesíti a jó weboldalt, hanem ráépül. Ugyanaz segít az AI-nak, ami a látogatónak: rövid, világos mondatok, egyértelmű szolgáltatás-oldalak, és olyan információ, amit nem kell három menüponton át keresni.

Mit tegyél most, hogy javítsd az AI-láthatóságot?

Ha az ötperces próba után bizonytalan vagy, vagy kiderült, hogy az oldaladat az AI nem látja, kérj tőlünk egy ingyenes AI-láthatóság felmérést. Megmérjük, melyik AI-robot éri el az oldaladat, és megírjuk, mit kell kérned a tárhelyedtől. A felmérés ingyenes, és nem kötelez semmire.

Ha az oldalad tartalmán is javítanál, hogy az AI szívesebben idézze, kérj ajánlatot.