Čo je Crawl rate limit
Crawl rate limit (po slovensky limit rýchlosti prechádzania) je termín z oblasti SEO a indexácie, ktorý označuje technické obmedzenie počtu požiadaviek, ktoré môže vyhľadávací robot (napr. Googlebot) uskutočniť na webe v priebehu určitého času.
Zmyslom je zabrániť tomu, aby robot preťažil server, na ktorom je daný web umiestnený, príliš častým prechádzaním stránok.
Google sa preto snaží udržiavať rovnováhu medzi čo najrýchlejším prechádzaním webu a zachovaním jeho dostupnosti pre reálnych používateľov.
Ako crawl rate limit funguje
Vyhľadávače pri prechádzaní sledujú odozvu serveru. Ak web reaguje rýchlo a bez chýb, robot môže zvýšiť rýchlosť prechádzania. Ak je server preťažený alebo vracia chyby (napr. 5xx), robot zníži crawl rate, aby server odľahčil.
Hlavné faktory:
- kapacita a výkon serveru
- doba odozvy pri načítaní stránok
- počet chybových kódov, ktoré robot obdrží
- nastavenie v Google Search Console (predtým bolo možné crawl rate čiastočne obmedziť)
Ako crawl rate limit optimalizovať
Hoci crawl rate limit nie je možné priamo „nastaviť“ (Google si ho určuje automaticky), správnou správou webu môžete zabezpečiť, aby robot prechádzal web čo najefektívnejšie.
- Optimalizujte rýchlosť načítania webu (cache, CDN, kompresia obrázkov – tu je návod).
- Zabezpečte si stabilný a výkonný webhosting.
- Minimalizujte chyby 5xx a 404, ktoré robotom signalizujú problémy.
- Udržiavajte čistý odkazový profil a logickú štruktúru webu.
- Používajte sitemap.xml na uľahčenie navigácie robotom.