Első ötlet:
Készíthetsz egy szerver oldali scriptet, amely valamelyik oldal látogatásakor lefut, aktuális időtartományban újra és újra megváltoztatja (felülírja) a robots.txt tartalmát. Időközönként különböző robotokat tiltasz.
Második ötlet:
.htaccess: http://www.askapache.com/htaccess/apache-htaccess.html

(Sajnos, a robotok látogatási idejét nem lehet időzíteni, azt is vedd figyelembe, hogy látogatási idejük kiszámíthatatlanul változó.)

Hany processzoros a gep? Mekkora az atlagos terheltseg? Ha atlagos a terheles akkor mennyi oldal jut pl 10 percre? Mennyivel no meg ez, ha jonnek a robotok? Mi okozza a loadot? Mysql, php, vagy az apacs? Esetleg eppen akkor fut valami cronbol, es ez okozza a bajt? A robots.txt -t nem babralnam, egy robot egyszer olvassa fel a crawl elott, tehat eleg kitilthatsz hosszu idore olyan robotokat amiket nem szeretnel. En inkabb alkalmazas szinten keresgelnek…

nem értem milyen érték van 10 felett, na és ha egyszerre mennek? az apache nem jól van beállítva és DOS-olja a gépet ? ahogy a kolléga is kérdezi előttem, milyen gép ez egyáltalán?

Újabb (legalább 2) keresőrobottal bővült a szerverre egyszerre „látogatók” száma… egyre rosszabb.

dotmind: 1 db 1 magos CPU (eddig bőven elég volt ez is), az átlagos terheltség 0.00 és 0.10 között van, nem sok weboldal van a szerveren (50 körül), és igazából ez a vas eddig bőven elég is volt, mert nem nagy látogatottságú oldalak vannak a gépen. Amikor korábban jött egy-egy keresőbot, akkor sem ment feljebb a terheltség általában 0.40-nél, éjjel a biztonsági mentésnél szokta picit túllépni a terheltség az 1.00-s értéket. Hogy 10 percre mennyi oldal jut, az ugye napszaktól függő, van amikor csak néhány oldal és van, amikor (mondjuk tegnap este 8 után) 30-35 oldal / 10 perc. Szóval (szerintem) minimális.

Mostanában megérkeznek egyszerre a keresőrobotok (náhány perc eltéréssel) és szépen elindul felfelé a terheltség, egészen 10-11-ig, és ha elmennek a „kedves” botok, akkor is jóval 5 felett marad. Egyértelműen az apache miatt magas a terheltség, olyankor több szálon fut, és csak egy apache restart (csak a restart, a reload nem) oldja meg a problémát. Cron-ból nem fut semmi olyankor, mysql is teljesen normálisnak tűnik.

Ez a jelenség csak a keresőrobotos „támadás” óta van, azelőtt nem volt ilyen gond.

vector: az uptime / top / htop-nál mutatott értékekre gondolok a terheltségi értékeknél… elfogadom, hogy az apache nem jól van beállítva, de ezzel most így kapásból nem tudok mit kezdeni, mert még sosem találkoztam ezzel a jelenséggel.

Én sem a robots.txt-t piszkálnám, úgy gondolom, hogy az apache-al kellene valamit kezdenem… csak megint nem akarom elhinni, hogy egyedül én futok bele ebbe a problémába, és gondoltam, hogy lesz, aki kapásból megmondja, hogy „na fiam ezt itt is itt nem jól állítottad be…” 🙂

Bocs, butaságot írtam, mert nem csak olyankor fut több szálon az apache, hanem máskor is, csak máskor nem terheli le a szervert.