Nem felejtettem el a botokat, számoltam velük, csak arra nem számítottam, hogy egyszerre jön az összes… Szerintem ez máshol is problémát okozna kisebb szervereken. Eddig is jöttek, csak nem egyszerre és huszad ennyire nem lassították le a rendszert. Mennyire általános ez, hogy egyszerre ennyi keresőrobot jöjjön mindig egy időben egy adott szerverre?

A tippeket azért köszi, természetesen keresem tovább a probléma forrását. Nem hinném, hogy egy adott PHP szkripttel lenne gond, mert a botok nem mindig ugyanazon az oldalon „landolnak”, amikor a szerverre érkeznek, mégis egy-két szóból felmegy a load…

Azért akinek van tapasztalata / ötlete még, leírhatná, nem akarok eljutni a 145736-os tippig gabaman listáján. 🙂

Bocs, butaságot írtam, mert nem csak olyankor fut több szálon az apache, hanem máskor is, csak máskor nem terheli le a szervert.

Újabb (legalább 2) keresőrobottal bővült a szerverre egyszerre „látogatók” száma… egyre rosszabb.

dotmind: 1 db 1 magos CPU (eddig bőven elég volt ez is), az átlagos terheltség 0.00 és 0.10 között van, nem sok weboldal van a szerveren (50 körül), és igazából ez a vas eddig bőven elég is volt, mert nem nagy látogatottságú oldalak vannak a gépen. Amikor korábban jött egy-egy keresőbot, akkor sem ment feljebb a terheltség általában 0.40-nél, éjjel a biztonsági mentésnél szokta picit túllépni a terheltség az 1.00-s értéket. Hogy 10 percre mennyi oldal jut, az ugye napszaktól függő, van amikor csak néhány oldal és van, amikor (mondjuk tegnap este 8 után) 30-35 oldal / 10 perc. Szóval (szerintem) minimális.

Mostanában megérkeznek egyszerre a keresőrobotok (náhány perc eltéréssel) és szépen elindul felfelé a terheltség, egészen 10-11-ig, és ha elmennek a „kedves” botok, akkor is jóval 5 felett marad. Egyértelműen az apache miatt magas a terheltség, olyankor több szálon fut, és csak egy apache restart (csak a restart, a reload nem) oldja meg a problémát. Cron-ból nem fut semmi olyankor, mysql is teljesen normálisnak tűnik.

Ez a jelenség csak a keresőrobotos „támadás” óta van, azelőtt nem volt ilyen gond.

vector: az uptime / top / htop-nál mutatott értékekre gondolok a terheltségi értékeknél… elfogadom, hogy az apache nem jól van beállítva, de ezzel most így kapásból nem tudok mit kezdeni, mert még sosem találkoztam ezzel a jelenséggel.

Én sem a robots.txt-t piszkálnám, úgy gondolom, hogy az apache-al kellene valamit kezdenem… csak megint nem akarom elhinni, hogy egyedül én futok bele ebbe a problémába, és gondoltam, hogy lesz, aki kapásból megmondja, hogy „na fiam ezt itt is itt nem jól állítottad be…” 🙂

Köszönöm a válaszokat mindenkinek. Az utóbbi napokban elég sokat szerencsétlenkedtem ezzel a nettel, a linuxforum sem volt hosszabb ideig elérhető (?) de a következő megoldás született:

1.) félbevágott sörösdoboz a routernél a túloldalon (a korábban belinkelt videó alapján) 🙂
2.) beállítottam ide is egy routert, ez is mint ha erősítené még a jelet

Most így már sokkal jobb, de azért még mindig nem az igazi, vannak időszakok (főleg nappal), amikor semmi jel nincs 🙁
Csatornaátállítással próbálkoztam, át is kellett menni, és „kézzel” visszaállítani, mert rendesen kizártam magam… 🙂 Amúgy a csatornaváltás nem hozott eredményt.

Hát ennyi. Antennát erre az 1 max 2 hétre nem akarok venni, utána úgysem tudnám mire használni.

Köszi mégegyszer mindenkinek az ötleteket! 🙂

Sajnos mégsem ilyen egyszerű.

Ha PHP-ből az exec() vagy a passthru() függvényekkel akarom futtatni a su parancsot, akkor ezt írja ki:
su: terminálból kell futnia

Grrr…