Върнете се към BgLOG | Профил | Публикации
всички ключови думи
Преди малко бяха отворени 10 000 страници едновременно. Утре ще ги излекуваме, честна пионерска.
Ако регистрирате бглог.нет.партия, можете да я закачите при общностите и много бързо ще си набавим 1000 подписа. Българина е сейрджия човек, ще му пуснем малко чалга, ще спретнем едно комшииско скарване и ще обещаем
А за проблема с роботчетата не се притеснявайте, защото аз през деня ще съм в извънградско пътешествие, но за вечерта не мога да проявявам търпение, защото от един месец не гледам телевизия и.........да не обяснявам.
Диди, ами забрави другата благинка, която винаги се обещава на електората - КЕБАБЧЕТА (ако може на корем)!
Даааа, те винаги вървят с пийката.
professor, ще се оплача на Гуглата, много дребни ги е пуснала, тия кебапчета, бе. Това да не е заради световнара криза. Бива, бива криза, ама толкова не бива...и Гуглата намали дажбите...
Знаеш ли, Диди, колко време издирвах по-богата порция, ама не-е-ема!
Те това е! Има една по-богата чиния, ама не са наши родни, а сръбски - кебабчичи! Но..... - изберете българското!
Това е, брато, криза! :-)))
User-agent: *Disallow: /или User-agent: *Crawl-delay: Висока стойност в секунди в robots.txt помага.ако това е случая.
или
User-agent: *Crawl-delay: Висока стойност в секунди в robots.txt помага.ако това е случая.
в robots.txt помага.
ако това е случая.
Ако още ви тормозят:
Disallow: /Disallow: *Disallow: *.*Disallow:/*Disallow:/*.*и каквото още се сетите.Crawl-Delay не пропускайте, ефективно гони нагли роботи.
Лошото е, че с този файл се съобразяват само добрите ботове. Лошите, които правят огромен брой заявки в секунда - даже не го поглеждат.
Друг е начина, но е дълго за обясняване и доста техническо. Казано просто, имаме нужда от линия на отбрана - включва от bot-trap до автоматична временна ban-list за ботове които си позволяват повече.
А за карането тук, аз едно нещо знам от баба ми, в семейство дето не се карат, не се обичат.
Успех с напастта!
Клопките за лоши ботове се правят по следният начин - слагаш някъде по страницата, обикновенно след Н-тия скрол, прозрачен pixel.gif като го правиш линк към страницата клопка. В същото време описваш тази страница в Disallow на роботс.тхт. Така некултурните роботи, които не се събразяват с disallow виждат линка и му се нахвърлят, а ти си ги логваш на специалната страница и ги вкарваш в бан листата. Шанса да попадне човек там е много малък, защото да видиш линк направен от прозрачна картинка с големина един пиксел, сложена на линията на видимост на сайта долу, си е направо невъзможно. Има много вариации, щото туй си е война, но на кратко туй.
За автоматичната бан листа на база на рикуести, общо взето логваш разни параметри на рикуеста и ако те надминат дадена граница, зачисляваш печелившия към листата на баннатите. Ако някой от таз листа се опита да направи рикуест в рамките на определен период - ден, седмица или месец или му се връща access denied или за да си по отвратителен му връщаш текст който е абсолютно безмислен и загатва на Гугъл, че сайта който обслужва този робот трябва да се накаже. Модераторите на тези сайтове, печелят месец разглеждане за да отделят смисления от безмисления текст, и правото да те псуват през това време. Война, какво да правиш.
Темата е интересна, много приложима за модерният политически живот, което след около година -две ще покажа с едно хитро нещичко. Просто не е тук мястото.
Само че не ви ли надува листата или firewall-а до неизползваемост в даден момент ( сървъра "мисли" много кой е в нея ).
Ако все още ви атакуват и ако искаш ще помисля за още решения.
Врял и кипял съм с к`ви ли не атаки, още от времената на дивия интернет, когато не беше незаконно да си напишеш името на нечий front page :)
Искам да кажа, ако ви трябват combat volunteers, се записвам на страната на BGLog :)
За листата - RegEx-a е доста бърз, особено ако файла е в паметта, както и принципно там се пазят данни само за определен период назад, защото често лошите ботове си сменят адресите почти всеки ден и рядко ползват стари.
Работата да не е заяк да избяга хахахахахахахааа :D
Ей що няма емотикони тука ве, сега ми се отвориха очите, след неколкомесечно отсъствие ?
Регистрирай се сега за да коментираш и за да не изпускаш най-новото в общността. Ще се радваме да видим твои публикации тук!