GoldenLine
Zaloguj się
Filip M.

Filip M. SmartBay.pl,
StarCode Systems

Temat: Blokowanie robotów w wyszukiwaniu.

Na jednej ze swoich stron mam własną wyszukiwarkę - takich jakich wiele na innych podstronach. Wyszukiwarka ta jest baaaardzo chętnie używana przez wszelkiego rodzaju roboty.

Pytanie - jak zablokować ową wyszukiwarkę robotom sieciowym?
Google, MSN, Yahoo można zablokować poprzez plik robots.txt - ale co z innymi robotami?
Jest to o tyle problematyczne, że wyszukiwarka non-stop działa - kilkanaście - kilkadziesiąt tysięcy wyszukiwań na dobę.

Czy z punktu widzenia SEO - warto blokować wyniki wyszukiwania?
Link do wypowiedziLink

konto usunięte

Temat: Blokowanie robotów w wyszukiwaniu.

captacha powiedzmy po 3 wyszukaniuPrzemysław R. edytował(a) ten post dnia 16.08.11 o godzinie 13:35
Link do wypowiedziLink
Filip M.

Filip M. SmartBay.pl,
StarCode Systems

Temat: Blokowanie robotów w wyszukiwaniu.

Też o tym myślałem.
Pytanie tylko czy blokując "pożyteczne" roboty (google, msn, yahoo) wyjdzie to na plus?
Link do wypowiedziLink

konto usunięte

Temat: Blokowanie robotów w wyszukiwaniu.

wg wytycznych google i tak nie możesz indeksować wyników wyszukiwania
Link do wypowiedziLink

konto usunięte

Temat: Blokowanie robotów w wyszukiwaniu.

Podłącz ten skrypcior.

http://bad-behavior.ioerror.us/
Link do wypowiedziLink
Filip M.

Filip M. SmartBay.pl,
StarCode Systems

Temat: Blokowanie robotów w wyszukiwaniu.

Mateusz J.:
wg wytycznych google i tak nie możesz indeksować wyników wyszukiwania

Wiem o tym, problem w tym, że wcale nie chce, żeby się "to" indeksowało. Nie linkuje wyników itp - a roboty wyszukują naprawde wymyślne frazy np:
ADAPTER VOIP GRANDSTREAM GXW4004 4xFXS
Drewniane dekoracyjne pudełko szkatułka Decoupage - Kwiaty

Z tego co obserwowałem konkurencyjne serwisy to nigdzie w wynikach wyszukiwania nie ma w meta tagach "noindex" itp.
Link do wypowiedziLink

konto usunięte

Temat: Blokowanie robotów w wyszukiwaniu.

Boty są bezmyślne. Dodaj drugie pole do formularza wyszukiwania tylko je schowaj. Zasada dalej prosta. Jak pole zostanie wypełnione to blokuj. Proste i skuteczne.
Link do wypowiedziLink

konto usunięte

Temat: Blokowanie robotów w wyszukiwaniu.

Dariusz Półtorak:
Boty są bezmyślne. Dodaj drugie pole do formularza wyszukiwania tylko je schowaj. Zasada dalej prosta. Jak pole zostanie wypełnione to blokuj. Proste i skuteczne.
Sprawdzony, działający skutecznie sposób.
Link do wypowiedziLink
Filip M.

Filip M. SmartBay.pl,
StarCode Systems

Temat: Blokowanie robotów w wyszukiwaniu.

Dariusz Półtorak:
Boty są bezmyślne. Dodaj drugie pole do formularza wyszukiwania tylko je schowaj. Zasada dalej prosta. Jak pole zostanie wypełnione to blokuj. Proste i skuteczne.

Pole to powinno byc typu hidden czy text (ale wizualnie ukryte)?
Link do wypowiedziLink

konto usunięte

Temat: Blokowanie robotów w wyszukiwaniu.

text - hidden'a łatwiej obejść.
Link do wypowiedziLink

konto usunięte

Temat: Blokowanie robotów w wyszukiwaniu.

Ja osobiście wolę pole typu hidden, którego wartość stanowi token wypełniany za pomocą JS (znany serwerowi). Przy okazji implementujemy sobie mechanizm, który można wykorzystać do zabezpieczenia przed CSRF, Symfony2 ma zresztą wbudowane takie rozwiązanie, a ze znanych korzysta(ła?) Nasza Klasa.
Link do wypowiedziLink
Jacek Z.

Jacek Z. Web Application
Developer

Temat: Blokowanie robotów w wyszukiwaniu.

Krzysztof Z.:
Ja osobiście wolę pole typu hidden, którego wartość stanowi token wypełniany za pomocą JS (znany serwerowi). Przy okazji implementujemy sobie mechanizm, który można wykorzystać do zabezpieczenia przed CSRF, Symfony2 ma zresztą wbudowane takie rozwiązanie, a ze znanych korzysta(ła?) Nasza Klasa.

Wiem, że to margines, ale czy odróżniasz w jakiś sposób userów bez JS od botów i pozwalasz im przejść?
Link do wypowiedziLink

konto usunięte

Temat: Blokowanie robotów w wyszukiwaniu.

Fajnie, że to zauważyłeś. To jest skomplikowany temat, bo np. można przez przypadek zablokować dostęp z telefonów. Ja w mojej aplikacji wymagam zalogowania do korzystania z takich funkcjonalności i zakładając, że mechanizm rejestracji jest zabezpieczony w jakiś rozsądny sposób można później puszczać userów. vBulletin np. stosuje jeszcze ograniczenie ilości wyszukań w jednostce czasu, to dość mocno utrudnia życie.

Niechciane roboty dobrze wycinać wyżej, za pomocą ustawień serwera, w sieci jest sporo różnego rodzaju czarnych list. Nie mniej, nie ma idealnych rozwiązań, każde da się obejść, a zbyt dużo zabezpieczeń często odbija się na wygodzie userów. Kwestia dobrania odpowiedniego środka, w wielu wypadkach w zupełności może wystarczyć rozwiązanie podane wcześniej przez kolegów.

Pamiętajcie też, aby używać nietypowych nazw pól, bo inaczej oprogramowanie spamerskie ma ułatwione zadanie np. Xrummer.
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

Budowa i programowanie robo...




Wyślij zaproszenie do
Anuluj