GoldenLine
Zaloguj się
Wiesiek J.

Wiesiek J. Właściciel, ERICA

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Mam nadzieję że to właściwa grupa ;-)
Internet powoli staje się śmietnikiem i ciężko przeciętnemu userowi wyszukać coś wartościowego. Mam pomysł na katalog stron i szukam kogoś kto napisze robota sieciowego.
Katalog oczywiście tematyczny, z pewnej branzy.

Ma to działać tak że w programie dodaje się pewne słowa kluczowe i robot ma przeszukiwać sieć. Jeżeli znajdzie stronę zawierająca w sekcji head lub body właściwe słowo kuczowe, to zapisuje wszystko w postaci tekstowej. jeżeli nie znajdzie to zapisuje tylko adres że juz odwiedził stronę.
Dodatkowo zbiera adresy z odwiedzonych stron do późniejszego przeszukania.

Drugim modułem jest panel administracyjny.
Admin przegląda stronę i decyduje czy akceptować czy nie.

jest oczywiście kilka opcji dodatkowych w tym robocie, typu słowa wykluczające, jeżeli natrafi na nie to kasuje stronę bez względu na właściwe słowa, itp...
Ale to już szczegóły.
Najważniejszy jest robot do przeszukiwania sieci.

Gdyby ktoś był zainteresowany to proszę o info na prv.
Link do wypowiedziLink

konto usunięte

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Niech Pan jeszcze tutaj zamieści ogłoszenie:

http://www.zlecenia.przez.net/
Link do wypowiedziLink

konto usunięte

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Bartłomiej Sadkowski:
Niech Pan jeszcze tutaj zamieści ogłoszenie:

http://www.zlecenia.przez.net/

Ale poleciałeś po bandzie :D
Link do wypowiedziLink
Marcin Sterczyński

Marcin Sterczyński Właściciel /
Programista, DOTWEB

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Bartłomiej Sadkowski:
Niech Pan jeszcze tutaj zamieści ogłoszenie:

http://www.zlecenia.przez.net/

90% użytkowników gimnazjaliści, licealiści, studenci z przypadku zajmujący się stronami, robiący full wypas serwis za 50zł ;-) Kiepska rekomendacja.
Link do wypowiedziLink
Rafał Korszuń

Rafał Korszuń co-owner @ Kleder

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

zawsze możesz dostosować do swoich potrzeb istniejące rozwiązania:
np. http://www.sphider.eu/installation.php

czy dziesiątki tysięcy innych.

To także da do myślenia jak trudno jest stworzyć dobrze działającą wyszukiwarkę.
Link do wypowiedziLink

konto usunięte

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Marcin Sterczyński:
Bartłomiej Sadkowski:
Niech Pan jeszcze tutaj zamieści ogłoszenie:

http://www.zlecenia.przez.net/

90% użytkowników gimnazjaliści, licealiści, studenci z przypadku zajmujący się stronami, robiący full wypas serwis za 50zł ;-) Kiepska rekomendacja.

jakie zapytanie, taka rekomendacja :D
Link do wypowiedziLink
Wiesiek J.

Wiesiek J. Właściciel, ERICA

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Rafał Korszuń:
To także da do myślenia jak trudno jest stworzyć dobrze działającą wyszukiwarkę.
Stworzenie idealnej wyszukiwarki jak widać nie jest chyba jeszcze możliwe i chyba nie będzie.
Dlatego interesuje mnie robot który wyciągnie strony według pewnych słów kluczowych, a późniejsza akceptacja będzie odbywać się ręcznie.
Link do wypowiedziLink

konto usunięte

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Marcin Sterczyński:
Bartłomiej Sadkowski:
Niech Pan jeszcze tutaj zamieści ogłoszenie:

http://www.zlecenia.przez.net/

90% użytkowników gimnazjaliści, licealiści, studenci z przypadku zajmujący się stronami, robiący full wypas serwis za 50zł ;-) Kiepska rekomendacja.

Ja wiem o tym. Ale może Pan Janek takich właśnie wykonawców oczekuje.

EDIT:
No nie powiem, ale kiedyś znalazłem tam świetnego programistę freelancera. Naprawdę zna się na rzeczy i ciągle utrzymujemy kontakt i współpracujemy ze sobą.Bartłomiej Sadkowski edytował(a) ten post dnia 23.07.08 o godzinie 11:18
Link do wypowiedziLink
Marcin Sterczyński

Marcin Sterczyński Właściciel /
Programista, DOTWEB

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Wiesiek Janek:
Rafał Korszuń:
To także da do myślenia jak trudno jest stworzyć dobrze działającą wyszukiwarkę.
Stworzenie idealnej wyszukiwarki jak widać nie jest chyba jeszcze możliwe i chyba nie będzie.
Dlatego interesuje mnie robot który wyciągnie strony według pewnych słów kluczowych, a późniejsza akceptacja będzie odbywać się ręcznie.

Szczerze mówiąc to wydaje mi się, że robota nie da się takiego napisać przynajmniej nie na etapie rozwoju an którym obecnie znajdują się dostępne technologie. Podam jako przykład głośne pozycjonowanie stron na słowo np. "kretyn", wyniki pokazywały strony z Lepperem, Giertychem, stronę Sejmu RP.

Równie dobrze można wypozycjonować stronę z hard porno na słowa "zabawki dla dzieci". Na końcu zawsze powinien stać człowiek.
Link do wypowiedziLink
Marcin Kopczyński

Marcin Kopczyński Po prostu szczęśliwy
człowiek :)

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Wiesiek Janek:
Rafał Korszuń:
To także da do myślenia jak trudno jest stworzyć dobrze działającą wyszukiwarkę.
Stworzenie idealnej wyszukiwarki jak widać nie jest chyba jeszcze możliwe i chyba nie będzie.
Dlatego interesuje mnie robot który wyciągnie strony według pewnych słów kluczowych, a późniejsza akceptacja będzie odbywać się ręcznie.

Tylko, że tak jak wyszukiwarki można oszukać tego bota dając setki spam stron zawierających słowa wyszukiwane przez niego. I wtedy Administrator nic innego nie robi tylko je wyłapuje. Wyniki poszukiwań takiego robota byłyby zapewne liczone w tysiącach... gdyby ten proces dało się łatwo zautomatyzować to już by został zaimplementowany w jednej z czołowych wyszukiwarek. Spam pozostanie bo ludzie robią się coraz bardziej przebiegli ;).
Link do wypowiedziLink

konto usunięte

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Można też wetknąć robotowi strony z zabawkami dla dzieci, i po miesiącu (zakładając że zostały zaakceptowane) podmienić je na sajty xxx :]

Automatem, i hurtem.
Link do wypowiedziLink
Marcin Kopczyński

Marcin Kopczyński Po prostu szczęśliwy
człowiek :)

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Adam Doroziński:
Można też wetknąć robotowi strony z zabawkami dla dzieci, i po miesiącu (zakładając że zostały zaakceptowane) podmienić je na sajty xxx :]

Automatem, i hurtem.

pomysłów na obejście 'systemu' tyle co głów tutaj ;)
Link do wypowiedziLink
Wiesiek J.

Wiesiek J. Właściciel, ERICA

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Marcin Kopczyński:
pomysłów na obejście 'systemu' tyle co głów tutaj ;)
Absolutnie się z tym zgadzam ;-)
Ale jeżeli docelowo będzie kilka tysięcy stron zaakceptowanych, to prosta opcja zgłaszania stron rozwiąże w większości problem.

Po pierwsze to nie będą miliardy stron, a po drugie to sami zainteresowani "przypilnują" tych spamerskich stron ;-)Wiesiek Janek edytował(a) ten post dnia 23.07.08 o godzinie 11:44
Link do wypowiedziLink
Rafał Korszuń

Rafał Korszuń co-owner @ Kleder

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Tylko, że tak jak wyszukiwarki można oszukać tego bota dając setki spam stron zawierających słowa wyszukiwane przez niego. I wtedy Administrator nic innego nie robi tylko je wyłapuje. Wyniki poszukiwań takiego robota byłyby zapewne liczone w tysiącach... gdyby ten proces dało się łatwo zautomatyzować to już by został zaimplementowany w jednej z czołowych wyszukiwarek. Spam pozostanie bo ludzie robią się coraz bardziej przebiegli ;).

jedyne co udało się na razie w miarę poprawnie zaimplementować to dodatkowe klasyfikatory treści, wspomagające określenie prawdopodobieństwa czy dana strona jest spamem czy nie.

Jednak taki filtr łatwo obejść kopiując część pełnowartościowej treści.
Link do wypowiedziLink
Marcin Kopczyński

Marcin Kopczyński Po prostu szczęśliwy
człowiek :)

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Wiesiek Janek:
Marcin Kopczyński:
pomysłów na obejście 'systemu' tyle co głów tutaj ;)
Absolutnie się z tym zgadzam ;-)
Ale jeżeli docelowo będzie kilka tysięcy stron zaakceptowanych, to prosta opcja zgłaszania stron rozwiąże w większości problem.

Po pierwsze to nie będą miliardy stron, a po drugie to sami zainteresowani "przypilnują" tych spamerskich stron ;-)Wiesiek Janek edytował(a) ten post dnia 23.07.08 o godzinie 11:44

Czyli mamy zasadę działania Google - tam też można zgłaszać spamerskie strony. Koło się zamyka.
Link do wypowiedziLink
Wiesiek J.

Wiesiek J. Właściciel, ERICA

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Marcin Kopczyński:
Czyli mamy zasadę działania Google - tam też można zgłaszać spamerskie strony. Koło się zamyka.
To jest kwestia skali. 4-6 osób dopilnuje bez problemów kilku tysięcy stron. Czas reakcji będzie krótki. Google bazuje głównie na automatach.
Link do wypowiedziLink

konto usunięte

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Hmmm... pomysł - jeśli go dobrze rozumiem - właściwie nie jest chyba zły. Duży branżowy katalog stron, który nie czeka aż ich właściciele się do niego dodadzą, tylko sam odnajduje strony pasujące w przestworzach sieci.

Tylko trzeba by ręcznie opisać każdą stronę, bo inaczej przyjdzie jakiś Wiesiek Janek i pozwie właściciela maszynerii za bezprawne skopiowanie zawartości meta description i title w celu budowania wartości katalogu...
Link do wypowiedziLink
Wiesiek J.

Wiesiek J. Właściciel, ERICA

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Adam Doroziński:
Tylko trzeba by ręcznie opisać każdą stronę
Dobry żart, tynfa wart ;-)
Masz u mnie piwo. Do odbioru w Biedronce. Tylko nie zapomnij zapłacić ;-)
Link do wypowiedziLink
Michał Filip Sobański

Michał Filip Sobański boer en sy roer

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Wiesiek Janek:
Mam nadzieję że to właściwa grupa ;-)
Internet powoli staje się śmietnikiem i ciężko przeciętnemu userowi wyszukać coś wartościowego. Mam pomysł na katalog stron i szukam kogoś kto napisze robota sieciowego.
Katalog oczywiście tematyczny, z pewnej branzy.

Ma to działać tak że w programie dodaje się pewne słowa kluczowe i robot ma przeszukiwać sieć. Jeżeli znajdzie stronę zawierająca w sekcji head lub body właściwe słowo kuczowe, to zapisuje wszystko w postaci tekstowej. jeżeli nie znajdzie to zapisuje tylko adres że juz odwiedził stronę.
Dodatkowo zbiera adresy z odwiedzonych stron do późniejszego przeszukania.
oj... ale GoogleBot tak robi...
Drugim modułem jest panel administracyjny.
Admin przegląda stronę i decyduje czy akceptować czy nie.
biedny admin, będzie go bolało w krzyzu wszystko już po 3 dniach...
jest oczywiście kilka opcji dodatkowych w tym robocie, typu słowa wykluczające, jeżeli natrafi na nie to kasuje stronę bez względu na właściwe słowa, itp...
Ale to już szczegóły.
Najważniejszy jest robot do przeszukiwania sieci.
a pewnie, robot jest najważniejszy... a diabeł tkwi w tych własnie szczegółach. Google ma takiego Bota i to calkiem dobrego. Bo tu nie chodzi o jedną tematykę (widze podstępnośc pytania), bo temtykę mozna zawsze okreslić, a nawet kilka. Chodzi o same kryteria wyszukiwania, updaty wyszukiwania, ponowienie wyszukiwania, gdy serwer jest niedostępny przez jakąs sekundę, czy 2, itd., a nastepnie magazynowanie danych, google ma swoje data centers, wszystko to co zrobił Google, czy Yahoo i msn nie dorobili.
Gdyby ktoś był zainteresowany to proszę o info na prv.
Myslę, że jak ktos byłby w stanie cos takiego napisać, to juz nie siedzialby w Polsce tylko pacował w msn, albo yahoo. A Google też by go przyjął z miejsca.
pozdr. mfs
Link do wypowiedziLink

konto usunięte

Temat: Robot - Wyszukiwarka - Ktoś napisze ?

Wiesiek Janek:
...
Ma to działać tak że w programie dodaje się pewne słowa kluczowe i robot ma przeszukiwać sieć.

W jaki sposób ma poruszać przechodząc od strony do strony ? Po linkach??

A może ma parsować wyniki wyszukiwań Google lub innej wyszukiwarki ?

Sądzę, że nie masz pojęcia na co się porywasz... technicznie lub też finansowo.Robert B. edytował(a) ten post dnia 23.07.08 o godzinie 15:38
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy





Wyślij zaproszenie do
Anuluj