GoldenLine
Zaloguj się
Wojciech O.

Wojciech O. Operator
magnetowidów/telewiz
ja Polsat - w
poszukiwaniu n...

Temat: Klastry typu Beowulf

Ostatnio pisze pracę z tego zakresu. Wiedza czysto teoretyczna jest, ale chciałbym poprosic o jakieś uwagi od osób, które pracują na takim sprzęcie, bądź taki klaster konstruowały.
Link do wypowiedziLink
Michał I.

Michał I. Freelancer /
Consultant Nie
bojący się wyzwań

Temat: Klastry typu Beowulf

ja budowałem były to zwykłe PCety było to 5 lat temu i było dużo pracy przy tym kompilacja kernela itp. z tego co się orientuję to każda z dystrybucji Linux'a posiada jakiś moduł klastra.

Jak coś odkopię to wstawię
Link do wypowiedziLink
Wojciech O.

Wojciech O. Operator
magnetowidów/telewiz
ja Polsat - w
poszukiwaniu n...

Temat: Klastry typu Beowulf

Z kompilacją kernela bawiłem się, ale to było patchowanie jądra przez openmosix. Nie chciało to za bardzo śmigać niestety. Do tego patch działał raptem z 2 wersjami kernela z rodziny 2.4 ( to była chyba przyczyna braku dziłania ).

Będę bardzo wdzięczny za pomoc.
Link do wypowiedziLink
Karol W.

Karol W. ___

Temat: Klastry typu Beowulf

Na jajkach 2.4 OM działał całkiem sprytnie. 2.6 - z tego co pamiętam był tylko w fazie alpha. Zresztą open mosix nie jest już rozwijany - miał się zamknąć ~03.2008. Teraz jest jakiś simple mosix, ale mało żywy raczej ...

Żeby się nie bawić w kompilacje możesz poszukać wersji knoppixa z wsparciem dla open mosix - były na pewno, czy są jeszcze gdzieś do ściągnięcia - nie mam pojęcia. 2-3 odpalone kompy z CD i można zobaczyć jak to działa.

Pozdrawiam

- http://www.gentoo.org/doc/pl/hpc-howto.xml
- http://www.gentoo.ro/doc/en/openmosix-howto.xml
?Karol Wróbel edytował(a) ten post dnia 21.05.09 o godzinie 12:12
Link do wypowiedziLink
Tomasz Plewa

Tomasz Plewa mgr inż. nauk
zbytecznych ;)

Temat: Klastry typu Beowulf

OpenMosix dzialal kiedys co testowalem calkiem ok.

Ale nie zawsze jest konieczne uzywanie tego typu rozwiazan.
Np. w przypadku Clustra pos Matlaba mozna skorzystac z MATLAB Distributed Computing Server.

Generalnie projekt robi sie raczej pod konretne zastosowanie i tutaj najczesciej sa gotowe stabilne rozwiazania. Jedyne ograniczenie to $$$
Link do wypowiedziLink
Wojciech O.

Wojciech O. Operator
magnetowidów/telewiz
ja Polsat - w
poszukiwaniu n...

Temat: Klastry typu Beowulf

Tomasz Plewa:
OpenMosix dzialal kiedys co testowalem calkiem ok.

Ale nie zawsze jest konieczne uzywanie tego typu rozwiazan.
Np. w przypadku Clustra pos Matlaba mozna skorzystac z MATLAB Distributed Computing Server.

Generalnie projekt robi sie raczej pod konretne zastosowanie i tutaj najczesciej sa gotowe stabilne rozwiazania. Jedyne ograniczenie to $$$
Hmm. To moja praca dyplomowa, więc nie ma mmowy o jakiś mega wydatkach. I tak planuje wirtualizować te serwery. Później jedynie testy na max 5 maszynach fizycznych. Waham się jeszcze między klastrem wydajnościowym, a "high avabality"
Link do wypowiedziLink

konto usunięte

Temat: Klastry typu Beowulf

To i ja dorzuce kilka luznych uwag.. dawno, dawno temu mialem okazje sie bawic klastrem obliczeniowym z 20 CPU (czasy gdy AMD MP to byl taki sprzet ;-)
Warto przyjrzec sie tez PVM i MPI. Sa to nieco tematy pokrewne, ale wspolgraja z mosix'em. Byl tez fajnych pakiet ROCKS czy jakos tak, slyszalem tez o OSCAR i kilku malych pomocnych aplikacjach, jak cluster ssh gdzie wykonujesz komende na wszystkich lub wybranych wezlach w klustrze. Jesli mialbym to robic dzis (Mosix dziala z jadrem 2.4) to chyba pomyslalbym o distro z Knoppixa, jest jedno dedykowane dla HPC. No i poswiecilbym czas na zaplanowanie sprzetu jesli to ma byc powazniejszy klaster (rowniez od strony termodynamicznej)
Wlasciwie najwazniejsze w tamtym klastrze bylo uruchomienie srodowiska dla obliczen z PVM3/MPICH oraz skompletowanie srodowiska do kompilacji (co wbrew pozorom nie jest trywialne w przypadku klastra do obliczen fizycznych ;-)
Pozdrawiam
Link do wypowiedziLink
Tomasz Plewa

Tomasz Plewa mgr inż. nauk
zbytecznych ;)

Temat: Klastry typu Beowulf

To mysle ze warto sie oprzec jednak o OpenMosix. Latwo postawic a cluster moze byc nawet na starych pentium co mozna poskladac za grosze, a nawet za free. Jak sie ma pojecie o kompilacji oprogramowania pod Linuxem to jest to temat prosty i przyjemny.
Ladnie widac jak rozkladane jest obciazenie itp.

Ja akurat bawie sie w tym temacie pod katem Matlaba, ale tutaj to poza Clustrem wany jest sposob pisania softu. Tak samo sam Matlab ma funkcje dzielenia na watki w przypadku maszyny wieloprocesorowej.
Jednak nie dziala to najlepiej (dziala chyba tylko dla niektorych funkcji - mnozenie macierzy itp.) do tego wydajnosc daleko odbiega od przyrostu liniowego (z dolozeniem kolejnego procka).

Z doswiadczen jakie kiedys robilismy w firmie wyszlo ze lepiej podzielic dane na porcje i odpalic proces Matlaba na kazdy rdzen.

Dodam jeszcze ze byl gdzies w sieci bardzo fajny opis (nawet w Jezyku Polskim) calej konfiguracji i zabawy z OpenMosixem. Moze jest jeszcze gdzies dostepny, z tego co pamietam (bo bylo to juz sporo czasu temu) znaczna czesc informacji byla by bardzo ladnym materialem na Prace Dyplomowa...
Link do wypowiedziLink
Wojciech O.

Wojciech O. Operator
magnetowidów/telewiz
ja Polsat - w
poszukiwaniu n...

Temat: Klastry typu Beowulf

Tylko, że przy testach będzie ciężko o aplikacje w PVM, albo MCI. Więc przyrost z klastrowania będzie nieznaczny. Skłaniam się coraz bardziej ku klastrowi typu HA.
I chyba najlepiej zbudować go na heartbeat. Fakt ciężej o monitorowanie obciążenia węzłów. Chyba będzie to klastrowanie celem redudancji www. Zastanawia mnie jednak jak monitorować z zewnątrz cały system. Myślałem o ganglii, ale brak dla niej wygodnego frontenda.W każdym razie ja nie mogę go dorwać.
Link do wypowiedziLink
Wojciech Pigułowski

Wojciech Pigułowski Atos Polska -
konsultant ICT
(UNIX, Oracle, BSCS
iX)

Temat: Klastry typu Beowulf

Jeśli masz ochotę możesz sprawdzić Open Solaris plus OHAC, jest to Sunowskie rozwiązanie dla klastrów wysokiej dostępności, działa na wirtualnych maszynach, wspiera Solaris Zones co pozwala przełączyć się w kilka milisekund pomiędzy maszynami.
Link do wypowiedziLink
Wojciech O.

Wojciech O. Operator
magnetowidów/telewiz
ja Polsat - w
poszukiwaniu n...

Temat: Klastry typu Beowulf

Wojciech Pigułowski:
Jeśli masz ochotę możesz sprawdzić Open Solaris plus OHAC, jest to Sunowskie rozwiązanie dla klastrów wysokiej dostępności, działa na wirtualnych maszynach, wspiera Solaris Zones co pozwala przełączyć się w kilka milisekund pomiędzy maszynami.

Jedno pytanie - czy dla zwolennika debiana stable ( na serwery ) nie będzie to zbyt duży szok. Dodam, że nie miałem żadnej styczności z Unixami, więc się trochę obawiam Solarisa. Ale jeśli już jak to jest z dokumentacją.
Druga sprawa, że po testach na maszynach fizycznych mam problemy z połączeniem w sieć wirtualną dostępnego sprzętu. W każdym razie na hostcie chodzi na luzie 6 maszyn opartych na debianie stable, po 512ramu. Każdy to debian stable, odpalone apache, ganglia-monitor, heartbeat. Udało mi się to zmieścić w 25MB. A nawet po odpaleniu managera okien ( dla łatwiejszej konfiguracji ) zajętość nie przekracza 55MB. To na razie wstępna konfiguracja.
Kilka dni pracy mnie jeszcze czeka. A później kilka dni testów.
Link do wypowiedziLink
Wojciech Pigułowski

Wojciech Pigułowski Atos Polska -
konsultant ICT
(UNIX, Oracle, BSCS
iX)

Temat: Klastry typu Beowulf

Dokumentacja do Solarisa jest rewelacyjna, przy czym od razu mozna olac przydlugi wstep i przejsc do rozwiazan dostepnych na koncu kazdego rozdzialu. Jakis czas temu z OHAC byl jeden problem, trzeba bylo sie mocno nameczyc zeby to zadzialalo na Open Solaris, ale jesli dobrze pamietam to juz chyba wersja 11.08 czyli sprzed pol roku miala to bez problemu obslugiwac.
Z drugiej strony jesli masz juz dzialajace rozwiazanie ktore musisz jedynie doszlifowac i na dodatek nie zajmowales sie wczesniej Unuxami to moze lepiej skupic sie na tym co juz dziala.
Link do wypowiedziLink
Wojciech O.

Wojciech O. Operator
magnetowidów/telewiz
ja Polsat - w
poszukiwaniu n...

Temat: Klastry typu Beowulf

Wiesz to moje pierwsze takie zadanie - Chciałem coś bardziej ambitnego niż aplikacje webowe czy bazy danych co wybrała zdecydowana większość ludzi na roku. Na chwilę obecną to zbieranie danych i ogólny projekt.
Druga sprawa, że unixy nie leżą mi - slack mnie mierzwi, gentoo jest ok, ale nie lubie długo stawiać systemu. Dlatego wybór padł na debiana. Stąd średnio mi się widzi OS.
Link do wypowiedziLink
Bolesław T.

Bolesław T. Administrator Linux

Temat: Klastry typu Beowulf

Również pisałem pracę magisterską o klastrach. Może coś mogę pomóc.

Z Twoich wypowiedzi nie wynika jasno, o czy ma być praca. Koledzy proponują tutaj Mosix/OpenMosix, ale to rozwiązanie pasuje tylko do konkretnych badanych przypadków (NB: Mosix jest dostępny do 2.6 pod warunkiem badań naukowych - klasyfikujesz się).

Z duetu PVM/MPI polecam MPI. PVM jest raczej przedsięwzięciem laboratoryjnym, ze znanymi wadami, chociaż dobrze wyświetla stan pracy każdego z procesorów.

Jeżeli chcesz zrobić badania w MPI nie pisząc programu, polecam Intel MPI Benchmarks (dostępne za darmo). Firma znana, jest się czym pochwalić, ewentualnie porównać wyniki z innymi pracami.

Co do wspomnianych przez Ciebie badań na wirtualnych maszynach, to odradzam. Fizyczny komputer, na którym masz maszyny wirtualne sam alokuje zasoby procesora do VM, przez co wyniki Twoich badań będą zupełnie niemiarodajne. Nie wiadomo, czy dana VM liczyła wolniej dlatego, że miała więcej obliczeń, czy dlatego, że nie wstrzeliła się w alokację cykli na fizycznym komputerze.
Link do wypowiedziLink
Wojciech O.

Wojciech O. Operator
magnetowidów/telewiz
ja Polsat - w
poszukiwaniu n...

Temat: Klastry typu Beowulf

Bolesław Tokarski:
Również pisałem pracę magisterską o klastrach. Może coś mogę pomóc.

Z Twoich wypowiedzi nie wynika jasno, o czy ma być praca. Koledzy proponują tutaj Mosix/OpenMosix, ale to rozwiązanie pasuje tylko do konkretnych badanych przypadków (NB: Mosix jest dostępny do 2.6 pod warunkiem badań naukowych - klasyfikujesz się).

Z duetu PVM/MPI polecam MPI. PVM jest raczej przedsięwzięciem laboratoryjnym, ze znanymi wadami, chociaż dobrze wyświetla stan pracy każdego z procesorów.

Jeżeli chcesz zrobić badania w MPI nie pisząc programu, polecam Intel MPI Benchmarks (dostępne za darmo). Firma znana, jest się czym pochwalić, ewentualnie porównać wyniki z innymi pracami.

Co do wspomnianych przez Ciebie badań na wirtualnych maszynach, to odradzam. Fizyczny komputer, na którym masz maszyny wirtualne sam alokuje zasoby procesora do VM, przez co wyniki Twoich badań będą zupełnie niemiarodajne. Nie wiadomo, czy dana VM liczyła wolniej dlatego, że miała więcej obliczeń, czy dlatego, że nie wstrzeliła się w alokację cykli na fizycznym komputerze.


Maszyna wirtaualna będzie służyć wyłącznie do opracowania od strony teoretycznej oraz możliwości przygotowania skryptów, konfiguracji przygotowania listingów.
Wiem, że wyniki nie będą miarodajne, acz przy hypervisorach typu I może być to ciekawe rozwiązanie np przy zadaniach, gdzie przydają się duże zasoby obliczeniowe, ale jednocześnie jest ograniczenie maszyn. Np. Programy do montażu nieliniowego. - najciekawsze chodzą na produktach MS, natomiast renderery są dosyć często niezależne od platformy. Stąd klastrowanie takich maszyn wirtualnych ma sens, gdyż samo klejenie sekwencji nie wymaga olbrzymich mocy obliczeniowych, ale już rendering tak. A ten proces można zrównlogeglić.
Testy przeprowadzę już na kilku wydzierżawionych maszynach fizycznych. Fakt średniej mocy - celerony 1,7 z 128 MB ramu. Ale jak obserwuje to powinno wystarczyć przy używanym przeze mnie opgranowaniu. I jak pisałem już kilka postów wcześniej coraz bardziej skłaniam się ku klastrowi typu HA.
Link do wypowiedziLink
Wojciech O.

Wojciech O. Operator
magnetowidów/telewiz
ja Polsat - w
poszukiwaniu n...

Temat: Klastry typu Beowulf

teraz takie mała prośba - znacie jakieś ciekawe narzędzie do monitorowania pracy klastra. myślałem nad ganglią, a może są jakieś ciekawsze i równie sprawne narzędzia.
Link do wypowiedziLink
Sebastian Sawicki

Sebastian Sawicki Kierownik działu
administracji siecią
i systemami IT

Temat: Klastry typu Beowulf

HA bedzie bardziej na czasie mimo wszystko, bedzie o nim wiecej informacji w sieci i beda to zdecydowanie prostsze informacje do przyswojenia niz klastry obliczeniowe. Szczegonie dla osoby srednio zadomowionej z konsola.
Jako ciekawostka: ja u siebie, '100 lat temu' mialem klaster-plaster openmosix.
W czasach gdy serwerem backupu byl PII klaster z 20 celeronow 2GHz zajmowal sie kompresja danych. I narzut na obciazenie sieci wcale nie byl tak duzy.
Ale to byly czasy tasiemek DDS4.
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

Barcamp - Klastry




Wyślij zaproszenie do
Anuluj