GoldenLine
Zaloguj się
Tymoteusz Rduch

Tymoteusz Rduch Scrum Master /
Product Owner / PM /
IT Manager for hire

Temat: Klaster? Rozproszony komputer?

Witajcie,

szukam rozwiązania następującego problemu:

jest sobie aplikacja która liczy... liczy dużo... nawet bardzo dużo... czasem po kilka dni.
Niestety nie ma sama w sobie opcji liczenia rozproszonego, a przydało by się móc liczyć na klastrze, bo fizycznie już się tego bardziej przyspieszyć nie da - maszyna 4 procesorowa, ponad 300GB RAM

Ale... działa na debianie.

Pytanie - jest jakiś soft, który pozwoli zbudować klaster, który dla systemu na nim postawionego będzie widoczny jak jeden komputer np. z 24 procami, albo 1 procem ale zmultiplikowaną liczbą rdzeni?
Link do wypowiedziLink

konto usunięte

Temat: Klaster? Rozproszony komputer?

Tymoteusz R.:
już się tego bardziej przyspieszyć nie da

Zawsze się da, przynajmniej tak pokazuje praktyka.
Link do wypowiedziLink
Przemek M.

Przemek M. Software Engineer,
TomTom

Temat: Klaster? Rozproszony komputer?

Nie łatwiej zoptymalizować? :)
Link do wypowiedziLink
Łukasz S.

Łukasz S. psuj popsuj

Temat: Klaster? Rozproszony komputer?

http://www.scalemp.com/
Link do wypowiedziLink
Daniel W.

Daniel W. Architekt ;)

Temat: Klaster? Rozproszony komputer?

Klastrów HPC jest naprawdę sporo od wersji OpenSource po płatne Windows.
Nie wiem co liczysz ale RAM raczej ma tutaj najmniejsze znaczenie.
Link do wypowiedziLink
Tymoteusz Rduch

Tymoteusz Rduch Scrum Master /
Product Owner / PM /
IT Manager for hire

Temat: Klaster? Rozproszony komputer?

Dariusz L.:
Tymoteusz R.:
już się tego bardziej przyspieszyć nie da

Zawsze się da, przynajmniej tak pokazuje praktyka.

Być może się da, ale przyrost wydajności w stosunku do przyrostu kosztów najprawdopodobniej okaże się niewspółmierny. Za to ciekawym pomysłem jest móc zaprząc do roboty nie używane nocą dziesiątki komputerów z biura.Ten post został edytowany przez Autora dnia 15.03.14 o godzinie 23:16
Link do wypowiedziLink
Tymoteusz Rduch

Tymoteusz Rduch Scrum Master /
Product Owner / PM /
IT Manager for hire

Temat: Klaster? Rozproszony komputer?

Daniel W.:
Klastrów HPC jest naprawdę sporo od wersji OpenSource po płatne Windows.
Nie wiem co liczysz ale RAM raczej ma tutaj najmniejsze znaczenie.

Liczę modele 3D na podstawie wielu zdjęć obiektu (fotogrametria).
Soft natywnie nie umożliwia liczenia rozproszonego na wielu maszynach, nie ma też możliwości przepisania go czy jakiegokolwiek wpływu na twórce.
Soft w skali w jakiej planuję go użyć wymaga na dzień dobry ponad 300 GB RAM, a "skala użycia" stale rośnie, i im więcej ma rdzeni do dyspozycji im są one szybsze tym lepiej.

Klaster HPC się nie nadaje - wymaga dedykowanego softu, a jak już wspomniałem (także w poście rozpoczynającym ten watek) ten którego używam nie przewiduje takiej opcji.

Zrobiłem już sobie jaki taki research i wychodzi, że potrzebuję klastra SSI... nie wiem tylko czy ten soft na tym ruszy, zobaczymy, w przyszłym tygodniu postaram się przeprowadzić test.
Link do wypowiedziLink
Tymoteusz Rduch

Tymoteusz Rduch Scrum Master /
Product Owner / PM /
IT Manager for hire

Temat: Klaster? Rozproszony komputer?

Przemek M.:
Nie łatwiej zoptymalizować? :)

No niestety w tym przypadku się nie da, choć byłoby to najprostsze rozwiązanie i wszyscy użytkownicy czekają kiedy producent softu wreszcie to zrobi (w sensie, wprowadzi możliwość liczenia rozproszonego)Ten post został edytowany przez Autora dnia 15.03.14 o godzinie 23:18
Link do wypowiedziLink
Tymoteusz Rduch

Tymoteusz Rduch Scrum Master /
Product Owner / PM /
IT Manager for hire

Temat: Klaster? Rozproszony komputer?

Łukasz S.:
http://www.scalemp.com/

Interesujący link. Dziękuję
Link do wypowiedziLink

konto usunięte

Temat: Klaster? Rozproszony komputer?

Tymoteusz R.:
Być może się da, ale przyrost wydajności w stosunku do przyrostu kosztów najprawdopodobniej okaże się niewspółmierny.

Nie wiem Tymoteusz jak tam u Ciebie wygląda, ale wydaje mi się, że po to właśnie robi się analizę, żeby wszystko dobrze mieć przemyślane i żeby uniknąć właśnie takiej sytuacji (choćby wspomnianej poniżej).
Tymoteusz R.:
Za to ciekawym pomysłem jest móc zaprząc do roboty nie używane nocą dziesiątki komputerów z biura.

Rozumiem że policzyłeś koszty zużycia energii i sprzętu vs przyrost wydajności?
Tymoteusz R.:
Liczę modele 3D na podstawie wielu zdjęć obiektu (fotogrametria).

Ciekawa tematyka, aczkolwiek wydaje mi się, że nie na grupę dla adminów.
Tymoteusz R.:
Soft w skali w jakiej planuję go użyć wymaga na dzień dobry ponad 300 GB RAM, a "skala użycia" stale rośnie, i im więcej ma rdzeni do dyspozycji im są one szybsze tym lepiej.

Szkoda że nie napisałeś jaki soft konkretnie używasz. Kiedyś widziałem takie zestawienie, gdzie ludzie podawali jakie są osiągi konkretnego sprzętu i softu przy renderowaniu i innych czynnościach. Swoją drogą nie wiem czy akurat potrzebujesz maszyny wieloprocesorowej i 300 GB RAMu.
Link do wypowiedziLink
Tymoteusz Rduch

Tymoteusz Rduch Scrum Master /
Product Owner / PM /
IT Manager for hire

Temat: Klaster? Rozproszony komputer?

Darku, liczyć faktycznie jeszcze nie zacząłem, na razie wybieram rozwiązania do analizy.

Być może te biurowe komputery to nie jest najlepszy pomysł.

Co do tego czy to na tą grupę - lepszej nie znalazłem. Grupy dla speców 3D niewiele mi pomogą w tym zakresie.

Soft to Agisoft Photoscan.
Link do wypowiedziLink
Tymoteusz Rduch

Tymoteusz Rduch Scrum Master /
Product Owner / PM /
IT Manager for hire

Temat: Klaster? Rozproszony komputer?

Wpadłem na jeszcze jedno rozwiązanie... ciekawe czy to z tym softem ruszy i czy coś da... Xeon Phi... ktoś ma wypożyczyć do testów?
Link do wypowiedziLink
Daniel W.

Daniel W. Architekt ;)

Temat: Klaster? Rozproszony komputer?

Tylko pytanie czy twój cudowny software potrafi coś takiego obsłużyć.
Nie napisałeś czy to masz na Windows/Linux/itp.
Liczenie na GPU jest na pewno lepsze - ale jest mało softu który to obsłuży.
Jakoś nie widziałem dużej ilości softu na Tesle.
Link do wypowiedziLink
Łukasz C.

Łukasz C. Senior Technical
Architect

Temat: Klaster? Rozproszony komputer?

Nie sądze abyś znalazł sensowne rozwiązanie, prawdopodobnie doszedłeś do kresu skalowania wertykalnego, openssi ostatni release mialo 7 lat temu, wiec raczej nikt sie tym juz nie zajmuje.

Czy jestes w stanie podzielić liczenie na kawałki, a następnie przeliczyć dane pośrednie, aż do uzyskania ostatecznego wyniku? Jeżeli tak to mapreduce i np: hadoop.
Link do wypowiedziLink

konto usunięte

Temat: Klaster? Rozproszony komputer?

Tymoteusz R.:
Darku, liczyć faktycznie jeszcze nie zacząłem, na razie wybieram rozwiązania do analizy.
Ja na Twoim miejscu zacząłbym od analizy konkretnych czynności i obecnego sprzętu, który masz. Dopiero z wynikami takich praktycznych testów mógłbyś szukać dalej. Nie napisałeś co to za sprzęt dokładnie, ale zakładam że nie jest to zwykły PC (co może sprawę utrudnić), skoro ma 300 GB RAMu, bo takiej ilości ramu żadna znana mi płyta główna na rynku nie obsługuje.
Tymoteusz R.:
Być może te biurowe komputery to nie jest najlepszy pomysł.
Zacząłeś w zasadzie już od szukania systemu zarządzającego klastrem (tu może z grupą trafiłeś), ale czy słusznie?
Tymoteusz R.:
Co do tego czy to na tą grupę - lepszej nie znalazłem. Grupy dla speców 3D niewiele mi pomogą w tym zakresie.
Bardziej myślałem o forach specjalistycznych a nie GL.
Tymoteusz R.:
Soft to Agisoft Photoscan.
Nie znam tego softu, nie wiem czy ma wsparcie dla GPU. Może z dwie nowe mocne karty załatwiłby sprawę. GPU potrafi bić na głowę klastry a koszt zużytej energii byłby nieporównywalny.
Link do wypowiedziLink
Grzegorz Rybicki

Grzegorz Rybicki Właściciel 24BOX

Temat: Klaster? Rozproszony komputer?

Witam,

Może mógł byś to zrobić na citrix xenserver spiąć kilka nodów i
stworzyć 1 wirtualną maszynę z 20 rdzeniami wspólnym fs itp.

Pozdrawiam
Link do wypowiedziLink

konto usunięte

Temat: Klaster? Rozproszony komputer?

Tymoteusz R.:
Co do tego czy to na tą grupę - lepszej nie znalazłem. Grupy dla speców 3D niewiele mi pomogą w tym zakresie.
Soft to Agisoft Photoscan.
Tematyka ciekawa, dlatego trochę poszperałem w internecie na ten temat. Chodziło mi bardziej o tego typu fora: Agisoft PhotoScan - General.
Podejrzewam że to już czytałeś? Agisoft PhotoScan - Recommended_Hardware.

Podobno dużą ilość potrzebnego RAMu daje się jakoś obejść.
Link do wypowiedziLink
Tymoteusz Rduch

Tymoteusz Rduch Scrum Master /
Product Owner / PM /
IT Manager for hire

Temat: Klaster? Rozproszony komputer?

Daniel W.:
Tylko pytanie czy twój cudowny software potrafi coś takiego obsłużyć.
Nie napisałeś czy to masz na Windows/Linux/itp.
Liczenie na GPU jest na pewno lepsze - ale jest mało softu który to obsłuży.
Jakoś nie widziałem dużej ilości softu na Tesle.

Napisałem na początku "ale działa na debianie"

Tam część pracy może być wspomagana GPU ale to ta mniejsza część.

Xeon Phi to nie jest GPU... to jak czytam takie dziwne CUŚ... komputer w komputerze, z własnym uproszczonym linuxem... Photoscan to wspiera, tyle dałem radę wyczytać, tylko nie wiem w jakim zakresie. Czekam aż mój główny magik od technologii 3D wróci z konferencji w USA ;)
Link do wypowiedziLink
Tymoteusz Rduch

Tymoteusz Rduch Scrum Master /
Product Owner / PM /
IT Manager for hire

Temat: Klaster? Rozproszony komputer?

Grzegorz R.:
Witam,

Może mógł byś to zrobić na citrix xenserver spiąć kilka nodów i
stworzyć 1 wirtualną maszynę z 20 rdzeniami wspólnym fs itp.

Pozdrawiam

O, kolejny trop do podjęcia... zawsze myslałem, że xen działa w drugą stronę - dzieli maszynę na mniejsze ;)
Link do wypowiedziLink
Tymoteusz Rduch

Tymoteusz Rduch Scrum Master /
Product Owner / PM /
IT Manager for hire

Temat: Klaster? Rozproszony komputer?

Łukasz C.:
Nie sądze abyś znalazł sensowne rozwiązanie, prawdopodobnie doszedłeś do kresu skalowania wertykalnego, openssi ostatni release mialo 7 lat temu, wiec raczej nikt sie tym juz nie zajmuje.

Czy jestes w stanie podzielić liczenie na kawałki, a następnie przeliczyć dane pośrednie, aż do uzyskania ostatecznego wyniku? Jeżeli tak to mapreduce i np: hadoop.

Kres skalowania jeszcze przede mną - czyli duże zakupy :) Jeśli inne możliwości zawiodą lub okażą się ekonomicznie nieuzasadnione, to Supermicro robi płyty główne z 8 socketami i 1TB RAM

Jeszcze OpenSSI nie oglądałem dokładnie, dzięki za wskazówkę. Wspomniany tutaj ScaleMP wygląda obiecująco. No i ten xen o którym Grzegorz Rybicki wspomina też ciekawy trop.Ten post został edytowany przez Autora dnia 17.03.14 o godzinie 23:44
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

klaster z kilku .sql plikow?




Wyślij zaproszenie do
Anuluj