GoldenLine
Zaloguj się
Artur K.

Artur K. Projektant /
Programista Java

Temat: Klastrowy file system

Witam

Szukam klastrowego systemu plików z replikacją danych. Coś jak drbd8 master-master. Musi być POSIXowy czyli mogilefs odpada. Nie może to być master-slave. Na obu nodach musi być możliwy zapis w tym samym czasie. Znacie jakieś rozwiązania ?
Link do wypowiedziLink

konto usunięte

Temat: Klastrowy file system

http://en.wikipedia.org/wiki/List_of_file_systems#Dist...

glusterfs odradzam, właśnie wypuścili 2.0 ale po czytaniu dzień w dzień o problemach z nim na liście mailingowej stwierdziłem, że nie warto na razie go dotykać

mfs - działa nie najgorzej ale nie ma failover'a, tylko szybkie disaster recovery, raczej nadaje się jako rozproszone archiwum, chociaż wydajności nie mierzyłem, wąskim gardłem na pewno będzie pojedyncza baza danych

ceph chyba jeszcze nie nadaje się do używania a z tego co pamiętam też jest posixowy

ogólnie bida, jak Ci mega potrzebny posix to przyjrzyj się mfs'owi, pewnie da się go zestawić w klaster ha heartbeat'em czy czymś takim
Link do wypowiedziLink
Mariusz Gronczewski

Mariusz Gronczewski Linux Geek

Temat: Klastrowy file system

http://wiki.lustre.org/index.php/Main_Page

kiedys przegladalem (nie testowalem tho) i wygladal na najbardziej dojrzaly z tych ktore przejrzalem.

jezeli tylko na 2 nody to ocfs2 + drbd, ale to sie nie skaluje ;]
Link do wypowiedziLink

konto usunięte

Temat: Klastrowy file system

Artur K.:
drbd8 master-master. Musi być POSIXowy czyli mogilefs odpada. Nie może to być master-slave. Na obu nodach musi być możliwy zapis w tym samym czasie. Znacie jakieś rozwiązania ?

Jak podasz o jaki system operacyjny chodzi i ewentualnie czy masz kasę na coś komercyjnego to będzie można coś konkretnego oprócz rozważań zaproponować.

Z darmowych klastrowych filesystemów prosty do instalacji jest linuxowy OCFS2. Jeśli miałbyś możliwość zakupienia Redhata to z nim możesz dostać GFS. Z Veritas Storage Foundation możesz mieć vxfs, itp itd.

No ale ta replikacja ... w sumie mógłbyś tu bardzo mocno zakombinować i dysk zrobiony przez DRBD udostępniać do obu hostów przez iSCSI stawiając na tym OCFS2 :) Musiałoby to współpracować np. z heartbeatem.

Czyli robisz dysk za pomocą DRBD, wystawiasz go do obu hostów przez iSCSI przez IP klastra. Jak któryś z nodów pada to IP przeskakuje na drugi jeszcze działający ... i po krótkim timeoucie "interes nadal się kręci".

Ale wydajność tego nawet przy 1Gbit będzie dość marna. No i trzeba przetestować to iSCSI ... jak się zachowuje jak się zmieni target.
Link do wypowiedziLink
Artur K.

Artur K. Projektant /
Programista Java

Temat: Klastrowy file system

Testowałem glusterfs i nie polecam nikomu. Działa kiepsko, przycina się jak jest rozsyncowany i dzieje się jeszcze kupa innych dziwnych rzeczy.

Szukam gotowego rozwiązania z replikacją i muszę przyznać że kiepsko to wygląda :( z rozwiązań master-master znalazłem tylko 4: drbd8, glusterfs, mogilefs i lustre w wersji alpha.

Może to być produkt komercyjny tylko musi mieć mechanizm master-master ;-)
Link do wypowiedziLink
Maciej Kaźmierczak

Maciej Kaźmierczak Administrator Linux

Temat: Klastrowy file system

Polecam system Red-Hat GFI ( Global File System )
Bardzo fajny systemik :)
Link do wypowiedziLink
Artur K.

Artur K. Projektant /
Programista Java

Temat: Klastrowy file system

W GFS dane są replikowane na inne nody ? taki failover
Link do wypowiedziLink
Wojciech Małota

Wojciech Małota Programista

Temat: Klastrowy file system

A może coś w stylu 3 x iSCSI spięte w RAID5?
Nigdy tego nie testowałem więc nie mam pojęcia jaką to mogłoby mieć wydajność.
Link do wypowiedziLink
Artur K.

Artur K. Projektant /
Programista Java

Temat: Klastrowy file system

Chcę to montować na kilku różnych serwerach. Przepuszczam że ten raid by się rozleciał
Link do wypowiedziLink

konto usunięte

Temat: Klastrowy file system

Wojciech Małota:
A może coś w stylu 3 x iSCSI spięte w RAID5?
Nigdy tego nie testowałem więc nie mam pojęcia jaką to mogłoby mieć wydajność.

W przypadku 1Gbit jakieś 30-50 MB/sec w odczycie ciągłym. W przypadku zapisu byłby dramat (ze względu na podwójną ilość IO), pewnie maks 10MB/sec.

Tak naprawdę to nie będzie tu nic 100% pewnego za darmo.
Link do wypowiedziLink
Wojciech Małota

Wojciech Małota Programista

Temat: Klastrowy file system

Artur K.:
Chcę to montować na kilku różnych serwerach. Przepuszczam że ten raid by się rozleciał

No tak... musiałbyś go udostępniać przez NFSa.
Link do wypowiedziLink
Wojciech Małota

Wojciech Małota Programista

Temat: Klastrowy file system

Krzysztof P.:
Tak naprawdę to nie będzie tu nic 100% pewnego za darmo.

Szybki rozproszony system plików to chyba z definicji jest oksymoron :-)
Link do wypowiedziLink
Grzegorz Smrek

Grzegorz Smrek Starszy Specjalista
ds. integracji SAP i
systemów IT

Temat: Klastrowy file system

Czytałeś może o OCFS (Oracle Cluster File System), nie używałem go więc nie mogę powiedzieć jak z wydajnością ale opinie są pochlebne.
Link do wypowiedziLink
Mariusz Gronczewski

Mariusz Gronczewski Linux Geek

Temat: Klastrowy file system

Każdy system rozproszony będzie z definicji wolny w zapisie (bo musi zapisać x kopi zanim "potwierdzi" zapis) a odczyt będzie się już skalował lepiej

Powiem tak, odpalałem GFS ale to takie średnio intuicyjne jest więc w połowie (i po przeczytaniu paru opinii gdzieś w necie że to w sumie nic specjalnego) odpaliłem OCFS2 (na DRBD master-master) i działa całkiem ładnie, po parunastu losowych restartach wirtualek nic się plikom nie stało. Tyle że to jest system "shared disk", ze wszystkimi plusami i minusami tego typu systemów. Będę to odpalał na "produkcji" za parę miechów (jak testy pójdą ok), się zobaczy ;]Mariusz Gronczewski edytował(a) ten post dnia 01.06.09 o godzinie 11:14
Link do wypowiedziLink
Tomasz Filipek

Tomasz Filipek Administrator
Systemów, *Bank S.A.

Temat: Klastrowy file system

Miałem kiedyś u siebie drbd + ocfs i dobrego słowa o tym nie powiem.
Każde kopiowanie plików powodowało duży load serwera, dość często głupiał przy wskazywaniu zajętości dysku twardego (czasem pomagał tylko restart).
Stał na tym serwis, który ma na dobę jakieś 500-700 tyś. puknięć i w ciągu 1 minuty load rósł do 100. Powrót do ext3 rozwiązał wszystkie problemy.
Link do wypowiedziLink
Wojciech Małota

Wojciech Małota Programista

Temat: Klastrowy file system

Trochę opinii w tym temacie już się pojawiło. Ale jednego nei znalazłem.
Czy jest tutaj ktokolwiek, kto może powiedzieć, że użył jakiegoś konkretnego rozwiązania, które działało na odpowiednim poziomie pod względem szybkości i odporności na awarie?
Nie chodzi mi o wypowiedzi w stylu "bo mój kolega mówi, że... ", tylko raczej o coś w stylu "Wziąłem, zainstalowałem, skonfigurowałem, przetestowałem, działa".
Link do wypowiedziLink
Mariusz Gronczewski

Mariusz Gronczewski Linux Geek

Temat: Klastrowy file system

Co dokładnie rozumiesz przez "powrót do ext3" ? OCFS + DRBD to "klaster" dwuserwerowy, ext3 potrafi być zamontowany na raz tylko w jednym miejscu.
Link do wypowiedziLink
Grzegorz Smrek

Grzegorz Smrek Starszy Specjalista
ds. integracji SAP i
systemów IT

Temat: Klastrowy file system

Używałem przez dłuższy czas klastra opartego na drbd z ReiserFS, lecz tak jak pisze Mariusz był to klaster niezawodnościowy a nie wydajnościowy. Klaster działał stabilnie i z wystarczającą wydajnością. Używałem tego typu klastrów dla serwera plików oraz do poczty Postfix + amavis z zapisem kolejki na DRBD i działało.
Link do wypowiedziLink

konto usunięte

Temat: Klastrowy file system

A bardziej komercyjnie może ktoś miał styczność z GFS (np. w redhat) i może coś więcej napisać ?
Skoro już trzeba za to zapłacić może tutaj dostaniemy wydajność i niezawodność w jednym pakiecie ??
Link do wypowiedziLink
Jakub Wartak

Jakub Wartak Szaman
UNIXa/Linux/Oracle,
IBM CATE

Temat: Klastrowy file system

A moze nie replikowac storage'em, tylko LVMem?

W GFS FAQ pisza:
"Can I use striping, hardware RAID, mirroring, etc., with GFS?

Yes you can. Since GFS can manage the contents of a block device (SCSI, logical volume, etc), there is still the underlying logical volume manager, LVM2, that takes care of things like spanning physical volumes, striping, hardware RAID, mirroring and such. For clusters, there is a special version of LVM2 called CLVM that is needed, but not much changes other than the locking protocol specified in /etc/lvm/lvm.conf.

Note that GFS won't work properly in a cluster with software RAID (the MD driver). At the time of this writing, software RAID is not cluster-aware. Since software RAID can only be running on one node in the cluster, the other nodes will not be able to see the data properly, or will likely destroy each other's data. However, if GFS is used as a stand-alone file system on a single-node, software RAID should be okay. "

czyli tak na prawde zeby to sprawdzic bylby potrzebny eksperyment z 4 wezlami (2 gfs clienty per site) i 2 sity + storage per site.
Na kazdym wezle musialby byc LVM(+CLVM) mirrorujacy na LUNy/PV w obydwu storage'ach, a na tak zestawionym VG dopiero GFS (?) Kazda macierz musialaby juz wystawiac zabezpieczonego LUNa jakims RAIDem wewnetrznym.

... Ale odczyt w przypadku odczytu ze zdalnego storage'u lezy (nie ma preferred read site).

Wole nie myslec o recovery i ilosci bledow w takiej infrastrukturze ;) ale testy same w sobie moga byc pouczajace ;)
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

Fraunhofer Parallel Cluster...




Wyślij zaproszenie do
Anuluj