Mateusz Blaszka

Mateusz Blaszka Administrator
Windows i Linux

Temat: System plików pod Win, Linux z HA...

Jak do tej pory nie robiłem jeszcze macierzy z funkcjami takimi jak HA, failovering z rozproszonym systemem plików, stąd moje pytanie tutaj.

Założenia są takie. Chciałbym - na razie na próbę - stworzyć duży zasób na dane pochodzące z systemów Linux (np. zasób dla kont ftp) i Win (dane generowane przez aplikacje).

System miałby być skalowalny - dokładam kilka maszyn z dyskami i powiększa się zasób jak i bezpieczeństwo danych. Dla bezpieczeństwa i niezawodności ten sam plik musiałby być przechowywany na kilku serwerach.

Rozumiem, że w takim przypadku musi być jakiś serwer sterujący, który będzie kierował połączenie do odpowiedniego hosta z danym plikiem, który jest równocześnie najmniej obciążony. W takim wypadku jeśli jest założenie HA usługi to musi być również taka możliwość dla serwera sterującego.

W przypadku awarii jakiegoś hosta, to dokładam nowy i następuje automatyczna odbudowa struktury, tak aby nie trzeba było tego robić ręcznie - przy dużych środowiskach to chyba niemożliwe...

Pliki które będą na zasobie przechowywane będą różne, różniaste - duże, małe i naprawdę wielgachne czyli odpadają systemy które mają duże ograniczenia.

W związku z tym, że nie mam w tym względzie doświadczenia to proszę Was o pomoc. Czy ja w ogóle dobrze myślę? Bezawaryjny zasób powinien mieć jeszcze jakieś założenia (na razie pomijam infrastrukturę sieciową)?

Jeśli dobrze myślę potrzebuję systemu plików z tymi funkcjami, który będzie działał zarówno pod Win i Lin. Z tego co poszperałem to nie ma za dużo takich systemów plików open source...

Znalazłem XtreemFS, ale zdaje się, że to jakiś świeży wynalazek. Ktoś może się pochwalić doświadczeniem z tym systemem plików?

A może ja w ogóle źle myślę i czegoś takiego nie da się zrobić? DFS z Win Serwer dla Windowsów i jakiś system dla Linuxów?

konto usunięte

Temat: System plików pod Win, Linux z HA...

Osobiscie nie znam stabilnego, rozproszonego systemu plikow, ktory mozna podpiac bezposrednio do hostow Windows i Linux. Zasadniczo infrastruktura tego typu jest i powinna byc mocno homogeniczna - albo Windows, albo Linux - a udzial serwowany po jakims bardziej abstrakcyjnym protokole typu SMB czy NFS.

Jesli chodzi o rozproszone systemy plikow pod Linuksa masz do wyboru calkiem sporo:
- PVFS
- GFS
- GPFS
- FhGFS
- Lustre

i inne...

Lustre bylby potencjalnie najlepszym kandydatem. PVFS jest malo stabilny, FhGFS bardzo obiecujacy, GPFS drogi a GFS troche przestarzaly, IMHO. "Load balancing" realizowany jest raczej na poziomie I/O (striping) a nie konkretnego zasobu (pliku). Takie rzeczy to juz na wyzszym poziomie astrakcji (patrz CDNy itd.).
Piotr Baranowski

Piotr Baranowski RHCA, RHCSS, RHCDS,
RHCVA, RHCX,
CTO@OSEC.pl

Temat: System plików pod Win, Linux z HA...

http://www.xtreemfs.org/

konto usunięte

Temat: System plików pod Win, Linux z HA...

Piotr Baranowski:
http://www.xtreemfs.org/


Bylo wspomniane przez autora watku.
Podstawowy problem - to jest zaimplementowane w userspace via FUSE. Wydajnoscia moze nie grzeszyc przy bardzo duzych obciazeniach.
Piotr Baranowski

Piotr Baranowski RHCA, RHCSS, RHCDS,
RHCVA, RHCX,
CTO@OSEC.pl

Temat: System plików pod Win, Linux z HA...

Łukasz S.:
Piotr Baranowski:
http://www.xtreemfs.org/


Bylo wspomniane przez autora watku.
Podstawowy problem - to jest zaimplementowane w userspace via FUSE. Wydajnoscia moze nie grzeszyc przy bardzo duzych obciazeniach.

Nie zauważyłem.

P.

konto usunięte

Temat: System plików pod Win, Linux z HA...

Piotr Baranowski:
Łukasz S.:
Piotr Baranowski:
http://www.xtreemfs.org/

Bylo wspomniane przez autora watku.
Podstawowy problem - to jest zaimplementowane w userspace via FUSE. Wydajnoscia moze nie grzeszyc przy bardzo duzych obciazeniach.

Nie zauważyłem.
Że nie grzeszy wydajnością, czy że OP wspomniał? Bo to dość istotna różnica z punktu widzenia czytelników ;)

Temat: System plików pod Win, Linux z HA...

Łukasz S.:
Piotr Baranowski:
http://www.xtreemfs.org/


Bylo wspomniane przez autora watku.
Podstawowy problem - to jest zaimplementowane w userspace via FUSE. Wydajnoscia moze nie grzeszyc przy bardzo duzych obciazeniach.
To nie jest jego podstawowy problem, tych ma troche więcej ;p kiedys testowałem parę FSów i skończyło się na http://www.moosefs.org/. Nie jest w 100% rozproszony (ma master serwer z metadanymi któremu trzeba zapewnić HA (baza mastera jest replikowana, tyle że trzeba zatrzymać replikacje i odpalić mastera) używając np. heartbeata, oraz jest optymalizowany dla dużych plików (min. wielkość bloku 64k) więc małę pliki zmarnują sporo miejsca.

A z zalet szybki, dosyć prosty do zainstalowania, automatyczny rebuild i balancing chunkserwerów (czyli jak masz serwery z 1 2 i 3 TB to rozłoży się równo zajmując taki sam % miejsca, a gdy dorzucisz nowy to go "napełni" do takiej samej zajętości jak reszta), pad serwera (chyba że to akurat master) nie powoduje chwilowego zablokowania klastra jak np. w GFS.

reszta w ich FAQ ;]
Piotr Baranowski

Piotr Baranowski RHCA, RHCSS, RHCDS,
RHCVA, RHCX,
CTO@OSEC.pl

Temat: System plików pod Win, Linux z HA...

Jakub J.:
Piotr Baranowski:
Łukasz S.:
Piotr Baranowski:
http://www.xtreemfs.org/

Bylo wspomniane przez autora watku.
Podstawowy problem - to jest zaimplementowane w userspace via FUSE. Wydajnoscia moze nie grzeszyc przy bardzo duzych obciazeniach.

Nie zauważyłem.
Że nie grzeszy wydajnością, czy że OP wspomniał? Bo to dość istotna różnica z punktu widzenia czytelników ;)

Zawsze ostry jak brzytwa :)

"Nie zauważyłem" w pierwszym poście napomknięcie o XTRMFS ;-]

P.

konto usunięte

Temat: System plików pod Win, Linux z HA...

Łukasz S.:
Osobiscie nie znam stabilnego, rozproszonego systemu plikow, ktory mozna podpiac bezposrednio do hostow Windows i Linux.

A vxfs na CDS diskach ?



Wyślij zaproszenie do