Temat: RAID pod Linuksem (adaptec 2100s)

Krzysiek N.:
mam do uruchomienia taki serwer: dwuprocesorowa pyta intel STL2, 2x pentium III 1GHz, 1GB RAM, w jednym ze slotow PCI kontroler RAID 2100S Adapteca obsługiwany chipsetem 7892B tejże firmy. do niego podpiete 5 dyskw scsi (raid lvl 5 z hotswapem)

mam nawet chyba podobna/taka sama plyte w pracy. na szczescie z tego co widzialem watek udalo sie pomyslnie zakonczyc. dwa zdania moze komus sie przyda

1) adaptec - zawsze predzej czy pozniej mialem z nimi problemy. od jakiegos czasu kontrolery 3ware i zadne inne. dziala. i jest wydajnie. 2-3x (200-300%) szybciej niz adaptec na podobnej konfiguracji
2) nizej/wyzej padlo, ze sprzetowy raid jest wydajniejszy niz progrmowy. smiem sie nie zgodzic :) u mnie jest dokladnie na odwrot. raid programowy jest u mnie zdecydowanie szybszy, mamy kontrole nad macierza natywnie w systemie + pare innych wartosci dodanych - chocby przenoszalnosc takiej macierzy miedzy dowolnym kontrolerem i innym linux-em, mieszanie roznych dyskow jak jest potrzeba itd. procesor nie jest az tak mocno obciazony nawet jak sie testuje bonnie++ to zwykle gardlem ciagle jest dysk a nie cpu

oczywiscie nie twierdze, ze programowy raid jest lepszy, bo jest tez bardziej upierdliwy i trzeba go pilnowac, ale bywa zdecydownaie szybszy i jest elastyczniejszy. to tak pokrotce. moze komus sie przyda

pzd
Sylwester

Temat: RAID pod Linuksem (adaptec 2100s)

Padło bo jest to prawda :)
Zakładam że nie porównujemy kontrolerów za 19.99 zł.
Druga sprawa że jeżeli w jakikolwiek sposób "wychodzi" Ci, iż RAID software'owy jest wydajniejszy - to zmień narzędzie albo sposób testowania :)

Pierwsze rzeczy jakich uczę ludzi o RAID - to o performance w zalezności od poziomu raidu, umiejscowienia hardware'u, rozmiarów stripe itp, write-cache i tym podobnych rzeczach o których software'owe raidy mogą jedynie pomarzyć albo emulować.

Macierz to nie tylko algebraiczna suma prędkości dysków to także zaawansowana zabawa z logiką jak w przypadku RAID5 czy ADG - to że 'wydaje' Ci się że procesor nie jest obciążany to nie oznacza że nie ma to wpływu na perfomance systemu.

Generalnie sprawa jest dla mnie aksjomatem - przepraszam, nie chcę wyjść na niereformowalnego ale akurat serwerami i macierzami to ja się zajmuję ;)

Również dwa zdania
- przenoszalność
W normalnych systemach przenoszalność jest 100% - w ramach wielu generacji kontrolerów. Odwrotnie niż w raidzie software'owym 'popierdółki', wersje i moduły OS'a nie mają znaczenia.

- kontrola nad macierzą
Jeżeli rozmawiamy o mdadmie plus zestawie skryptów to sorry, ale to nie ten poziom. Porównywanie takiego ACU czy innego orpogramowania do raidów hardware'owych - no to trzeba po prostu przeżyć ;)

Temat: RAID pod Linuksem (adaptec 2100s)

Marcin B.:
Padło bo jest to prawda :)
Zakładam że nie porównujemy kontrolerów za 19.99 zł.

z 3 serwerow:
Adaptec AIC-7899P U160/m
Adaptec AAR-2810SA
LSI 53C1030
3ware Inc 9550SX

nie sa po 19.99pln. chyba, ze masz jakas super promocje, to ja kupie pare takich po 19.99

Druga sprawa że jeżeli w jakikolwiek sposób "wychodzi" Ci, iż RAID software'owy jest wydajniejszy - to zmień narzędzie albo sposób testowania :)

jakis lepszy pod linux-em niz bonnie++ ?

Pierwsze rzeczy jakich uczę ludzi o RAID - to o performance w zalezności od poziomu raidu, umiejscowienia hardware'u, rozmiarów stripe itp, write-cache i tym podobnych rzeczach o których software'owe raidy mogą jedynie pomarzyć albo emulować.

sprawdz odrobine moze na poczatek linux-owego raida. to wszystko istnieje od jakiegos czasu ? laczenie z wyborem algorytmu, wielkosci stripow, ilosci dyskow sparowych, lacznie z tego co wiem z laczeniem puli dyskow sparowych itd. write-cache ustawia sie na kontrolerze(+bateryjka), poza tym co ma os w cache - ups, flush

chcę wyjść na niereformowalnego ale akurat serwerami i macierzami to ja się zajmuję ;)

ja tez. i co to oznacza ? tzw monopol na niby wiedze ? bez urazy

Również dwa zdania
- przenoszalność
W normalnych systemach przenoszalność jest 100% - w ramach wielu generacji kontrolerów. Odwrotnie niż w raidzie software'owym 'popierdółki', wersje i moduły OS'a nie mają znaczenia.

sprawdz jak dziala raid linux-owy pls. szczegolnie jak sie kozysta juz z UUID. zarowno na poziomie macierzy jak i os-u
nie podejzewam, ze 'nowej generacji' kontrolery 3ware i Adapteca beda ze soba gadaly ? mozna wymienic dyski miedzy nimi ? nie sadze. ale moze. nie wiem tego. pod programowym dba o to uuid. reszta (sprzet) jest mniej istotna. jak to sie da na sprzetowym - to bede mile zaskoczony

- kontrola nad macierzą
Jeżeli rozmawiamy o mdadmie plus zestawie skryptów to sorry, ale to nie ten poziom. Porównywanie takiego ACU czy innego orpogramowania do raidów hardware'owych - no to trzeba po prostu przeżyć ;)

czyli np co mozna zrobic wiecej sprzetowym raidem w stosunku do softwarowego ? przypominam, ze 'sprzetowy' to tez soft zaszyty w kontrolerze. jedyny ew plus to to, ze moze byc dedykowany procesor do przeliczen np w raid-a innych niz (0,1) i to, ze w systemie mamy ew 'jeden logiczny dysk' zamiast np 8

nie twierdze, ze zawsze softwarowy bedzie lepszy niz sprzetowy, ale w 90% przypadkow podejzewam ze bedzie. a wielokrotnie testowalem, przed zalozeniem macierzy, ktora opcja bedzie szybsza. poki co nie zdarzalo sie, zeby sprzetowy byl szybszy. moze 3ware mialem dylemat. ale nie przy adaptecu i lsi

p.s.
wlasnie puscilem bonniego na 8 dyskach 1.6TB macierz, test 4GB. ociazenie 1 procesora przez proces od macierzy... 2%. inne procesory stoja wolne. a bonni 'katuje' system. on nie zapisuje, tylko katuje system. czyli nie bedzie wiecej niz 5% zajetosci procesora i to 'bulkowo'. sam proces bonniego zajmuje miedzy 16 a 85% mocy 1 procesora

transfer na poziomie:
zapis: 188917KB (~188MB)
oczyt: 393358KB (~393MB)

daj mi podobne wyniki na sprzetowym :) 8hdd, raid5, chunk 64kb, xfs

Temat: RAID pod Linuksem (adaptec 2100s)

Nie za bardzo wiem jak mam CI odpowiedzieć skoro 3 serwery z i jeden bonnie stanowi całe środowisko testowe o jakim dyskutujemy.

Istnieje (słuszna) teoria iż nie ma RAID'ów hardware'owych, wszystkie są software'owe, zaś różnice polegają na tym jak nisko zapisany jest software.

Istnieje również teoria (niesłuszna) głosząca że RAID to tylko głupie przerzucanie kilku bajtów pomiędzy dyskami, stąd szybkośc raidu wynika z wzoru: dysk1+dysk2+dysk3.

Do udowodnienia jednej tezy nad drugą trzeba miec nieco większe spektrum porównawcze, nie mogę tego określic inaczej.

Żeby nie być gołosłownym, sprawdź proszę np. testy konsystencji dysków - czas trwania na RAID software'owym lub hardware'owym, sprawdź proszę czas rekonstrukcji (tu mały hint: potrafą być jak 4:1 w przypadku 3Ware i 8:1 w przypadku SmartArray'ów).

Sprawdź proszę koniecznie performance i zachowanie systemu w przypadku awarii i odbudowy macierzy w trybie degraded, sprawdź
Takie testy w zasadzie od razu skreślą Ci rozwiązanie z mdadmem w jakimkolwiek rozwiązaniu produkcyjnym.

Nie zrozum mnie źle - sam używam mdadma w ponad 2500 tyś. maszyn, w pozostałych maszynach hardware, NIGDY jednak nie zdarzyło mi się aby maszyna produkcyjna (np. bazodanowa) miała raid software'owy, wręcz odwotnie, wciąż trwaja migracje takich rozwiązań.

Mam na chwile obecną około 15 maszyn jeszcze (przy 50 już zmigrowanych) gdzie przesiadam się z softu na stareńkie SmartArraye 641 (w kilku przypadkach na 64xx) i o szybkości pracy serwera bazodanowego nie ma nawet o czym dyskutować.

Tak więc, wybacz, nie mogę empirycznie uwierzyć w przewagę softu i wydajności opartej na CPU w porównaniu z dedykowanym (choć często niemłodym już) rozwiązaniem hard.

Dla czystej ciekawości sprawdziłem wyniki instalacji na maszynach produkcyjnych.

DL 385 G5 - 4 dyski w JBOD, mdadm - czas instalacji systemu projektowego - 37 minut.
DL 385 G5 - 4 dyski/RAID5/BBWC - 24 minuty.

Dla reszty dyskusji proponuję oddzielny wątek albo PW - temat jest zupełnie o czymś innym.

PS. Tak, tak, zupełnie bez urazy.Marcin Bojko edytował(a) ten post dnia 22.10.07 o godzinie 14:18

Temat: RAID pod Linuksem (adaptec 2100s)

Marcin B.:

Dla reszty dyskusji proponuję oddzielny wątek albo PW - temat jest zupełnie o czymś innym.

PS. Tak, tak, zupełnie bez urazy.Marcin Bojko edytował(a) ten post dnia 22.10.07 o godzinie 14:18

jezeli ktos ma ochote poczytac o wyzszosci jednych raidow nad drugimi to moze byc nowy watek lub... kazdy z nas zostanie przy swoim zdaniu :)

pzd
Sylwester