GoldenLine
Zaloguj się
Łukasz Gogolin

Łukasz Gogolin Senior DevOps
Engineer, Cherry
Poland

Temat: ESX 4.1 + iSCSI

Witam,

czy ktoś spotkał się z następującym problemem:

2 x ESX 4.1 zainstalowany na serwerze HP DL380G6 4 x 146GB (RAID10), 32GB RAM, 2 x X5550, 4 x 10/100/1000

podpięty do macierzy HP StorageWorks P4300 G2 (4 półki po 3,6TB, w kazdej 2 x 10/100/1000)
Na każdej półce RAID5, 4 półki spięte w NetRAID10.

Macierz i serwery mają swoje switche tylko dla iSCSI

Przy podłączeniu się do macierzy wydajność na poziomie 30MB/s zapis, 50MB/s odczyt, gdzie przy podłączeniu się do tej samej macierzy serwerem linuxowym wydajność na poziomie 90MB/s zapis, 100MB/s odczyt.

Cała sieć w cat. 6, obsługa JumboFrame włączona.
Próbowalem już nawet na ESX'ie tuningowac ustawienia kernela ale za dużo to nie dało

Schemat połączenia:

Obrazek
Łukasz Gogolin edytował(a) ten post dnia 12.10.10 o godzinie 16:51
Link do wypowiedziLink
Krzysztof W.

Krzysztof W. Technical Consultant

Temat: ESX 4.1 + iSCSI

Łukasz Gogolin:
Witam,

czy ktoś spotkał się z następującym problemem:

2 x ESX 4.1 zainstalowany na serwerze HP DL380G6 4 x 146GB (RAID10), 32GB RAM, 2 x X5550, 4 x 10/100/1000

podpięty do macierzy HP StorageWorks P4300 G2 (4 półki po 3,6TB, w kazdej 2 x 10/100/1000)
Na każdej półce RAID5, 4 półki spięte w NetRAID10.

Macierz i serwery mają swoje switche tylko dla iSCSI

Przy podłączeniu się do macierzy wydajność na poziomie 30MB/s zapis, 50MB/s odczyt, gdzie przy podłączeniu się do tej samej macierzy serwerem linuxowym wydajność na poziomie 90MB/s zapis, 100MB/s odczyt.

Cała sieć w cat. 6, obsługa JumboFrame włączona.
Próbowalem już nawet na ESX'ie tuningowac ustawienia kernela ale za dużo to nie dało

Schemat połączenia:

Obrazek
Łukasz Gogolin edytował(a) ten post dnia 12.10.10 o godzinie 16:51

Hej
Bez dokladniejszy informacji o Twojej konfiguracji ciezko cos powiedziec. Zakladam ze skonfigurowales zgodnie z vSphere 4.1 best practices, ale tylko gwoli przypomnienia:
*masz dwa porty vmkernel, po jednym dla kazdej sciezki
*zmapowales karty sieciowe tak ze na kazdy port vmkernel przypada jedna karta
*do powyzszego konfigurujesz aktywna karte - ustaw Override vSwitch failover order
*ostanim krokiem jest zmapowanie portow vmkernel do iSCSI software initiator'a (vmhba33) - zakladam ze uzywasz software'owego a nie sprzetowego
Do wykonania ostatniego kroku uzywasz nastepujacgo polecenia
esxcli swiscsi nic add –n <port_name> -d <vmhba>
zastepujac <port_name> przez nazwe portu vmkernel przypisanej do vSwitch'a
<vmhba> przewaznie przez vmhba33

Zeby zweryfikowac poprawne mapowanie uruchom "esxcli swiscsi nic list –d vmhba33" z lini komend, i jezeli bedziesz mialal problem z wydajnosci, wrzyc tu na forum

Krzychu
Link do wypowiedziLink

konto usunięte

Temat: ESX 4.1 + iSCSI

A na switchach loopbackow nie ma ?
Link do wypowiedziLink
Łukasz Gogolin

Łukasz Gogolin Senior DevOps
Engineer, Cherry
Poland

Temat: ESX 4.1 + iSCSI

Hej
Bez dokladniejszy informacji o Twojej konfiguracji ciezko cos powiedziec. Zakladam ze skonfigurowales zgodnie z vSphere 4.1 best practices, ale tylko gwoli przypomnienia:
*masz dwa porty vmkernel, po jednym dla kazdej sciezki
*zmapowales karty sieciowe tak ze na kazdy port vmkernel przypada jedna karta
*do powyzszego konfigurujesz aktywna karte - ustaw Override vSwitch failover order
*ostanim krokiem jest zmapowanie portow vmkernel do iSCSI software initiator'a (vmhba33) - zakladam ze uzywasz software'owego a nie sprzetowego
Do wykonania ostatniego kroku uzywasz nastepujacgo polecenia
esxcli swiscsi nic add –n <port_name> -d <vmhba>
zastepujac <port_name> przez nazwe portu vmkernel przypisanej do vSwitch'a
<vmhba> przewaznie przez vmhba33

Zeby zweryfikowac poprawne mapowanie uruchom "esxcli swiscsi nic list –d vmhba33" z lini komend, i jezeli bedziesz mialal problem z wydajnosci, wrzyc tu na forum

Krzychu


Jutro jeszcze przetestuje dokładnie żeby się nie okazało, że coś pominąłem ale testowałem już naprawdę różne kombinacje alpejskie (dlatego też pisze na forum bo nie mam pomysłu co może być nie tak) i za każdym razem wydajność na takim samym poziomie.

Co do loopbacków to pomiedzy switchami jest LAG 4 x Gigabit
Link do wypowiedziLink

konto usunięte

Temat: ESX 4.1 + iSCSI

Łukasz Gogolin:
Co do loopbacków to pomiedzy switchami jest LAG 4 x Gigabit

No ... albo lag, albo lacp ;) jedno przeczy drugiemu ;PKrzysztof Pułapa edytował(a) ten post dnia 12.10.10 o godzinie 21:27
Link do wypowiedziLink
Łukasz Gogolin

Łukasz Gogolin Senior DevOps
Engineer, Cherry
Poland

Temat: ESX 4.1 + iSCSI

Krzysztof Pułapa:
Łukasz Gogolin:
Co do loopbacków to pomiedzy switchami jest LAG 4 x Gigabit

No ... albo lag, albo lacp ;) jedno przeczy drugiemu ;PKrzysztof Pułapa edytował(a) ten post dnia 12.10.10 o godzinie 21:27

Nie wiem gdzie tu jedno przeczy drugiemu no ale...
Link do wypowiedziLink

konto usunięte

Temat: ESX 4.1 + iSCSI

Łukasz Gogolin:
Nie wiem gdzie tu jedno przeczy drugiemu no ale...

To tylko gra słów: http://pl.wikipedia.org/wiki/Lag
Link do wypowiedziLink
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

Nie jest dla mnie jasne czy to ESXi (bez service console) czy "pełny" ESX
W jaki sposób uzyskałeś te wyniki ? (metoda pomiaru)
Czy rzeczywiście masz problemy z wydajnością (maszyny wirtualne mają problemy z wydajnością) czy tylko "przejmujesz się cyferkami" ?
Link do wypowiedziLink
Łukasz Gogolin

Łukasz Gogolin Senior DevOps
Engineer, Cherry
Poland

Temat: ESX 4.1 + iSCSI

Przepraszam za mała ilość informacji jaką wcześniej podałem ale posta pisałem z domu.

Co do wersji esx to jest to ESXi 4.1 dedykowany dla serwerów HP.

Software iSCSI jest u mnie jako vmhba37

Załączam wynik poleceń:

esxcli swiscsi nic list -d vmhba37
http://wklej.org/id/401081/

esxcfg-vswitch -l
http://wklej.org/id/401082/

esxcfg-nics -l
http://wklej.org/id/401083/

esxcfg-vmknic -l
http://wklej.org/id/401084/

Co do macierzy:

każda półka ma 2 porty gigabitowe. Na każdej zrobiony bonding w trybie 802.3ad - jeden port wpięty do pierwszego switcha, drugi do drugiego żeby zachować pełną redundancje.

każda półka ma swoje IP od 10.92.200.11 do 10.92.200.14 a całość jest widoczna jako Virtual IP pod adresem 10.92.200.10

Pomiędzy switchami zrobiona agregacja portów 4 x gigabit.

Sebastian Baryło:
Czy rzeczywiście masz problemy z wydajnością (maszyny wirtualne mają problemy z wydajnością) czy tylko "przejmujesz się cyferkami" ?

Wydaje mi się, że coś jest nie tak jeśli maszyna wirtualna której dysk ma 60GB przenosi się z lokalnego storage'a na iSCSI około 40min.
Link do wypowiedziLink

konto usunięte

Temat: ESX 4.1 + iSCSI

Łukasz Gogolin:
każda półka ma 2 porty gigabitowe. Na każdej zrobiony bonding w trybie 802.3ad - jeden port wpięty do pierwszego switcha, drugi do drugiego żeby zachować pełną redundancje.

No to już masz przyczynę ...

Jeśli to dwa switche to zrób bonding mode=1 (active-passive) lub mode=6 (balance-alb).

A switche muszą być spięte własnym linkiem.Krzysztof Pułapa edytował(a) ten post dnia 14.10.10 o godzinie 11:38
Link do wypowiedziLink

konto usunięte

Temat: ESX 4.1 + iSCSI

Łukasz Gogolin:
Sebastian Baryło:
Czy rzeczywiście masz problemy z wydajnością (maszyny wirtualne mają problemy z wydajnością) czy tylko "przejmujesz się cyferkami" ?

Wydaje mi się, że coś jest nie tak jeśli maszyna wirtualna której dysk ma 60GB przenosi się z lokalnego storage'a na iSCSI około 40min.
Hmm a mi sie wydaje, ze jest dobrze. A tak poza tym, jaki jest sens robienie RAID10 na ESXi? Szkoda dyskow i duzo mielienie. System i tak malo co robi :)
RAID5 masz na storage! Jakie masz tam dyski, SATA, FC?

Umnie 50GB na RAID5/Sata kopiuje 90min :)
Snapshot 650gigowej maszyny robi sie 40 godzin. Raz zrobilem i juz nigdy wiecej. LOL normalnie
Ale cóz wiecej mozna zrobic na starej "ewce 4k"
Link do wypowiedziLink
Łukasz Gogolin

Łukasz Gogolin Senior DevOps
Engineer, Cherry
Poland

Temat: ESX 4.1 + iSCSI

W każdej półce 8 dysków SAS 15krpm po 450GB kazdy
Link do wypowiedziLink

konto usunięte

Temat: ESX 4.1 + iSCSI

No to wypas. Chociaz to dalej RAID5, dziala super przy odczytywaniu. Zapis lezy.
Ja ma tez porobione vdiski z SAS w RAID1 i to dopiero ladnie dziala :)
NO nic, moze Krzyska rozwiazanie zadzialaRafal S. edytował(a) ten post dnia 14.10.10 o godzinie 11:55
Link do wypowiedziLink
Łukasz Gogolin

Łukasz Gogolin Senior DevOps
Engineer, Cherry
Poland

Temat: ESX 4.1 + iSCSI

Właśnie zmieniam z 802.3ad na ALB zobaczymy.

A co do wydajności wgrałem tam 3 maszyny wirtualne, 2 ktore praktycznie nic nie robia i jedna maszyne na ktorej jest zimbra postawiona i juz widac jak caly system zaczal zamulac wiec napewno jest cos nie tak

Edit:

802.3ad zmienione na ALB - żadnej poprawy.

Co do RAID5 to jak najbardziej się zgadzam no ale bez przesady żeby taka macierz nie wyrabiała przy jednej wirtualce.Łukasz Gogolin edytował(a) ten post dnia 14.10.10 o godzinie 12:09
Link do wypowiedziLink
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

Ups - byłem przekonany, że Krzysztof Pułapa ma rację...

Pewnie to wina tego że dawno nie pracowałem z iSCSI
(zasadzie w ogóle nie pracowałem z kombinacją vSphere + iSCSI a podobno sporo się zmieniło ;)

Być może z tego samego powodu nie rozumiem dlaczego używasz 4ch osobnych interfejsów vmkernela (z osobnymi IP) skoro wszystkie targety iSCSI (półki) masz w tej samej podsieci a switche sieciowe masz tylko dwa ?
Nie widzę tu zysku ani w wydajnosci ani redundancji
(zastrzegam raz jeszcze, że mogę gadać głupoty z braku doświadczenia w vSphere + iSCSI ;)

Ja (przynajmniej w ESX 3.5 ;) ustawiłbym pojedynczy adres interfejsu vmk iSCSI, do switcha dodałbym (przykładowo) vminc6+7 (active, bonding na jednym ze switchy) oraz vmnic2+3 (passive, bonding na drugim switchu) na drugim hoście "na odwrót" (active <-> passive) a adresy półek dodałbym jako targety iSCSI we właściwościach inicjatora upewniając się że hosty używają różnych ścieżek aktywnych (coby się dwa nie pchały do tej samej półki)

Taka konfiguracja (przynajmniej dla mnie) wydaje się bardziej przejrzysta i łatwiejsza do troubleshootingu a może i vmkernel nie musiałby się tyle głowić którędy te pakiety wysyłać i jak odbierać ;)
Link do wypowiedziLink

konto usunięte

Temat: ESX 4.1 + iSCSI

Sebastian Baryło:
Ups - byłem przekonany, że Krzysztof Pułapa ma rację...

Ja też byłem przekonany :)

Wynikało to z tego, że parę miesięcy temu robiłem różne testy HA z dwoma switchami i dwoma serwerami próbując na różne sposoby wyciągnąć maksimum wydajności przy zachowaniu maksymalnego HA.

No i w tym trybie przy podłączeniu interfejsów bonda do dwóch różnych switchy osiągało to niecałą połowę wydajności.
Link do wypowiedziLink
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

No dobra - doczytałem sobie, ze vSphere dopuszcza wiele aktywnych ścieżek do datastorów iSCSI, więc teoretycznie 4 osobne porty vmkernel powinny zwiekszyc przepustowosc...
Ja tam jednak osobiście wolę rozwiązania nad którymi mam więcej kontroli ;)
Pytanie brzmi czy lepiej jest gdy obydwa hosty maja możliwość komunikacji ze wszystkimi 4 półkami jednocześnie - ale z ryzykiem występowania (i rozwiązywania) kolizji czy też lepiej rodzielić ten ruch "ręcznie" pomiędzy półki (zachowując możliwość fail-overu) zapewniając, że każdy host ma dwie półki "na wyłączność"
I chyba nie ma uniwersalnej odpowiedzi (dla każdej konfiguracji, rodzaju sprzętu itd trzeba porobić testy ;)

Pozdrawiam
SB
Link do wypowiedziLink
Łukasz Gogolin

Łukasz Gogolin Senior DevOps
Engineer, Cherry
Poland

Temat: ESX 4.1 + iSCSI

Właśnie taki był mój zamiar żeby poprzez 4 porty vmk rozdzielić ruch na półki (round robin w manage path) ale d*%a z tego ;)
Bo jak się okazało nie mogę się podpiąć pod każdą półkę z osobna - manager na macierzy zarzadza pod ktora polke mozna sie podpiac (ta polka jest wtedy jako gateway) i w razie padu przelacza nas na inna polke.

Testowalem to w ten sposob, ze podpialem sie pod macierz, wszystkie sciezki byly podlaczone pod jedna polke: 10.92.200.11, wylaczylem ta polke z pradu i oczywiscie bez utraty dostepu do LUN'a w sciezkach zmienilo sie polaczenie na polke 2: 10.92.200.12

Musiałbym zrobic 2 Virtual IP na macierzy w roznych klasach adresowych i zrobić mniej wiecej tak jak napisal Sebastian Baryło vmnic6+7 w jednej klasie + vmnic2+3 w drugiej klasie i wydaje mi się, że wtedy uzyskał bym w miare rozsądny load balancing.

Jeśli się mylę to mnie poprawcie :)

Edit:

Ustawiłem na półkach RAID10, calosc spieta w NetRAID10 i wydajnosc dalej taka samaŁukasz Gogolin edytował(a) ten post dnia 15.10.10 o godzinie 09:07
Link do wypowiedziLink
Łukasz Gogolin

Łukasz Gogolin Senior DevOps
Engineer, Cherry
Poland

Temat: ESX 4.1 + iSCSI

Pytanie:

czy optymalizowaliście ustawienia software iscsi ?

chodzi mi o First Burst Length, Max Burst Length i MaxRecvDataSegLen

przydalo by się też odczytać ustawienia z lefthanda ale nie znalazłem nigdzie w cliq komendy odnośnie ustawien iscsi
Link do wypowiedziLink

konto usunięte

Temat: ESX 4.1 + iSCSI

w 4.1 jest cos takeigo jak:

Storage and Network I/O Control

http://geeksilver.wordpress.com/2010/07/28/vmware-vsph...

sprawdzales ustawienia?
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

VMware ESX - domowy labik




Wyślij zaproszenie do
Anuluj