Marcin Kruszy

Marcin Kruszy Klaun od
wirtualizacji z
paroma podręcznymi
zaklęciami.

Temat: ESX 4.1 + iSCSI

"Last but not least, you need to have Enterprise Plus license in terms of enable this function. "

Wątpię żeby Ent+ było w użyciu.

konto usunięte

Temat: ESX 4.1 + iSCSI

Adrian Zabielski:
w 4.1 jest cos takeigo jak:

Storage and Network I/O Control

http://geeksilver.wordpress.com/2010/07/28/vmware-vsph...

sprawdzales ustawienia?
SIOC sluzy do czego innego!
Po pierwsze nie bylo mowy o virtualnej maszynie, a po drugie w pierwszym poscie bylo mowa o pojedynczym kopiowaniu, wiec powinno sie wyciagnac max z SANa, bo nic innego go nie obciaza.
Lukasz zapewne zaprezentowal LUNa z SANa jednemu z serverow, ktory nie jest ESXem i osiaga lepsze transfery, niz przy np. cold migration na ESX local<->SAN, przy zalozeniu ze ESX i inny server fizyczny stoja na takich samych dyskach SAS i ustawieniu RAID.

A to, ze trzeba miec ENT+, i wg mnie nie warte doplacania jak za vDS, FT, to juz inna bajka.
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

No największą "wartością dodaną" licencji ent+ jest możliwość używania do
12 core per socket
(amd już ma 12 procesory z 12 core, intel zapewne już za chwileczkę ;)
Naprawdę można ładnie skonsolidować conieco ;)
vDS jest również OK - w środowisku ~100 hostów, ~1000 vm, ~300 vlan vDS naprawdę wiele ułatwia ;)
FT - nie i jeszcze długo nie ...
Marcin Rybak

Marcin Rybak Administrator

Temat: ESX 4.1 + iSCSI

Sebastian Baryło:
No dobra - doczytałem sobie, ze vSphere dopuszcza wiele aktywnych ścieżek do datastorów iSCSI, więc teoretycznie 4 osobne porty vmkernel powinny zwiekszyc przepustowosc...

zwiększyć przepustowość globalną dla całego ESX'a, nie dla pojedynczego procesu!

robiąc jakiegokolwiek trunka przecież nie osiągniemy w pojedynczym połączeniu więcej niż moc jednego linku... czyli w tym wypadku 1gbps. Dodatkowo narzut vmfs'a...

a sprawdź jak wygląda jakość pracy z jednym switchem w prostej ścieżce - ile jesteś w stanie wyciągnąć - i czy nie zamulają Ci maszyny, imho gdzieś pakiety błądzą po switchach.
Łukasz Gogolin

Łukasz Gogolin Senior DevOps
Engineer, Cherry
Poland

Temat: ESX 4.1 + iSCSI

Mamy wersje Enterprise.

Tak jak powiedział Rafał Skrzypiec, ESX'a nic nie obciąża (była tam testowo jedna maszyna - i przy odpaleniu po iSCSI klękła), na SAN'ie jest wystawiony jeden LUN dla ESX'a.
Test robilem w taki sposób, że z Local datastore na ESX'ie kopiowalem obraz iso 4,3GB na datastore po iSCSI.

Marcin Rybak: z jednym switchem tez robilem testy - do switcha byly wpiete tylk o 4 polki z lefthanda i sieciowka z esx'a ktora byla tylko dla iSCSI. Efekt - to samo czyli około 30MB/s przy łączu 1Gbps, gdzie na zwykłym serwierze wyciagam spokojnie 90MB/s
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

Marcin Rybak:
Sebastian Baryło:
No dobra - doczytałem sobie, ze vSphere dopuszcza wiele aktywnych ścieżek do datastorów iSCSI, więc teoretycznie 4 osobne porty vmkernel powinny zwiekszyc przepustowosc...

zwiększyć przepustowość globalną dla całego ESX'a, nie dla pojedynczego procesu!

robiąc jakiegokolwiek trunka przecież nie osiągniemy w pojedynczym połączeniu więcej niż moc jednego linku... czyli w tym wypadku 1gbps. Dodatkowo narzut vmfs'a...

No to jest moim zdaniem dyskusyjne, inicjator iSCSI jest (od 4.0) zaimplementowany na poziomie vmkernela, a opisany przypadek to nic innego jak sekwencja odczytu (jest duże prawdopodobieństwo, że liniowa - pojedynczy plik vmdk) danych z datastora vmfs.
I w tym momencie wszystko zależy od tego na ile inteligentnie na poziomie vmkernel-a współpracują inicjator iSCSI z driver-em vmfs-a.
Jeśli vmkernel potrafi sobie taką sekwencję rozbić na niezależne potoki i zrównoleglić odczyt różnych bloków vmfs przez różne ścieżki aktywne inicjatora to efektywnie uzyskiwany jest wzrost przepustowości dla "pojedynczego procesu" (cokolwiek rozumiesz pod tym pojęciem, jeśli masz na myśli pojedynczą vm to jest to de facto "process set")
Nie wiem jak to jest dokładnie (nie trafiłem na dokumentację tak szczegółowo opisującą "bebechy" vmkernel-a, jeśli ktoś trafił to niech się podzieli ;) ale potrafię sobie taką implementację wyobrazić (przetwarzanie wielopotokowe to w końcu żadna nowość ;)
Na pewno nie stawiałbym wykrzyknika po stwierdzeniu, które wynika z Twojego założenia, że pojedynczy "proces" może uzyskiwać dostęp do datastora wyłącznie poprzez pojedynczą ścieżkę ;)

konto usunięte

Temat: ESX 4.1 + iSCSI

Łukasz Gogolin:
http://www.techhead.co.uk/dell-equallogic-ps4000-hands...
Zobacz sekcję VMware ESX iSCSI Configuration
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

Marcin Bojko:
Łukasz Gogolin:
http://www.techhead.co.uk/dell-equallogic-ps4000-hands...
Zobacz sekcję VMware ESX iSCSI Configuration
Dobry artykuł!

I rozczarowanie, że ten multipathing w vSphere taki toporny ;)
Dla mnie kolejny argument za tym, że lepsze są jednak konfiguracje nad którymi administrator ma większą (świadomą) kontrolę (co napisałem już parę dni temu ;)

konto usunięte

Temat: ESX 4.1 + iSCSI

Sebastian Baryło:
Marcin Bojko:
Łukasz Gogolin:
http://www.techhead.co.uk/dell-equallogic-ps4000-hands...
Zobacz sekcję VMware ESX iSCSI Configuration
Dobry artykuł!

I rozczarowanie, że ten multipathing w vSphere taki toporny ;)
Dla mnie kolejny argument za tym, że lepsze są jednak konfiguracje nad którymi administrator ma większą (świadomą) kontrolę (co napisałem już parę dni temu ;)
Trafiłem na niego przypadkiem badając dziwne dla mnie zachowanie tego modelu Della.
Może ktoś mi podpowie - założony jeden wolumen, 2 serwery W2k8 z inicjatorem scsi, bez multipath - każdy widzi poprawnie tenże wolumen. Zmiany w wolumenie robione przez serwer A nie są jednak widoczne przez serwer B - i vice versa.
Normalnie to zachowanie czy nie ?
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

Może ktoś mi podpowie - założony jeden wolumen, 2 serwery W2k8 z inicjatorem scsi, bez multipath - każdy widzi poprawnie tenże wolumen. Zmiany w wolumenie robione przez serwer A nie są jednak widoczne przez serwer B - i vice versa.
Normalnie to zachowanie czy nie ?

OMG... Ilu producentów storage tyle problemów jak widze ;)
Każda najprostsza macierz iSCSI powinna mieć możliwość konfiguracji wolumenów
z "wielodostępem w celu użycia MSCS" (jako quorum resource itd)
Jeśli (zakładam że tak było) skonfigurowałeś wolumen w ten sposób (tyle sposobów konfiguracji ilu producentów storage :D ) i masz takie objawy to coś jest "cholernie daleko od OK" :D

konto usunięte

Temat: ESX 4.1 + iSCSI

Sebastian Baryło:

OMG... Ilu producentów storage tyle problemów jak widze ;)
Każda najprostsza macierz iSCSI powinna mieć możliwość konfiguracji wolumenów
z "wielodostępem w celu użycia MSCS" (jako quorum resource itd)
Jeśli (zakładam że tak było) skonfigurowałeś wolumen w ten sposób (tyle sposobów konfiguracji ilu producentów storage :D ) i masz takie objawy to coś jest "cholernie daleko od OK" :D
No jasne że włączyłem pozwolenie na wiele konekcji od różnych IQN - inaczej nawet nie było szans na połączenie 2 serwerów.
Dzięki Sebastian, bo już podejrzewałem się o ehem ... uwstecznienie.

Edit: zaraz, ja nie używam MSCS.Marcin Bojko edytował(a) ten post dnia 02.11.10 o godzinie 21:28

konto usunięte

Temat: ESX 4.1 + iSCSI

Sebastian Baryło:
Każda najprostsza macierz iSCSI powinna mieć możliwość konfiguracji wolumenów
z "wielodostępem w celu użycia MSCS"

1. Każdy polityk powinien być zdrowy psychicznie.
2. Każdy program powinien działać poprawnie.
...
x. Wpisz swoje życzenie :)
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

zaraz, ja nie używam MSCS.
Nie no MSCS był jako przykład tylko (jak widać niezbyt udanie dobrany :D )
Win2k8 to dla mnie czarna magia - pewnie dlatego wyciągnąłem MSCS :DSebastian Baryło edytował(a) ten post dnia 02.11.10 o godzinie 21:34
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

Krzysztof Pułapa:
Sebastian Baryło:
Każda najprostsza macierz iSCSI powinna mieć możliwość konfiguracji wolumenów
z "wielodostępem w celu użycia MSCS"

1. Każdy polityk powinien być zdrowy psychicznie.
2. Każdy program powinien działać poprawnie.
...
x. Wpisz swoje życzenie :)
Heh

Podobno IT jest jedyną dziedziną w której nic nie działa zgodnie z założeniami, ale wszyscy się na to zgadzają :D
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

Efekt - to samo czyli około 30MB/s przy
łączu 1Gbps, gdzie na zwykłym serwierze wyciagam spokojnie 90MB/s

Kurde ja ostatnio walcze z różnymi dziwnymi rzeczami na blade serwerach HP i tak sobie pomyślałem...
Może to głupie pytanie ale...
Co to jest ten "zwykły serwer" ? Ten sam sprzęt, karty sieciowe, wersje firmware na tych kartach ?
Jak przeszukasz vmware communities pod kątem zachowań sprzętu HP to... włos się jeży na łysej głowie :D

konto usunięte

Temat: ESX 4.1 + iSCSI

Sebastian Baryło:
Jak przeszukasz vmware communities pod kątem zachowań sprzętu HP to... włos się jeży na łysej głowie :D
Z cyklu przeżyj to sam: http://marcinbojko.wordpress.com/2009/06/08/hop-siup-e...
http://marcinbojko.wordpress.com/2009/06/06/z-cyklu-u-...

Dodam że nic nie pomogło, liczba interrupts dla kart sieciowych skakała w oczach, zero możliwości pracy jako serwer.

Następnym razem biorę Xena ;)Marcin Bojko edytował(a) ten post dnia 02.11.10 o godzinie 21:41
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

Tjaaa

Ja mam "na warsztacie" dwie HP c7000 w pełni obsadzone bl465 g7
(najnowszejsze AMD 12 core) a do tego Virtual Connect Flex-10
I wszystko pięknie działa... z wyjątkiem pewnych "magicznych" vlan id, np vmki (na szczęście jeszcze nie produkcyjne) z vlan id 255 mają łączność "czasem"
A z vlan id 256 ... WCALE :D
Support vmware jak i hp magicy póki co rozkładają bezradnie ręce :D
Dodam że firmware w tych magicznych kartach sieciowych datowane jest na... 14.10.2010

And mommy always told me... stay out of the bleeding edge :D

konto usunięte

Temat: ESX 4.1 + iSCSI

Sebastian Baryło:
And mommy always told me... stay out of the bleeding edge :D

http://www.liveleak.com/view?i=d6c_1288720159

:)
Łukasz Gogolin

Łukasz Gogolin Senior DevOps
Engineer, Cherry
Poland

Temat: ESX 4.1 + iSCSI

Sebastian Baryło:
Efekt - to samo czyli około 30MB/s przy
łączu 1Gbps, gdzie na zwykłym serwierze wyciagam spokojnie 90MB/s

Kurde ja ostatnio walcze z różnymi dziwnymi rzeczami na blade serwerach HP i tak sobie pomyślałem...
Może to głupie pytanie ale...
Co to jest ten "zwykły serwer" ? Ten sam sprzęt, karty sieciowe, wersje firmware na tych kartach ?
Jak przeszukasz vmware communities pod kątem zachowań sprzętu HP to... włos się jeży na łysej głowie :D

Troche się źle wyraziłem z tym "zwykłym serwerem", oczywiście chodziło mi o ten sam model serwera czyli - HP DL380G6 tylko w troszke slabszej konfiguracji z postawionym gentoo.

Marcin Bojko: dzięki za artykuł

Myślałem, że może switche (SGE2010) nie wydalają, więc pożyczyłem po znajomości cisco 3650G, ale bez zmian.

Powoli zaczynam tracić cierpliwość do tej macierzy :)
(a miało być tak pięknie...)
Sebastian Baryło

Sebastian Baryło System Engineer -
Vmware @ European
Central Bank (via
Serco)

Temat: ESX 4.1 + iSCSI

Powoli zaczynam tracić cierpliwość do tej macierzy :)
(a miało być tak pięknie...)

Skoro ten proliant z gentoo jest "identyczny" (do wersji firmware w sieciówkach włącznie) to raczej nie wina macierzy...
Rozumiem, że tak inwazyjne metody jak instalacja czegokolwiek innego
(CentOS, Debian, whatever) "w celu sprawdzenia" na jednym z hostów nie wchodzą w grę, sprawa ciągle jednak nie rozwiązana...
Próbowałeś otworzyć case-a w vmware ?
Skoro masz licencje Enterprise, powinieneś mieć również support
(przynajmniej na rok)
Trafisz pewnie na jakiegoś rodaka z Dublin-u i może okazać się, że rozwiązanie jest tak proste jak jakieś parametry dla modułu sterownika karty sieciowej w vmkernel ;)

Następna dyskusja:

VMware ESX - domowy labik




Wyślij zaproszenie do