Kamil Kordas

Kamil Kordas Administrator
systemów/sieci

Temat: drbd - xen -lvm - problem

Witam,

Probuje ustawic drbd z xen+lvm i niestety mam maly problem.W momencie kiedy nastepuje synchronizacja dyskow to drbd1 synchroznizuje sie do drbd2 czyli pobiera z niego dane. Na drbd2 jest dysk z taka sama nazwa i pojemnoscia jak na drbd1 zalozony na lvm. Jest on pusty i przy synchronizacji nadpisuje dysk na drbd1 gdzie jest wirtualka xena.Chcialbym sie dowiedziec gdzie lezy problem ze to tak w tym momencie dziala. Ponizej przedstawiam plik konfiguracyjny:


global {
usage-count yes;
}

common {
syncer { rate 90M; }
}

resource baza {
protocol C;
startup {
wfc-timeout 120; ## 2 min
degr-wfc-timeout 120; ## 2 minutes.
}
disk {
on-io-error detach;
}
net {
allow-two-primaries;
after-sb-0pri discard-zero-changes;
after-sb-1pri discard-secondary;

timeout 60;
connect-int 10;
ping-int 10;
max-buffers 2048;
max-epoch-size 2048;
}
syncer {
}

on drbd1 {
address 10.10.10.1:7789;
device /dev/drbd1;
disk /dev/vol1/baza-disk;
meta-disk /dev/vol1/drbd[0];

}

on drbd2 {
address 10.10.10.2:7789;
device /dev/drbd1;
disk /dev/vol1/baza-disk;
meta-disk /dev/vol1/drbd[0];
}
}

resource baza-swap {
protocol C;
startup {
wfc-timeout 120; ## 2 min
degr-wfc-timeout 120; ## 2 minutes.
}
disk {
on-io-error detach;
}
net {
allow-two-primaries;
after-sb-0pri discard-zero-changes;
after-sb-1pri discard-secondary;

timeout 60;
connect-int 10;
ping-int 10;
max-buffers 2048;
max-epoch-size 2048;
}
syncer {
}

on drbd1 {
address 10.10.10.1:7790;
device /dev/drbd2;
disk /dev/vol1/baza-swap;
meta-disk /dev/vol1/drbd[1];
}
on drbd2 {
address 10.10.10.2:7790;
device /dev/drbd2;
disk /dev/vol1/baza-swap;
meta-disk /dev/vol1/drbd[1];
}
}


Kamil

konto usunięte

Temat: drbd - xen -lvm - problem

Wywal to allow-two-primaries, to tylko pakowanie się w kłopoty. I podaj też sekwencję poleceń jakimi startujesz mirror, bo wydaje mi się, że to ona może być winna. Przyjrzyj się temu przykładowi:

[root@maniana ~]# more /etc/drbd.conf
global {
usage-count no;
}
common {
protocol C;
}

resource datafiles {
device /dev/drbd1;
disk /dev/md1;
meta-disk internal;

syncer {
verify-alg crc32c;
rate 80M;
}

on maniana {
address 192.168.1.1:7789;
}
on maniana2 {
address 192.168.1.2:7789;
}
}
Kamil Kordas

Kamil Kordas Administrator
systemów/sieci

Temat: drbd - xen -lvm - problem

Witam

Załóżmy że plik konfiguracyjny mam juz taki sam na obu hostach i startuje drbd:

/etc/init.d/drbd start na obu hostach i później na primary wydaje polecenie drbdsetup /dev/drbd1 primary -o, drbdsetup /dev/drbd2 primary -o.
Posługiwałem się tym opisem: http://www.asplund.nu/xencluster/xen-cluster-howto.html

konto usunięte

Temat: drbd - xen -lvm - problem

Kamil Kordas:
/etc/init.d/drbd start na obu hostach i później na primary wydaje polecenie drbdsetup /dev/drbd1 primary -o, drbdsetup /dev/drbd2 primary -o.

Ten opis jest jakiś ... "dziwny". Być może jego autor coś skrócił, albo SOA#1 = U niego to działa.

Lepiej zacznij od oryginalnej dokumentacji DRBD:

http://www.drbd.org/users-guide-emb/s-first-time-up.html

konto usunięte

Temat: drbd - xen -lvm - problem

I cisza ....
Rafał S.

Rafał S. Czasami I. Czasami
T.

Temat: drbd - xen -lvm - problem

allow-two-primaries musi być jesli chcemy w łatwy sposób zrobić live migration.

Tak jak Pan Krzysztof napisał ten model to potencjalne pakowanie się w problemy bo możesz łatwo trafić na split-brain`y.

Jeśli starasz się zbudować środowisko dla Xena pozwalające na live migration i nie wpakować się w problemy zainteresuj się czymś w rodzaju systemu plików GFS, CLVM + centralny storage

PS. wiem że to zabrzmi strasznie, ale u mnie testowałem podobną konfigurację i działała. Różnicą było trzymanie metadanych bezpośrednio na partycji synchronizowanej.
Może to ci pomoże: http://www.nabble.com/Performance-problems-with-domU-o...Rafał S. edytował(a) ten post dnia 24.02.09 o godzinie 15:37
Kamil Kordas

Kamil Kordas Administrator
systemów/sieci

Temat: drbd - xen -lvm - problem

Krzysztof P.:
I cisza ....

Przepraszam że się nie odzywałem ale męczyłem to drbd, jak uruchamiałem poprzez /etc/init.d/drbd start to odrazu uruchamiała się synchronizacja i zle sie synchronizowalo jezeli robilem to wg tego opisu z drbd.org to dziala to ladnie. Jak wspomnial poniżej kolega Rafal allow-two-primariers musi byc wlasnie w momencie kiedy chcemy miec live-migration a dokładnie to chce uzyskac.
Kamil Kordas

Kamil Kordas Administrator
systemów/sieci

Temat: drbd - xen -lvm - problem

Rafał S.:
allow-two-primaries musi być jesli chcemy w łatwy sposób zrobić live migration.

Tak jak Pan Krzysztof napisał ten model to potencjalne pakowanie się w problemy bo możesz łatwo trafić na split-brain`y.

Jeśli starasz się zbudować środowisko dla Xena pozwalające na live migration i nie wpakować się w problemy zainteresuj się czymś w rodzaju systemu plików GFS, CLVM + centralny storage

PS. wiem że to zabrzmi strasznie, ale u mnie testowałem podobną konfigurację i działała. Różnicą było trzymanie metadanych bezpośrednio na partycji synchronizowanej.
Może to ci pomoże:

Mam pytanko co kolega uzywał jako centralnego storage? Jakas macierz? Czy mozna to uzyskac wykorzystujac serwer gdzie np bylby LVM?

konto usunięte

Temat: drbd - xen -lvm - problem

Kamil Kordas:
Mam pytanko co kolega uzywał jako centralnego storage? Jakas macierz? Czy mozna to uzyskac wykorzystujac serwer gdzie np bylby LVM?

Zawsze można to uzyskać, chociażby wykorzystując iSCSI. Dowolny pecet z dużą iloscią dysków i jakis OpenFiler ...
Rafał S.

Rafał S. Czasami I. Czasami
T.

Temat: drbd - xen -lvm - problem

Dokładnie. Używam zwykłych serwerów z dużą ilością dysków i eksportuje partycje za pomocą iSCSI.
Dobry sprawdzony sposób.

Jeśli budujesz wysokodostępną infrastrukturę, a tak wygląda z problemu jaki opisales, to proponuję zainteresować się OpenQRM. Świetne narzędzie do zarządzania całym Data Center integrujące wszystkie systemy wirtualizacji w jeden centralny panel.

Jestem w trakcie rozkopywania i testowania tego oprogramowania i jak narazie wyniki są optymistyczne :)
Kamil Kordas

Kamil Kordas Administrator
systemów/sieci

Temat: drbd - xen -lvm - problem

Oczywiście te zwykłe serwery mają te dyski spięte w jakiś raid:)?

konto usunięte

Temat: drbd - xen -lvm - problem

Kamil Kordas:
Oczywiście te zwykłe serwery mają te dyski spięte w jakiś raid:)?

Tak, w RAID0 ...

Następna dyskusja:

lvm problem, lvol zmienil s...




Wyślij zaproszenie do