Temat: Oracle RAC / konfiguracja dysków Voting

Witam,

Obecnie wdrażam dwu nodowego RAC'a w wersji 10r2 na RH ES 4 u6
Chciałbym stworzyć konfigurację odporną na wszelkie możliwe awarie i napotkałem pewien problem - chodzi o dyski Voting.

Rozwiązanie oparte jest o dyski zlokalizowane na macierzach w dwóch różnych ośrodkach.

Wszystko jest ustawione jak trzeba jednak zastanawia mnie pewien szczegół - standardowo w czasie instalacji jest możliwość podania lokalizacji 3 dysków biorących udział w głosowaniu, po instalacji można ich dodać dowolną ilość.

Nie wiem w jaki sensowny sposób ustrzec się przed padem całej lokalizacji (macierzy również).

W tej chwili mam po 2 dyski Vot na lokalizację.
Od prezentowanie dysków z jednej strony powoduje wyłączenie klastra.

Może ktoś rozwiązał ten problem u siebie?

Ja zastanawiałem się nad zlokalizowaniem części dysków na woluminach opartych o HP continues access jednak nie do końca działa to jak trzeba.

Pozdrawiam,
Michał

Temat: Oracle RAC / konfiguracja dysków Voting

Najpierw powiedz czy interesuje cię tylko konfiguracja RAC/Linux,
czy wchodzą w grę inne kombinacje

Temat: Oracle RAC / konfiguracja dysków Voting

Tylko RAC linux... i tylko 2 lokalizacje - przy 3 nie było by problemu.

Oracle odpowiedział mi następującym dokumentem
http://www.oracle.com/technology/products/database/clu...
Traktuje on osobny udział NAS jako 3 dysk biorący udział w głosowaniu, jednak to zabieg hmm lekko bez sensu (lokalizacje są tylko 2 i ta konfiguracja nie zakłada np. awarii zasilania).

Temat: Oracle RAC / konfiguracja dysków Voting

Michał Umięcki:
Tylko RAC linux... i tylko 2 lokalizacje - przy 3 nie było by problemu.

Oracle odpowiedział mi następującym dokumentem
http://www.oracle.com/technology/products/database/clu...
Traktuje on osobny udział NAS jako 3 dysk biorący udział w głosowaniu, jednak to zabieg hmm lekko bez sensu (lokalizacje są tylko 2 i ta konfiguracja nie zakłada np. awarii zasilania).

Czesc,
Jesli masz tylko 2 nody to dodatkowy dysk vote nie ma sensu - ma on sens tylko i wylacznie w konfiguracji gdy masz wiecej niz 2 nody w 2 lokalizacjach i cala lokalizacja Ci bada.

Dla dwoch nodow i 2 lokalizacji proponuje dolozyc dwie macierze
i zrobic na nich mirroring na poziomie ASM-a - co ma pewne wady (nie da sie ustawic master macierzy dla lokalizacji, dopiero od 11g sie da) ale jest tansze, albo zakupic Veritas-a dla RAC-a
(chyba musze z nimi podpisac umowe o reklame ;) )
i zrobic wszystko w oparciu o ich cluster file system.

W tym przypadku jestes kryty w kazdym przypadku - pad macierzy, pad serwera i pad calej lokalizacji.

Jesli potrzebujesz projektu/konsultacji/referencji to zapraszam na priva.

pozdrawiam,
Marcin Przepiorowski
http://oracleprof.blogspot.com/

Temat: Oracle RAC / konfiguracja dysków Voting

Michał Umięcki:
Wszystko jest ustawione jak trzeba jednak zastanawia mnie pewien szczegół - standardowo w czasie instalacji jest możliwość podania lokalizacji 3 dysków biorących udział w głosowaniu, po instalacji można ich dodać dowolną ilość.

Poczytaj o "quorum". Mozesz pogooglac za dokumentacja Sun Solaris Cluster, z tego co pamietam, mieli bardzo ladna dyskusje wlasnie na temat votingu (co prawda ichniego) ale koncept pozostaje bez zmian.

W tej chwili mam po 2 dyski Vot na lokalizację.
Od prezentowanie dysków z jednej strony powoduje wyłączenie klastra.

Może ktoś rozwiązał ten problem u siebie?

To co starasz sie zrealizowac jest dosyc trudne i nazywa sie Extended RAC albo Stretched RAC. Nie podales odleglosci miedzy nodami ani rodzaju interconnectu, tak samo co z SAN-em (?).

W takiej konfiguracji *musisz* miec element rozstrzygajacy niezalezny od 2 site'ow -- to moze byc trzeci dowolny serwer z NFSem w przypadku RACa badz czlowiek/dgmgrl w przypadku DataGuarda.

Temat: Oracle RAC / konfiguracja dysków Voting

Jakub Wartak:

W takiej konfiguracji *musisz* miec element rozstrzygajacy niezalezny od 2 site'ow -- to moze byc trzeci dowolny serwer z NFSem w przypadku RACa badz czlowiek/dgmgrl w przypadku DataGuarda.

Powiedz mi dlaczego przy klastrze 2 nodowym nawet w konfiguracji extanded MUSI miec dodatkowy dysk server vote ?

Zgadzam sie ze jesli jest wiecej niz 2 nody to tak ale czemu przy 2 nodach ?

pozdrawiam,
Marcin

Temat: Oracle RAC / konfiguracja dysków Voting

Marcin Przepiórowski:

Jakub Wartak:

W takiej konfiguracji *musisz* miec element rozstrzygajacy niezalezny od 2 site'ow -- to moze byc trzeci dowolny serwer z NFSem w przypadku RACa badz czlowiek/dgmgrl w przypadku DataGuarda.

Powiedz mi dlaczego przy klastrze 2 nodowym nawet w konfiguracji extanded MUSI miec dodatkowy dysk server vote ?

Zgadzam sie ze jesli jest wiecej niz 2 nody to tak ale czemu przy 2 nodach ?

Nie; musi byc quorum i tyle. Gdybys mial 2 wezly + 2 macierze = 4(quorum). A musi byc >= 50%+1 aby clusterware sie utrzymalo {voting diskow, nodow}. Czyli jak wyleci jeden site (1N+1V) to bedzie 50% ale nie > 50% i dlatego sie zlozy. Jak masz RACa i tylko 2 nody a nie masz votingu (nigdy co prawda takiego scenariusza nie testowalem, nawet nie jestem przekonany co do mozliwosci supportowania takiego RACa) to teoretycznie kazda przerwa na interconnecie zlozy calego RACa. Jak masz 1 voting disk przy extended RACu to jak sie zlozy caly site z macierza trzymajaca voting to:
1) stracisz 1 wezel
2) stracisz jedyny quorum
a tym samym CRS na drugim sajcie stwierdzi ze quroum jest 1/3 czyli tez sie zlozy. Czyli 2 nodowy RAC nie moze miec 1 voting dysku, 2 tez nie => musi miec trzy z czego 1 jest zewnetrzny.

Temat: Oracle RAC / konfiguracja dysków Voting

Veritas raczej nie wchodzi w grę.
Do tego miałem z oprogramowaniem symanteca tego typu (Veritas Storage Fundation Basic) przykre doświadczenia.
Support jako rozwiązanie 2 zgłoszonych problemów poradził przeinstalowanie aplikacji!

Zatem pokombinuje jeszcze z tym CA od HP (trzeci głos oparty o to rozwiązanie).

Bardzo dziękuje za pomoc.

Podzielę się jak uda mi się coś ustalić.

Temat: Oracle RAC / konfiguracja dysków Voting

Jakub Wartak:

Marcin Przepiórowski:

Jakub Wartak:

W takiej konfiguracji *musisz* miec element rozstrzygajacy niezalezny od 2 site'ow -- to moze byc trzeci dowolny serwer z NFSem w przypadku RACa badz czlowiek/dgmgrl w przypadku DataGuarda.

Powiedz mi dlaczego przy klastrze 2 nodowym nawet w konfiguracji extanded MUSI miec dodatkowy dysk server vote ?

Zgadzam sie ze jesli jest wiecej niz 2 nody to tak ale czemu przy 2 nodach ?

Nie; musi byc quorum i tyle. Gdybys mial 2 wezly + 2 macierze = 4(quorum). A musi byc >= 50%+1 aby clusterware sie utrzymalo {voting diskow, nodow}. Czyli jak wyleci jeden site (1N+1V) to bedzie 50% ale nie > 50% i dlatego sie zlozy. Jak masz RACa i tylko 2 nody a nie masz votingu (nigdy co prawda takiego scenariusza nie testowalem, nawet nie jestem przekonany co do mozliwosci supportowania takiego RACa) to teoretycznie kazda przerwa na interconnecie zlozy calego RACa. Jak masz 1 voting disk przy extended RACu to jak sie zlozy caly site z macierza trzymajaca voting to:
1) stracisz 1 wezel
2) stracisz jedyny quorum
a tym samym CRS na drugim sajcie stwierdzi ze quroum jest 1/3 czyli tez sie zlozy. Czyli 2 nodowy RAC nie moze miec 1 voting dysku, 2 tez nie => musi miec trzy z czego 1 jest zewnetrzny.

Czesc,

Robisz vote na mirroring volumentow z dwoch macierzy
W przypadku padu jednego z sitow zawsze masz co najmniej vote
disks z jednej z nich i RAC bedzie dzialal.

A jesli zrobisz 2 vote to mozesz je rozlozyc po jednym na macierz i wtedy tez bedzie dzialac, bo po utracie jednego z nich dalej sobie RAC dziala.

Dodatkowy vote na zewnetrznej macierzy jest potrzebny jak masz w kazdej lokalizacji RAC-a i oprocz tego sa one spiete w extended RAC - czyli w sumie masz 4 nody i wtedy jesli miedzy sitami nie ma interconnecta to Oracle nie wie ktory z votow jest dobry - bo sa 2 pary po 2 instancje i nie wie ktore ubic, bo ktores musi zeby nie bylo problemow z baza danych.

pozdrawiam,
Marcin Przepiorowski

Temat: Oracle RAC / konfiguracja dysków Voting

Michał Umięcki:
Veritas raczej nie wchodzi w grę.
Do tego miałem z oprogramowaniem symanteca tego typu (Veritas Storage Fundation Basic) przykre doświadczenia.
Support jako rozwiązanie 2 zgłoszonych problemów poradził przeinstalowanie aplikacji!

Witam,

Zdrozylem troche tego typu rozwiazan i nigdy nie mialem problemu.
Ciekawe kto Ci to instalowal.

Zatem pokombinuje jeszcze z tym CA od HP (trzeci głos oparty o to rozwiązanie).

To najbardziej ryzykowne rozwiazanie ze wszystkich,
jak ci sie rozjedzie synchronizacja macierzy to zgodnie z prawem Murphy-iego zadnej bazy nie odpalisz.

Oczywiscie ludzie od macierzy powiedza ze to niemozliwe ;)

pozdrawiam,
Marcin Przepiorowski

Temat: Oracle RAC / konfiguracja dysków Voting

Robisz vote na mirroring volumentow z dwoch macierzy W przypadku padu jednego z sitow zawsze masz co najmniej vote disks z jednej z nich i RAC bedzie dzialal.

Ok, chodzi ci o LVM na poziomie systemu robiony z 2 LUNow pod voting?

A jesli zrobisz 2 vote to mozesz je rozlozyc po jednym na macierz i wtedy tez bedzie dzialac, bo po utracie jednego z nich dalej sobie RAC dziala.

Biorac pod uwage to co napisal p.Michal:
"Rozwiązanie oparte jest o dyski zlokalizowane na macierzach w dwóch różnych ośrodkach."
i ze ma byc "odporne na wszystko" (rozumiem przez to ze na pad site'a tez) to 1 wezel siteA, 2 wezel siteB, czyli IMHO musza byc 3 vote'y+2 nody. Czyli caly czas mysle o Ext.RAC w tej dyskusji.

Dodatkowy vote na zewnetrznej macierzy jest potrzebny jak masz w kazdej lokalizacji RAC-a i oprocz tego sa one spiete w extended RAC

Extended RAC formalnie sie nie rozni od zwyklego RACa jak dla mnie (jedynie dystans FC SAN/interconnectu robi roznice). Konfiguracja (przynajmniej 10gR2 i 11gR1) jest identyczna, tylko voting diskow wiecej i wiecej oraz duzo problemow :)

- czyli w sumie masz 4 nody i wtedy jesli miedzy sitami nie ma interconnecta to Oracle nie wie ktory z votow jest dobry - bo sa 2 pary po 2 instancje i nie wie ktore ubic, bo ktores musi zeby nie bylo problemow z baza danych.

Do Extended RACa tez wystarcza 2 nody, pytanie czy jest sens ekonomiczny robienia czegos takiego albo czy potrzeba przepiecia site'u w mniej niz 120s (znowu ekonomia ponad nami ;))

Rozwijajac poprzednie pytanie o 2 nody w extended RAC: @"Zgadzam sie ze jesli jest wiecej niz 2 nody to tak ale czemu przy 2 nodach ?"
Musi byc 3rd site na wypadek split-braina, tzn. ja to widze tak ze jesli 2 site'y stracą polaczenie FC i interconnecta miedzy soba, to w przypadku kazdego z tych wezlow (nodeA i nodeB) stwierdzi ze jego voting disk na lokalnej macierzy jest osiagalny, zas przeciwlegly node i voting disk po jego stronie nie, wiec quroum bedzie 2/4 (co nie spelnia warunku wiekszosci do quorum) i obydwa wezly sie zloza. Z tego co pamietam, ze swoich testow to site ktory miał szybszy dostep do 3rd vote diska (NFS/iSCSI) sie nie "zwijał". Jesli chcesz/albo inni byliby zainteresowani to moge jeszcze przetestowac taki scenariusz (2V + 2N).Jakub Wartak edytował(a) ten post dnia 24.03.09 o godzinie 17:47

Temat: Oracle RAC / konfiguracja dysków Voting

Jakub Wartak:

Robisz vote na mirroring volumentow z dwoch macierzy W przypadku padu jednego z sitow zawsze masz co najmniej vote disks z jednej z nich i RAC bedzie dzialal.

Ok, chodzi ci o LVM na poziomie systemu robiony z 2 LUNow pod voting?

>

Tak, metoda dowolna ale ogolnie mowiac volumen na 2 dyskach fizycznych.

A jesli zrobisz 2 vote to mozesz je rozlozyc po jednym na macierz i wtedy tez bedzie dzialac, bo po utracie jednego z nich dalej sobie RAC dziala.

Biorac pod uwage to co napisal p.Michal:
"Rozwiązanie oparte jest o dyski zlokalizowane na macierzach w dwóch różnych ośrodkach."
i ze ma byc "odporne na wszystko" (rozumiem przez to ze na pad site'a tez) to 1 wezel siteA, 2 wezel siteB, czyli IMHO musza byc 3 vote'y+2 nody.
Rozwijajac poprzednie pytanie o 2 nody w extended RAC: @"Zgadzam sie ze jesli jest wiecej niz 2 nody to tak ale czemu przy 2 nodach ?"
Musi byc 3rd site na wypadek split-braina, tzn. ja to widze tak ze jesli 2 site'y stracą polaczenie FC i interconnecta miedzy soba, to w przypadku kazdego z tych wezlow (nodeA i nodeB) stwierdzi ze jego voting disk na lokalnej macierzy jest osiagalny, zas przeciwlegly node i voting disk po jego stronie nie, wiec quroum bedzie 2/4 (co nie spelnia warunku wiekszosci do quorum) i obydwa wezly sie zloza. Z tego co pamietam, ze swoich testow to site ktory miał szybszy dostep do 3rd vote diska (NFS/iSCSI) sie nie "zwijał". Jesli chcesz/albo inni byliby zainteresowani to moge jeszcze przetestowac taki scenariusz (2V + 2N).

Twoje zabezpieczenie z 3 niezaleznym votem to zabezpieczenie przed padem sieci pomiedzy sitami. Faktycznie tego nie wzialem pod uwage w pierwszej mojej odpowiedzi. Jak padnie siec to rozwiazanie oparte na synchronizacji LUN-ow tez sie nie sprawdzi i bedzie split brain.

Ale zakladajac pad sieci miedzy sitami mozna tez zalozyc ze sity nie beda widziec 3-go vota ;)
Wiec tak i tak bedzie niewesolo ;)

update:
Jezeli zrobimy mirroring LVM za pomoca jakiegos inteligentnego
softu to przy split-brain jedna z macierzy wyleci w powietrze ;)

ps.
A swoja droga pamietasz gdzie w dokumencji Oracle jest wzor na quorum ? widzialem go gdzies ale jakos nie moge znalesc ponownie

pozdrawiam,
Marcin PrzepiorowskiMarcin Przepiórowski edytował(a) ten post dnia 24.03.09 o godzinie 21:26

Temat: Oracle RAC / konfiguracja dysków Voting

Marcin Przepiórowski:
update:
Jezeli zrobimy mirroring LVM za pomoca jakiegos inteligentnego
softu to przy split-brain jedna z macierzy wyleci w powietrze ;)

Ale to pewnie tez jakos wykorzysta jakas "zewnetrzna" strone ;)

ps.
A swoja droga pamietasz gdzie w dokumencji Oracle jest wzor na quorum ? widzialem go gdzies ale jakos nie moge znalesc ponownie

Niestety nie moge znalesc, w sumie nigdy nie widzialem nawet takiego doca od Oracle (jedynie w Sun Cluster jest to opisane dokladnie). Natomiast Alex Gorbachev opisal to tutaj: http://forums.oracle.com/forums/thread.jspa?messageID=...