Temat: RAC .... ale "dwumacierzowy".

Eksperymentujemy sobie w labie. Ba ... żeby było trudniej połowa RACa ma stać w innym budynku.Jest sobie do wykorzystania dwie macierze ... identyczne.

Tak pomyśleliśmy sobie, że można byłoby z tego zrobić RACa, ale w ten sposób, że całkowita awaria jednej macierzy nie powoduje jego padu. O ile ASM można ustawić w redundancy normal, to co z voting disc i ocr disc ? Dopiero w 11g można je mieć na ASM, a chcemy pokombinować z 10g.

Jedyne co mi teraz przychodzi do głowy to z każdej macierzy LUN montowany na OCFS czyli będą dwie lokalizacje voting i ocr dysków.

Do rozwiązania jest kwestia interconnectów. Co w tym momencie w rozsądnej cenie pozwala przepchać najmniej 1Gbit/s na odległość powiedzmy kilometra ? O ile dane będą leciały przez FC, to może wyskorzystać dodatowy FC z noda i przepuścić po nim TCPIP ? Patrzyłem na rózne rozwiązania i chyba wystarczy FC wielomodowy z standardowymi laserami w SFP. Tylko trzeba będzie gdzieś załatwić 500 metrów pomaranczowego światłowodu.

System ... Redhat AS 5.

Burza mózgów ? Pofantazjujecie ? :)

Temat: RAC .... ale "dwumacierzowy".

Krzysztof Pułapa:
Burza mózgów ? Pofantazjujecie ? :)

Moja fantazja wyglada tak...
Jak macie VxVM to mozna by te luny pospinac (raid-1) z obu lokalizacji i powystawiac na nody RACa.Zbigniew G. edytował(a) ten post dnia 19.10.09 o godzinie 21:56

Temat: RAC .... ale "dwumacierzowy".

Krzysztof Pułapa:
Eksperymentujemy sobie w labie. Ba ... żeby było trudniej połowa RACa ma stać w innym budynku.Jest sobie do wykorzystania dwie macierze ... identyczne.

Tak pomyśleliśmy sobie, że można byłoby z tego zrobić RACa, ale w ten sposób, że całkowita awaria jednej macierzy nie powoduje jego padu. O ile ASM można ustawić w redundancy normal, to co z voting disc i ocr disc ? Dopiero w 11g można je mieć na ASM, a chcemy pokombinować z 10g.

Jedyne co mi teraz przychodzi do głowy to z każdej macierzy LUN montowany na OCFS czyli będą dwie lokalizacje voting i ocr dysków.

Do rozwiązania jest kwestia interconnectów. Co w tym momencie w rozsądnej cenie pozwala przepchać najmniej 1Gbit/s na odległość powiedzmy kilometra ? O ile dane będą leciały przez FC, to może wyskorzystać dodatowy FC z noda i przepuścić po nim TCPIP ? Patrzyłem na rózne rozwiązania i chyba wystarczy FC wielomodowy z standardowymi laserami w SFP. Tylko trzeba będzie gdzieś załatwić 500 metrów pomaranczowego światłowodu.

System ... Redhat AS 5.

Burza mózgów ? Pofantazjujecie ? :)

Krzysiek,
Pare uwag na poczatek:
- jesli chcesz uzywac ASM-ma to jednak polecam dla ASM-a wersje 11g ktora ma juz prefered mirror - inaczej wszystkie IO beda szly do losowej - niekonieczniej lokalnej macierzy - dam gdzie bedzie primary extened.
- jesli 10g to moze warto rozwazyc Veritas Suit for RAC i jego filesystem
- Generalnie Oracle zaleca jeszcze 3rd Vote disk zlokalizowany w trzeciej lokalizacji, moze byc na NFS-ie, jak zeby zawsze w przypadku awarii zostala wiekszosc Vote dla jednej z instalacji, inaczej jesli masz 2 voty (po jednym na macierzy) mozesz miec problemy
- przesyl danych - a moze infinity band po FC ?
- ale na interconnecta powinien wystarczyc GB Ethernet - no chyba ze ciagniesz to na 10 km - to przy czyms innym niz UDP moglo by dzialac - czytaj protokol LLT Veritasa

To tyle uwag na szybko. Bardzo chetnie rozwine watek, a moze zrobimy grupowo jakis fajny dokument - pewnie to projekt dla klienta ale moze cos wykroisz ;)

pozdrawiam,
Marcin

Temat: RAC .... ale "dwumacierzowy".

Marcin rzeczywiście napisał kilka cenny uwag to dodatkowo jeżeli to AIX (a pewnie nie) to można "spiąć" pod lvm dla ocr vd i sprawa załatwiona.
Ale oczywiście przychylam się do słów Marcina 11g do takich właśnie "zabaw" nadaje się najlepiej dodatkowo Krzysiu rozpatrz jedną ciekawostkę, jeżeli macierze się "rozsynchronizują" z różych przyczyn to synchron będzie całości
a nie różnicy - to jest ogromny plus w asmie 11g.

Temat: RAC .... ale "dwumacierzowy".

Jak mamy fantazjować to ja bym zastanowił się nad czymś takim:
Jeśli to ma być 10g na Redhacie to pewnie da się zainstalować tam Solarisa. A mając Solaris'a może warto się zastanowić nad podłożeniem pod crs'a solaris cluster (Solaris Cluster for Oracle RAC), zrezygnowaniem z ASM'a i użyciem QFS'a (można go używać do vd/ocr/data).
O ile się orientuję zarówno solaris cluster jak i qfs są "zopensourcowane". Nie mówiąc już o tym, że solaris cluster jest chyba sporo dojrzalszym rozwiązaniem niż crs.

Dodatkowa uwaga, tak jak pisał Marcin 2 vote disk to zdecydowanie kiepski pomysł. Jeśli z jakiegoś powodu wystąpią problemy z połączeniem, które spowodują split brain to najprawdopodobniej efekt będzie taki, że oba nody się złożą bo żaden nie będzie miał większości. Wydaje mi się, że nawet konfiguracja z 2 vote disk w jednej lokalizacji i 1 w drugiej była by lepsza.

Temat: RAC .... ale "dwumacierzowy".

Sebastian Kolski:
Jak mamy fantazjować to ja bym zastanowił się nad czymś takim:
Jeśli to ma być 10g na Redhacie to pewnie da się zainstalować tam Solarisa. A mając Solaris'a może warto się zastanowić nad podłożeniem pod crs'a solaris cluster (Solaris Cluster for Oracle RAC), zrezygnowaniem z ASM'a i użyciem QFS'a (można go używać do vd/ocr/data).
O ile się orientuję zarówno solaris cluster jak i qfs są "zopensourcowane". Nie mówiąc już o tym, że solaris cluster jest chyba sporo dojrzalszym rozwiązaniem niż crs.

Nie postawisz RAC-a bez Oracle ClusterWare - nawet jesli masz innego klastra to i tak musi sie to integrowac z Oraclem.

Co do dyskusji QFS/ASM - nie znam QFS-a ale jezeli nie ma on biblioteki ODM pod Oracla to moim zdaniem bedzie wolniejszy - ASM to nic innego jak 'raw device' plus Oraclowy sposob zarzadzania grupa extentow dyskowych - czyli jak kto woli plikiem.
Oczywiscie tracimy jak w kazdym rozwiazaniu na klastrowosci (ale to ma kazdy file system), musimy zarzadzac plikami (kazdy file system) ale procesy Oracla dopieraja sie bezposrednio do dyskow - wiec to juz jest czysty raw device przy operacjach stricte bazowych. Z mojego doswiadczenia wynika ze jedynie Veritas Suit i jego klaster file system jest lepszy ale oni maja wtyke bezposrednio w kernel bazy.

Bardzo chetnie zobaczyl byl porownanie ASM-a i QFS-a, bo moze to jest jakas alternatywa.

Dodatkowa uwaga, tak jak pisał Marcin 2 vote disk to zdecydowanie kiepski pomysł. Jeśli z jakiegoś powodu wystąpią problemy z połączeniem, które spowodują split brain to najprawdopodobniej efekt będzie taki, że oba nody się złożą bo żaden nie będzie miał większości. Wydaje mi się, że nawet konfiguracja z 2 vote disk w jednej lokalizacji i 1 w drugiej była by lepsza.

Hmmm lepsza i nie lepsza - ;) pamietaj ze w takiej sytuacji jedna strona klastra jest uprzywilejowana.

pozdrawiam,
Marcin

Temat: RAC .... ale "dwumacierzowy".

A jeśli nodów zrobilibyśmy 4 ... po dwa w każdej lokalizacji. Minął z rok jak ostatni raz stawiałem RAC 10g. O ile pamiętam to można mieć albo jeden albo trzy voting diski, zrobiłem błąd pisząc o dwóch.

Jeśli zrezygnowalibyśmy z ASM to trzeba byłoby nam jakiś cluster file system ... Veritasa ? Ale za to trzeba dodatkowo zapłacić.

Czyli zostaje nam Sun Cluster. Tylko jak z interconnectami, są jakieś statystyki na temat ich obciążenia ? Im więcej nodów tym więcej pakietów, ciekawe do ilu nodów dałoby to radę wytrzymać jakieś typowe operacje dla 400-500 userów.

Temat: RAC .... ale "dwumacierzowy".

Krzysztof Pułapa:
A jeśli nodów zrobilibyśmy 4 ... po dwa w każdej lokalizacji. Minął z rok jak ostatni raz stawiałem RAC 10g. O ile pamiętam to można mieć albo jeden albo trzy voting diski, zrobiłem błąd pisząc o dwóch.

Jeśli zrezygnowalibyśmy z ASM to trzeba byłoby nam jakiś cluster file system ... Veritasa ? Ale za to trzeba dodatkowo zapłacić.

Czyli zostaje nam Sun Cluster. Tylko jak z interconnectami, są jakieś statystyki na temat ich obciążenia ? Im więcej nodów tym więcej pakietów, ciekawe do ilu nodów dałoby to radę wytrzymać jakieś typowe operacje dla 400-500 userów.

Czesc,
Votow mozesz sobie dodac ile chcesz ;)
Jesli chcialbys miec po 2 nody na lokalizacje to juz napewno musisz miec 3 lokalizacje z vote, bo inaczej to znow jedna strona bedzie uprzywilejowana - a wiec w przypadku 4 stawiasz po 1 votcie na macierzach i jednego vota na NFS-ie gdzies posrodku -
to jest zalecane przy extended cluster - bo wtedy zawsze powinienes miec wiekszosc.

Jesli chodzi o interconnecta to wg. Oracla przy OLTP GB ethernet wysyca sie do 20 - 30 %. Wiesz jak jestes bardzo wredny to wysycisz i do 100 % za pomoca 2 skryptow ;)
Podkladka Oracle:

http://oukc.oracle.com/static05/opn/oracle9i_database/...

Ja osobiscie jeszcze nie widzialem RAC-a ktory by przy normalnym OLTP wysycil interconnect-a - co innego DW i zapytania parallel rozkladane po nodach - tu juz mi sie zdarzylo zobaczy jak porty na switchu swieca na czerwono podczas zwracania danych.

pozdrawiam,
Marcin

Temat: RAC .... ale "dwumacierzowy".

Krzysztof Pułapa:
Eksperymentujemy sobie w labie. Ba ... żeby było trudniej połowa RACa ma stać w innym budynku.Jest sobie do wykorzystania dwie macierze ... identyczne.

Tak pomyśleliśmy sobie, że można byłoby z tego zrobić RACa, ale w ten sposób, że całkowita awaria jednej macierzy nie powoduje jego padu. O ile ASM można ustawić w redundancy normal, to co z voting disc i ocr disc ? Dopiero w 11g można je mieć na ASM, a chcemy pokombinować z 10g.

Jedyne co mi teraz przychodzi do głowy to z każdej macierzy LUN montowany na OCFS czyli będą dwie lokalizacje voting i ocr dysków.

Do rozwiązania jest kwestia interconnectów. Co w tym momencie w rozsądnej cenie pozwala przepchać najmniej 1Gbit/s na odległość powiedzmy kilometra ? O ile dane będą leciały przez FC, to może wyskorzystać dodatowy FC z noda i przepuścić po nim TCPIP ? Patrzyłem na rózne rozwiązania i chyba wystarczy FC wielomodowy z standardowymi laserami w SFP. Tylko trzeba będzie gdzieś załatwić 500 metrów pomaranczowego światłowodu.

System ... Redhat AS 5.

Burza mózgów ? Pofantazjujecie ? :)

To jest Stretched/Extended RAC.

Nie kombinowalbym z:
1) LVM mirroringiem
2) 10.2.04 (OCR mirror mi sie dziwnie zachowywal => 11.1.0.6 bylo OK)

Jak masz FC to bedziesz mial pewien problem z puszczeniem IP i FC jednym swiatelkiem(powinienes miec min. 2+2x switch), a najprosciej miec 4 swiatelka :)

Musisz miec 3rd site (najlepiej NFS/iSCSI).

<autoreklama>
http://www.oracle.com/technology/pub/articles/wartak-r...
</autoreklama>

http://www.goldenline.pl/forum/oracle-dba/825328

Sprawa rozsynchronizowania i split-brainow jest niebanalna i zdalbym sie w pelni na jednego dostawce (Oracle) niz robic kombo w stylu czesc Oracle+OS... (wieksze prawdopodobienstwo przetestowania wszystkich wariantow ;))

http://geertdepaep.wordpress.com/2008/01/24/my-experie...
http://geertdepaep.wordpress.com/2009/10/15/the-ultima...
http://geertdepaep.wordpress.com/2009/10/12/the-ultima...
http://geertdepaep.wordpress.com/2009/10/07/the-ultima...
http://geertdepaep.wordpress.com/2009/10/02/the-ultima...
http://geertdepaep.wordpress.com/2009/09/19/the-ultima...
http://geertdepaep.wordpress.com/2009/09/01/the-ultima...
http://geertdepaep.wordpress.com/2009/08/28/the-ultima...

Helped ? :)Jakub Wartak edytował(a) ten post dnia 21.10.09 o godzinie 11:24

Temat: RAC .... ale "dwumacierzowy".

Jakub Wartak:
stylu czesc Oracle+OS... (wieksze prawdopodobienstwo przetestowania wszystkich wariantow ;))

http://geertdepaep.wordpress.com/2008/01/24/my-experie...
http://geertdepaep.wordpress.com/2009/10/15/the-ultima...
http://geertdepaep.wordpress.com/2009/10/12/the-ultima...
http://geertdepaep.wordpress.com/2009/10/07/the-ultima...
http://geertdepaep.wordpress.com/2009/10/02/the-ultima...
http://geertdepaep.wordpress.com/2009/09/19/the-ultima...
http://geertdepaep.wordpress.com/2009/09/01/the-ultima...
http://geertdepaep.wordpress.com/2009/08/28/the-ultima...

Helped ? :)

Widac juz zalete pracy grupowej - sa tez czytalem te linki
ale oczywiscie skleroza nie boli ;) To naprawde dobre zrodlo
Zachecam do lektury.

pozdrawiam,
Marcin

Temat: RAC .... ale "dwumacierzowy".

Jakub Wartak:
<autoreklama>
http://www.oracle.com/technology/aub/articles/wartak-r...
</autoreklama>

Ops, 404 to nie reklama :P Ale wychodzi, że /pub, a nie /aub

Dzięki !Krzysztof Pułapa edytował(a) ten post dnia 20.10.09 o godzinie 13:51

Temat: RAC .... ale "dwumacierzowy".

Krzysztof Pułapa:

Jakub Wartak:
<autoreklama>
http://www.oracle.com/technology/aub/articles/wartak-r...
</autoreklama>

Ops, 404 to nie reklama :P Ale wychodzi, że /pub, a nie /aub

Dzięki !Krzysztof Pułapa edytował(a) ten post dnia 20.10.09 o godzinie 13:51

A moze Jakub tak z Mickiewicza zajechal ;)
"A imię jego czterdzieści i cztery."

Ale artykul jest naprawde bardzo ciekawy -
czy ktos zna jakis sposob zeby nie gubic fajnych linkow ?
bo jakos nie umiem utrzymac porzadku w bookmarks - a potem czlowiek odkrywa po raz dziesiaty kolo na nowo - tak jak
w przypadku artykulu Jakuba - czytalem go jakis czas temu
no i juz zdazylem zgubic linke ;)

pozdrawiam,
Marcin

Temat: RAC .... ale "dwumacierzowy".

Marcin Przepiórowski:

Krzysztof Pułapa:

Jakub Wartak:
<autoreklama>
http://www.oracle.com/technology/aub/articles/wartak-r...
</autoreklama>

Ops, 404 to nie reklama :P Ale wychodzi, że /pub, a nie /aub

Dzięki !Krzysztof Pułapa edytował(a) ten post dnia 20.10.09 o godzinie 13:51

A moze Jakub tak z Mickiewicza zajechal ;)
"A imię jego czterdzieści i cztery."

Ale artykul jest naprawde bardzo ciekawy -
czy ktos zna jakis sposob zeby nie gubic fajnych linkow ?
bo jakos nie umiem utrzymac porzadku w bookmarks - a potem czlowiek odkrywa po raz dziesiaty kolo na nowo - tak jak
w przypadku artykulu Jakuba - czytalem go jakis czas temu
no i juz zdazylem zgubic linke ;)

pozdrawiam,
Marcin

Poprawione,
Ja np. trzymam strzepy kluczowych informacji w glowie a potem googlam + teraz juz chyba setki RSS feedow z mozliwoscia ich przeszukiwania ;)