GoldenLine
Zaloguj się
Albert C.

Albert C. Admin od wszystkiego
:)

Temat: PostgreSQL Cluster + replikacja

Witam

Musze zrobić cluster + replikacja dla postgresql, znalazłem coś takiego
http://pgcluster.projects.postgresql.org/feature.html

Korzystał ktoś z tego rozwiązania?

Albert
Link do wypowiedziLink
Paweł R.

Paweł R. System administrator

Temat: PostgreSQL Cluster + replikacja

Musze zrobić cluster + replikacja dla postgresql, znalazłem coś takiego
http://pgcluster.projects.postgresql.org/feature.html

Korzystał ktoś z tego rozwiązania?

Napewno chcesz uzywac postgresa w wersji 7.x, 8.0 ? Straszne to starocie... Dla mnie podstawowa wada pgcluster to wymog ustawienia autoryzacji na "trust". Dodatkowo ostatnia wersja jest z 2005-03-07, wiec projekt raczej nie jest juz utrzymywany.

Jezeli chodzi o replikacje postgresa to temat jest ogolnie rzecz biorac sliski. Glowne narzedzie do replikacji postgresa to slony (uzywany pewnie przez wiekszosc dba) ale on tez ma swoje wady. Gdzies niedawno czytalem ze jakis serwis postawil replikacje na http://pgpool.projects.postgresql.org/.

Wszystkie systemy replikacji postgresa maja rozne ograniczenia wiec musisz sobie doczytac czy dany system odpowiada Twoim zalozeniom.

W mojej obecnej i poprzedniej pracy uzywalismy slony'ego. Jest on dziwny, wielu rzeczy o nim trzeba sie nauczyc/doczytac, ale moim zdaniem wyglada najstabilniej ze wszystkich innych. Research replikacji postgresa robilem jakies 1.5 roku temu, wiec moze sie cos pozmienialo - ale nie slyszalem w blogosferze aby pojawil sie jakis nowy, superfajny system replikacji do postgresa. Gdyby taki powstal, napewno by byl announcement na postgresql.org
Link do wypowiedziLink
Albert C.

Albert C. Admin od wszystkiego
:)

Temat: PostgreSQL Cluster + replikacja

Witam

Szukałem na sieci i tez niestety nic ciekawego nie było, oprócz tego projektu znalazłem jeszcze http://www.postgresql.at/english/downloads_e.html. Ogólnie ma to tak działać ze ma być postawione kilka serwerów z postgresem + loadbalancer do tego + replikacja, na kazdym z tych serwerów mają być takie same bazy danych.
Z tego co widzę to slony załatwi mi tylko replikację a pozostaje jeszcze cluster + loadbalancer:)
Link do wypowiedziLink
Jakub Wartak

Jakub Wartak Szaman
UNIXa/Linux/Oracle,
IBM CATE

Temat: PostgreSQL Cluster + replikacja

Albert Czarnecki:
Witam

Musze zrobić cluster + replikacja dla postgresql, znalazłem coś takiego
http://pgcluster.projects.postgresql.org/feature.html

Wspolczuje. Duzo sily w to bedziesz musial wlozyc. PgSQL jest bardzo cienki jesli chodzi o replikacje.

Jaki to ma byc klaster? pod co? OLTP? OLAP? Jakie ma tam byc HA? Masz jakies specyfikacje od strony aplikacji ?

Mozesz robic standby (ale standby w 8.3 jest zamkniety; w 8.4 bedzie mozliwosc otwarcia jako read-only) ==> walmgr, pg_standby googlaj. Wiec jako tako scale-out w 8.4 osiagniesz... pytanie jest czy mozesz czekac.

O PGcluster nie slyszalem zeby ktos tego uzywal , zreszta to ma problem z wydajnoscia DML juz w samej teorii. PGcluster-II nie jest wypuszczony nawet... (koncept)

Jak chcesz klaster to mozesz zrobic ale zwykly failover (o ile masz macierz i cos w stylu Sun Cluster albo RHCS). I na to dostaniesz nawet wsparcie.

Rzezba z DRBD tez by pewnie dala rade... ale to da Ci prawie to samo co standby. Slony to niewygodna koniecznosc czasami. Mozesz jeszcze pobawic sie ze wspomnianym pgpool-II czy seqouia (c-jdbc).

A prawde mowiac najlatwiej wziasc kupic jakies HP DL785 (8 x CPU po 4 rdzeni i do tego drugie takie standby, oraz kilka macierzy ;)) Chyba na jakiejs rosyjskiej prezentacji ktos prezentowal wykres na ktorym PgSQL poskalowal sie do 32 CPU...

Slowem bez duzego nakladu czasu/srodkow/testow nie zbudujesz tego szybko... tak jak tutaj:
http://www.youtube.com/watch?v=dx5tY_BXBcs ;)
Link do wypowiedziLink
Albert C.

Albert C. Admin od wszystkiego
:)

Temat: PostgreSQL Cluster + replikacja

Jakub Wartak:
Albert Czarnecki:
Witam

Musze zrobić cluster + replikacja dla postgresql, znalazłem coś takiego
http://pgcluster.projects.postgresql.org/feature.html

Wspolczuje. Duzo sily w to bedziesz musial wlozyc. PgSQL jest bardzo cienki jesli chodzi o replikacje.

Jaki to ma byc klaster? pod co? OLTP? OLAP? Jakie ma tam byc HA? Masz jakies specyfikacje od strony aplikacji ?

Mozesz robic standby (ale standby w 8.3 jest zamkniety; w 8.4 bedzie mozliwosc otwarcia jako read-only) ==> walmgr, pg_standby googlaj. Wiec jako tako scale-out w 8.4 osiagniesz... pytanie jest czy mozesz czekac.

O PGcluster nie slyszalem zeby ktos tego uzywal , zreszta to ma problem z wydajnoscia DML juz w samej teorii. PGcluster-II nie jest wypuszczony nawet... (koncept)

Jak chcesz klaster to mozesz zrobic ale zwykly failover (o ile masz macierz i cos w stylu Sun Cluster albo RHCS). I na to dostaniesz nawet wsparcie.

Rzezba z DRBD tez by pewnie dala rade... ale to da Ci prawie to samo co standby. Slony to niewygodna koniecznosc czasami. Mozesz jeszcze pobawic sie ze wspomnianym pgpool-II czy seqouia (c-jdbc).

A prawde mowiac najlatwiej wziasc kupic jakies HP DL785 (8 x CPU po 4 rdzeni i do tego drugie takie standby, oraz kilka macierzy ;)) Chyba na jakiejs rosyjskiej prezentacji ktos prezentowal wykres na ktorym PgSQL poskalowal sie do 32 CPU...

Slowem bez duzego nakladu czasu/srodkow/testow nie zbudujesz tego szybko... tak jak tutaj:
http://www.youtube.com/watch?v=dx5tY_BXBcs ;)

Ładnie to wygląda na oraclu:) hehe żeby się tak dało zrobić na postgresql.
Co do specyfikacji niestety nie ma nic konkretnego. Poprostu mam to zrobić.) Ma to działać na takiej zasadzie jak na tym obrazku:

Obrazek
Link do wypowiedziLink
Jakub Wartak

Jakub Wartak Szaman
UNIXa/Linux/Oracle,
IBM CATE

Temat: PostgreSQL Cluster + replikacja

Albert Czarnecki:
Jakub Wartak:
Albert Czarnecki:
Witam

Musze zrobić cluster + replikacja dla postgresql, znalazłem coś takiego
http://pgcluster.projects.postgresql.org/feature.html

Wspolczuje. Duzo sily w to bedziesz musial wlozyc. PgSQL jest bardzo cienki jesli chodzi o replikacje.

Jaki to ma byc klaster? pod co? OLTP? OLAP? Jakie ma tam byc HA? Masz jakies specyfikacje od strony aplikacji ?

Mozesz robic standby (ale standby w 8.3 jest zamkniety; w 8.4 bedzie mozliwosc otwarcia jako read-only) ==> walmgr, pg_standby googlaj. Wiec jako tako scale-out w 8.4 osiagniesz... pytanie jest czy mozesz czekac.

O PGcluster nie slyszalem zeby ktos tego uzywal , zreszta to ma problem z wydajnoscia DML juz w samej teorii. PGcluster-II nie jest wypuszczony nawet... (koncept)

Jak chcesz klaster to mozesz zrobic ale zwykly failover (o ile masz macierz i cos w stylu Sun Cluster albo RHCS). I na to dostaniesz nawet wsparcie.

Rzezba z DRBD tez by pewnie dala rade... ale to da Ci prawie to samo co standby. Slony to niewygodna koniecznosc czasami. Mozesz jeszcze pobawic sie ze wspomnianym pgpool-II czy seqouia (c-jdbc).

A prawde mowiac najlatwiej wziasc kupic jakies HP DL785 (8 x CPU po 4 rdzeni i do tego drugie takie standby, oraz kilka macierzy ;)) Chyba na jakiejs rosyjskiej prezentacji ktos prezentowal wykres na ktorym PgSQL poskalowal sie do 32 CPU...

Slowem bez duzego nakladu czasu/srodkow/testow nie zbudujesz tego szybko... tak jak tutaj:
http://www.youtube.com/watch?v=dx5tY_BXBcs ;)

Ładnie to wygląda na oraclu:) hehe żeby się tak dało zrobić na postgresql.
Co do specyfikacji niestety nie ma nic konkretnego. Poprostu mam to zrobić.) Ma to działać na takiej zasadzie jak na tym obrazku:

Obrazek

Ja tylko widze jedna mozliwosc jak chcesz koniecznie miec jedna wzglednie baze na kilku serwerach zabezpieczona przez replikacje, choc nie wiem do konca co chcesz osiagnac. Otoz zrobic aplikacje pod sharding czyli : PL/proxy + pg_standby kazdego "sharda". Jak sobie kiedys upgradniesz po zabawach do 8.4 to bedziesz mial wykorzystanie standby'ajow jako read-only.

Nie ma nic za darmo (=> przepisac kod).
Link do wypowiedziLink
Albert C.

Albert C. Admin od wszystkiego
:)

Temat: PostgreSQL Cluster + replikacja

Znalazłem jeszcze takie rozwiązania jak: http://www.enterprisedb.com/ oraz http://www.continuent.com/home niby wstępnie są do zaakceptowania:)

Albert
Link do wypowiedziLink
Paweł R.

Paweł R. System administrator

Temat: PostgreSQL Cluster + replikacja

Albert Czarnecki:
Znalazłem jeszcze takie rozwiązania jak: http://www.enterprisedb.com/ oraz http://www.continuent.com/home niby wstępnie są do zaakceptowania:)

Hm, ze strony enterprisedb:
Postgres Plus includes Slony-I (...)


Tego drugiego nie znam.Paweł Rutkowski edytował(a) ten post dnia 14.01.09 o godzinie 07:51
Link do wypowiedziLink
Sebastian Sawicki

Sebastian Sawicki Kierownik działu
administracji siecią
i systemami IT

Temat: PostgreSQL Cluster + replikacja

Jedyne co mi chodzilo sensownie to slony, ale naprawde mi sie to niepodobalo.
Ostatecznie stanelo na ma mocnej maszynie (4xCPU) + druga standby.

Moze niech autor napisze po co mu ten cluster dokladnie..
Link do wypowiedziLink
Tomasz Skórski

Tomasz Skórski Senior Product
Manager

Temat: PostgreSQL Cluster + replikacja

Hej,

Paweł Rutkowski:

W mojej obecnej i poprzedniej pracy uzywalismy slony'ego. Jest on dziwny, wielu rzeczy o nim trzeba sie nauczyc/doczytac, ale moim zdaniem wyglada najstabilniej ze wszystkich innych. Research replikacji postgresa robilem jakies 1.5 roku temu, wiec moze sie cos pozmienialo - ale nie slyszalem w blogosferze aby pojawil sie

Potwierdzam. Poziom dziwności Slonego jest dość wysoki,
za to jakosc jego działania jest co najmniej zadowalająca -
serwisy z niego korzystające działały po prostu przyzwoicie ;)
Link do wypowiedziLink
Dawid Węgliński

Dawid Węgliński System Administrator

Temat: PostgreSQL Cluster + replikacja

Klaster koniecznie ma być na PgSQL? MySQL wypada w tym wiele lepiej.
Link do wypowiedziLink
Albert C.

Albert C. Admin od wszystkiego
:)

Temat: PostgreSQL Cluster + replikacja

Witam,

No niestety musi być postgresql, wiem ze mysql wychodzi w tym lepiej ale nie ode mnie to zależy. Wyjdzie na to że zostanie użyta ta baza postgresql advanced plus tak sobie zażyczył klient.
Link do wypowiedziLink
Paweł R.

Paweł R. System administrator

Temat: PostgreSQL Cluster + replikacja

Tomasz Skórski:
Potwierdzam. Poziom dziwności Slonego jest dość wysoki,
za to jakosc jego działania jest co najmniej zadowalająca -
serwisy z niego korzystające działały po prostu przyzwoicie ;)

No to chyba inaczej definjujemy przyzwoitosc dzialania :) Moim zdaniem dziala on conajwyzej poprawnie.

Pamietasz moze takie wypadki jak rozjechanie sie replikacji, wielkie lagtime'y i rozwiazania problemu ktore polegaly na uwaleniu replikacji i spiecia jej od zera ?
Link do wypowiedziLink
Paweł R.

Paweł R. System administrator

Temat: PostgreSQL Cluster + replikacja

Albert Czarnecki:
Witam,

No niestety musi być postgresql, wiem ze mysql wychodzi w tym lepiej ale nie ode mnie to zależy. Wyjdzie na to że zostanie użyta ta baza postgresql advanced plus tak sobie zażyczył klient.

Tylko kupcie odrazu support do tego. No i daj znac jak to sie sprawdza w produkcji.

Pozdrawiam
Pawel
Link do wypowiedziLink
Tomasz Skórski

Tomasz Skórski Senior Product
Manager

Temat: PostgreSQL Cluster + replikacja

Hej,
Paweł Rutkowski:
Tomasz Skórski:
Potwierdzam. Poziom dziwności Slonego jest dość wysoki,
za to jakosc jego działania jest co najmniej zadowalająca -
serwisy z niego korzystające działały po prostu przyzwoicie ;)

No to chyba inaczej definjujemy przyzwoitosc dzialania :) Moim zdaniem dziala on conajwyzej poprawnie.

Pamietasz moze takie wypadki jak rozjechanie sie replikacji, wielkie lagtime'y i rozwiazania problemu ktore polegaly na uwaleniu replikacji i spiecia jej od zera ?

Oczywiscie ze pamietam. Problem w malej mierze byl spowodowany problematyczna technologia, a raczej "okolosrodowiskowymi" zdarzeniami. Kazda baza danych wymaga ciaglej opieki i optymalizacji , a tam tego nieco brakowalo. Zauwaz ponadto, ze problemy z replikacja zdarzaly sie wlasciwie tylko na jednym wdrozeniu z kilku ;)
Link do wypowiedziLink
Paweł R.

Paweł R. System administrator

Temat: PostgreSQL Cluster + replikacja

Tomasz Skórski:
Zauwaz ponadto, ze problemy z replikacja zdarzaly sie wlasciwie tylko na jednym wdrozeniu z kilku ;)

Niestety sie nie zgodze. Te same problemy dotykaly pozostalych wdrozen i +/- spotykam sie z nimi teraz.

Nie kwestionuje ze slony jest najlepszym, otwartym systemem replikacji postgresa. Uwazam jednak ze wdrozenie i utrzymanie go produkcyjnie jest skomplikowane.
Link do wypowiedziLink
Jacek Fleszar

Jacek Fleszar Porządny pracownik

Temat: PostgreSQL Cluster + replikacja

Kro po kroku---to----->>>>>>>>>>>>>>.http://tomoconnor.eu/blogish/postgres-replication-91/#...
Link do wypowiedziLink

konto usunięte

Temat: PostgreSQL Cluster + replikacja

Klaster na PG oferuje EnterpriseDB. Inne rozwiązania są problematyczne. Wynika to z tego, że PG nie zawiaduje cache, a zleca to systemowi. Ma to swoje minusy - np. to, że dane mogą być w ramie konkretnego węzła... Oracle ma to lepiej rozwiązane. Chociaż... W praktyce głównym problemem z replikowaniem master-slave vs. master-master jest przełączanie w obliczu awarii. Czasem awaria wygląda tak, że obciążenie narasta, narasta i narasta... Dużym problemem jest stwierdzenie, że to już jest awaria i trzeba się przełączyć na slave'a. W drugą stronę - master-master np. z mysqla w zasadzie nic nie daje, bo oba węzły muszą przewalić te same dane, a na części z nich - z definicji będzie opóźnienie. Owszem są rozwiązania, ale za odpowiednią cenę. Chłopaki się patentami obstawili i każdy pilnuje swojego kawałka tortu :)

Co do wydajności wbudowanej replikacji w PG - z każdą, kolejną edycją jest lepiej i lepiej. Wydaje mi się, że spokojnie można zaufać standardowej replikacji oferowanej przez najnowszą wersję - streaming replication dla bazy produkcyjnej wydaje się sensownym rozwiązaniem. Raczej nie będzie masywnych zmian, które jednym poleceniem przewalają wielką tabelę...
Link do wypowiedziLink

konto usunięte

Temat: PostgreSQL Cluster + replikacja

Ale koledzy trupa wykopali z 2009 :)
Tak się sympatycznie składa, że od jakiegoś czasu jestem w temacie Postgresa i replikacji. Z czystym sumieniem mogę polecić: streaming replication + hot standby + pgpool. Działa to bardzo przyzwoicie i z tego co czytałem jest to "najwydajniejszy" mechanizm replikacji na postgresa. Czasami pgpool'a strzeli focha, ale nie są to groźne sytuacje więc można jej wybaczyć. Ostatnio chłopaki z Postgresa zaliczyli wtopę bo baza standby przy takiej replikacji mogła nie posiadać aktualnych danych, ale uporali się całkiem szybko i jak na razie jest ok.

Pozdrawiam
Zbyszek
Link do wypowiedziLink

konto usunięte

Temat: PostgreSQL Cluster + replikacja

Proponuję w pierwszej kolejności poczytać tutaj: http://www.postgresql.org/docs/9.3/static/high-availab...
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

Dwie maszyny, mini-cluster ...




Wyślij zaproszenie do
Anuluj