Temat: Hurtownia Danych - Baza Open Source

Myślę że mamy tutaj dwie osobne kategorie klientów / biznesów:

1) bogata korporacja z własnym IT - tutaj najwięcej jest innowacyjności, tutaj powstają nowe pomysły i te firmy stać aby utopić w projekt parę baniek, nawet jeśli okaże się zupełnie bezużyteczny

2) średnia firma, która zaczyna dławić się ilością danych w swoich systemach i potrzebuje je ogarnąć w celu ułatwienia sobie podejmowania decyzji

Ja niestety pracuję głównie z firmami z kategorii 2. W zasadzie zawsze działa to na podobnej zasadzie:
1. Kierownictwo decyduje że potrzebuje hurtowni danych
2. Nasi sprzedawcy przekonują ich, że mamy sprawdzony model, który działa w X firmach, które są zadowolone
3. Przystępujemy do projektu, modelujemy hurtownię jako Star Schema i wdrażamy ją
4. Klienci korzystają z raportów, my utrzymujemy rozwiązanie
5. Klienci zatrudniają swoich własnych ludzi do IT, którzy przejmują obowiązki
6. Ludzie awansują na kierownicze stanowiska, przechodzą do innych firm, gdzie okazuje się, że hurtowni nie ma... przechodzimy do punktu 1 :)

Firma usługowa nie będzie ryzykowała tworzenia produktu od na który nie ma zapotrzebowania. W biznesie ludzie wiedzą co to hurtownia i czym to się je, więc wiedzą że chcą hurtowni. Zmianą, która będzie dobrze przyjęta jest stworzenie hurtowni w oparciu o lepsze/tańsze technologie...

Większego przeskoku, zapotrzebowania na rynku na bazy oparte o technologię "big data" możemy się spodziewać w chwili, gdy osoby, które te systemy tworzyły dla wielkich korporacji zaczną przenosić się do mniejszych firm i przekonywać, że te rzeczy się tam przydadzą i dadzą wymierne korzyści.

Temat: Hurtownia Danych - Baza Open Source

Bartłomiej G.:
Myślę że mamy tutaj dwie osobne kategorie klientów / biznesów:

Tak wyglądało to kiedyś. Teraz nie ma dla mnie różnicy czy jestem MiŚem czy dużą korporacją, bo swoje potrzeby biznesowe mogę realizować w modelu SaaS.

Nie interesuje mnie tworzenie infrastruktury, jej utrzymanie, monitorowanie itp. Płacę tylko za te usługi i moc obliczeniową której akurat potrzebuję, a funkcjonalność jestem w stanie zrealizować z minimalnym wkładem - wystarczy know-how.

Większego przeskoku, zapotrzebowania na rynku na bazy oparte o technologię "big data" możemy się spodziewać w chwili, gdy osoby, które te systemy tworzyły dla wielkich korporacji zaczną przenosić się do mniejszych firm i przekonywać, że te rzeczy się tam przydadzą i dadzą wymierne korzyści.

Może się to stać dużo szybciej. Dwa dni temu na konferencji I/O Google ogłosił, że rezygnuje z rozwijania MapReduce (!) na rzecz Google Cloud Dataflow. To jest najlepszy dowód na to jak szybko rozwijają się technologie Big Data. Coś co u nas nieśmiało wchodzi jako nowość (Hadoop), niedługo stanie się technologią przestarzałą.

Temat: Hurtownia Danych - Baza Open Source

jakoś nie widzę aby Oracle rezygnował ze swojej bazy, tak samo jak Microsoft nie rezygnuje z SQL Servera, tylko wypuszcza kolejne wersje :) może te technologie są przestarzałe, ale długo jeszcze nie będzie nic, co będzie mogło je bezproblemowo zastąpić...

Temat: Hurtownia Danych - Baza Open Source

Może się to stać dużo szybciej. Dwa dni temu na konferencji I/O Google ogłosił, że rezygnuje z rozwijania MapReduce (!) na rzecz Google Cloud Dataflow. To jest najlepszy dowód na to jak szybko rozwijają się technologie Big Data. Coś co u nas nieśmiało wchodzi jako nowość (Hadoop), niedługo stanie się technologią przestarzałą.

Google zaliczył dużo wtop w przeszłości, większość ich pomysłów i przejęć to niewypały. Dlatego nie ma gwarancji, że kierunek który obrali jest jedyny i słuszny.

Kilka przykładów:

http://www.wordstream.com/articles/google-failures-goo...Ten post został edytowany przez Autora dnia 27.06.14 o godzinie 16:44

Temat: Hurtownia Danych - Baza Open Source

Może się to stać dużo szybciej. Dwa dni temu na konferencji I/O Google ogłosił, że rezygnuje z rozwijania MapReduce (!) na rzecz Google Cloud Dataflow. To jest najlepszy dowód na to jak szybko rozwijają się technologie Big Data. Coś co u nas nieśmiało wchodzi jako nowość (Hadoop), niedługo stanie się technologią przestarzałą.

Straszne, tak liczący się w rozwoju tej platformy gracz jak Google rezygnuje z jej rozwijania.... moment, ale Google prawie nie rozwijał tej technologii;)
http://blog.cloudera.com/blog/2011/10/the-community-ef...

Temat: Hurtownia Danych - Baza Open Source

Tomasz Z.:

większość ich pomysłów i przejęć to niewypały.

Generalizujesz. Masz jakieś dane na ten temat?

Kilka przykładów:

http://www.wordstream.com/articles/google-failures-goo...

Bez przesady. Nie każdy startup kończy się sukcesem. Nadal posiadają szereg usług które są bardzo popularne, chociażby Gmail, Mapy, AdWords i perełki takie jak Google Earth gdzie można zwiedzać miasta w 3D i poruszać się po ulicach :) Nie mówiąc już o samochodach bez kierowcy...

A jak uważasz, czy przejęcie Boston Dynamics to dobry pomysł? ;)

Temat: Hurtownia Danych - Baza Open Source

Bartłomiej G.:
jakoś nie widzę aby Oracle rezygnował ze swojej bazy, tak samo jak Microsoft nie rezygnuje z SQL Servera, tylko wypuszcza kolejne wersje :)

Jasne że nie rezygnują, oni też zaczynają oferować usługi w modelu SaaS :)

Temat: Hurtownia Danych - Baza Open Source

Większego przeskoku, zapotrzebowania na rynku na bazy oparte o technologię "big data" możemy się spodziewać w chwili, gdy osoby, które te systemy tworzyły dla wielkich korporacji zaczną przenosić się do mniejszych firm i przekonywać, że te rzeczy się tam przydadzą i dadzą wymierne korzyści.

Osoby takie się przenoszą bez przerwy ale jakiejś fali nowych wdrożeń bym się nie spodziewał. Ktoś kto maczał w tym palce wie że to nie jest do wszystkiego i w bardzo wielu przypadkach szkoda zachodu. Raczej bym się spodziewał ruchu w drugą stronę - im więcej takich korporacyjnych trybików (jak ja;)) przejdzie do mniejszych firm tym bardziej hype na Big Data będzie opadał, a technologia zacznie być stosowana tam gdzie faktycznie jest potrzebna, a nie wszędzie tam gdzie można. Świat wróci na jakiś czas do normalności, do momentu wyplucia przez zespoły marketingowe nowego popularnego słowa kluczowego.

Wracając do tematu który poruszyłeś (od którego trochę odbiegliśmy;)) i podsumowując moją odpowiedź: jak ulepszenie hurtowni, i musi to być hadoop, open source i w miarę bezboleśnie, to polecam zainteresować się Hive. Jak płatne to wiadomo że będę stronniczy;) Nie polecam całkowicie wymieniać działającej hurtowni na hadoopa chyba że ktoś naprawdę wie co robi.
Przy czym 1 dostępna maszyna... raczej rozważ coś innego niż hadoop:) albo wirtualizację i dopiero hadoopa, ale wtedy... no szerszy temat:) Użyj tego co znasz, chyba że naprawdę się nie sprawdza albo masz sporo czasu i chęci. A jeżeli klient zatrudnił speca od SQL Servera do zrobienia hurtowni w "darmowej" technologii, to co zrobić, klient to klient;)

Temat: Hurtownia Danych - Baza Open Source

Adam O.:

Może się to stać dużo szybciej. Dwa dni temu na konferencji I/O Google ogłosił, że rezygnuje z rozwijania MapReduce (!) na rzecz Google Cloud Dataflow. To jest najlepszy dowód na to jak szybko rozwijają się technologie Big Data. Coś co u nas nieśmiało wchodzi jako nowość (Hadoop), niedługo stanie się technologią przestarzałą.

Straszne, tak liczący się w rozwoju tej platformy gracz jak Google rezygnuje z jej rozwijania.... moment, ale Google prawie nie rozwijał tej technologii;)
http://blog.cloudera.com/blog/2011/10/the-community-ef...

Google udostępniło dokumentację swojego rozwiązania i na tym powstał HDFS, Hadoop, hbase. Ktoś kiedyś zajmujący się tematem Big Data powiedział, że skoro Google to udostępniło to pewno ma coś dużo lepszego co udostępni jak przejdą na kolejny poziom. Jak dla mnie ma to senes.

Temat: Hurtownia Danych - Baza Open Source

Google udostępniło dokumentację swojego rozwiązania i na tym powstał HDFS, Hadoop, hbase. Ktoś kiedyś zajmujący się tematem Big Data powiedział, że skoro Google to udostępniło to pewno ma coś dużo lepszego co udostępni jak przejdą na kolejny poziom. Jak dla mnie ma to senes.

Nikt nie wątpi w ich wkład w powstanie tej platformy, natomiast jej rozwój i stan który mamy obecnie to już trochę inna bajka, bardziej... rozproszona?;) Możliwe że mają coś swojego - lepszego. Inne firmy też mają. Nie zmienia to faktu że ogłaszanie śmierci hadoopa jest mocno przedwczesne. Zwłaszcza że cała platforma niedługo będzie mutować za sprawą YARNa, MapReduce2, nie mówiąc o powstaniu innych ciekawych rzeczy, np Sparka, Solr itp. Fajne czasy nadchodzą dla rozwiązań Big Data, bez względu na to czy google będzie w tym uczestniczyć czy nie.

Temat: Hurtownia Danych - Baza Open Source

Żeby zbudować nawet niewielką hurtownię trzeba zespołu kilku osób. Zespół taki będzie pracował np. rok albo dwa.
Jeżeli nawet będzie to analityk biznesowy i np. 2 developerów, to jaki potrzebny jest roczny budżet dla tych kilku osób?

Pracuję tylko w hurtowniach na Oracle. Są powody dla których firmy płacą za najdroższą wersję Enterprise Edition. Ale dla małej hurtowni, np. poniżej 1TB potrafię sobie wyobrazić, że dałoby się pracować na znacznie tańszej wersji Standard One. Byliby potrzebni lepsi developerzy, którzy potrafiliby chociaż częściowo ręcznie skompensować braki typu równoległość przetwarzania, partycjonowanie, czy widoki zmaterializowane. W pewnym stopniu to da się zrobić.

Wymyślając liczby, żeby spojrzeć na sprawę poglądowo:
- budżet na 2 developerów+analityk biznesowy, na rok to np. 500k zł
- tani jednoprocesorowy serwer + licencja Oracle Standard Edition One, spokojnie wystarczy 50k zł. Otrzymujemy za to dobrą bazę, na której pracuje masa firm, a więc nie brakuje też specjalistów.

Przy takiej kalkulacji pojawia się pytanie - po co iść w Open Source?

Temat: Hurtownia Danych - Baza Open Source

- tani jednoprocesorowy serwer + licencja Oracle Standard Edition One, spokojnie wystarczy 50k zł. Otrzymujemy za to dobrą bazę, na której pracuje masa firm, a więc nie brakuje też specjalistów.

Przy takiej kalkulacji pojawia się pytanie - po co iść w Open Source?

Bo developerzy postgreSQL liczą sobie (średnio) mniej niż developerzy PL/SQL? ;)

Temat: Hurtownia Danych - Baza Open Source

no tak, zdroworozsądkowe podejście, możnaby się spierać co do składu ekipy i dokładnego czasu trwania projektu oraz stawek, ale w ogólności się zgadzam

myślę jednak, że taka hipotetyczna dyskusja jest warta przeprowadzenia, a nuż coś się wyłoni z tej burzy mózgów

Temat: Hurtownia Danych - Baza Open Source

Piotr C.:
Wymyślając liczby, żeby spojrzeć na sprawę poglądowo:
- budżet na 2 developerów+analityk biznesowy, na rok to np. 500k zł

Aha, czyli firmę kosztują mniej więcej 13k miesięcznie. Co daje ok. 7 tys netto na osobę. A myślałem, że chodzi o speców bardzo z górnej półki. 11 k brutto oferują firmy w Warszawie programistom javy z kilkuletnim doświadczeniem.

- tani jednoprocesorowy serwer + licencja Oracle Standard Edition One, spokojnie wystarczy 50k zł. Otrzymujemy za to dobrą bazę, na której pracuje masa firm, a więc nie brakuje też specjalistów.

Co??? Po co mi jednoprocesorowy serwer? To ma być wydajna baza danych, a nie telefon komórkowy. A nie, teraz smartfony mają często dwa rdzenie. Na moim laptopie mam 8 rdzeni i baza sobie śmiga. Co tam baza, śmigają mi czasami cztery różne wersje Postgresa. Pod stołem mam kilka maszynek, kolejne 12 rdzeni.

Robicie hurtownię na jednym procesorze? Ile lat ładujecie tam dane? Widoki zmaterializowane robione na jednym procesorze. Magia.

Przy takiej kalkulacji pojawia się pytanie - po co iść w Open Source?

Bo jest taniej? Bo można pieniądze przeznaczone na licencje przeznaczyć na zatrudnienie lepszych ludzi? Zapewniam, że do baz open source, jak np. Postgres, nie brakuje dobrych specjalistów, a support jest lepszy niż można sobie wymarzyć w niejednej komercyjnej firmie. Ot chociażby można dostać patch naprawiający znalezionego buga w ciągu kilku godzin.

Oczywiście to nie jest tak, że w Open Source wszystko jest super i najlepsze. Tylko nie rozumiem dlaczego od razu się odrzuca takie rozwiązania w imię lepszego jednoprocesorowego serwerka.

Nie znam się na cenach sprzętu, tak poklikałem chwilę... za 20k mogę kupić serwer HP ProLiant z 16 rdzeniami... do tego 8 dysków 1TB za 10k... i mam 16 rdzeni za 30k. W budżecie zostało mi jeszcze 20k, za które mogę kupić 2/3 kolejnego takiego serwerka...

Ale oczywiście lepiej mieć jeden procesor za 50k :)

Temat: Hurtownia Danych - Baza Open Source

Szymon G.:

Piotr C.:
Wymyślając liczby, żeby spojrzeć na sprawę poglądowo:
- budżet na 2 developerów+analityk biznesowy, na rok to np. 500k zł

Aha, czyli firmę kosztują mniej więcej 13k miesięcznie. Co daje ok. 7 tys netto na osobę. A myślałem, że chodzi o speców bardzo z górnej półki. 11 k brutto oferują firmy w Warszawie programistom javy z kilkuletnim doświadczeniem.

Jak zauważył Bartek Głowacki można dyskutować i o zespole, i o budżecie na zespół. Nie konkretne liczby są ważne, a fakt, że przy budowie hurtowni wynagrodzenie zespołu jest znacznym procentem budżetu. Ta kwota znacznie rośnie, jeśli trzeba zatrudnić zewnętrznego dostawcę; gdyby każda korporacja miała odpowiedni poziom umiejętności, to dostawcy w tej dziedzinie dawno pomarli by z głodu.

- tani jednoprocesorowy serwer + licencja Oracle Standard Edition One, spokojnie wystarczy 50k zł. Otrzymujemy za to dobrą bazę, na której pracuje masa firm, a więc nie brakuje też specjalistów.

Co??? Po co mi jednoprocesorowy serwer? To ma być wydajna baza danych, a nie telefon komórkowy. A nie, teraz smartfony mają często dwa rdzenie. Na moim laptopie mam 8 rdzeni i baza sobie śmiga. Co tam baza, śmigają mi czasami cztery różne wersje Postgresa. Pod stołem mam kilka maszynek, kolejne 12 rdzeni.
Robicie hurtownię na jednym procesorze? Ile lat ładujecie tam dane? Widoki zmaterializowane robione na jednym procesorze. Magia.

Skoro 16 procesorów wystarczy na 70TB, to jeden wystarczy na 1TB.
Będziemy się licytować na rdzenie, albo na rozmiary? ;)

Przy takiej kalkulacji pojawia się pytanie - po co iść w Open Source?

Bo jest taniej? Bo można pieniądze przeznaczone na licencje przeznaczyć na zatrudnienie lepszych ludzi?

Rzecz w tym, że zespół to główny koszt bez względu na technologię. Nie ma za bardzo z czego uciąć w warstwie sprzętowo/licencyjnej.

Tylko nie rozumiem dlaczego od razu się odrzuca takie rozwiązania w imię lepszego jednoprocesorowego serwerka.

To dobre pytanie. Mam wąski pogląd na dziedzinę, bo pracuję wyłącznie z Oracle. Czy są w Polsce spore hurtownie oparte na czystym Postgresie? Jakie branże?

Temat: Hurtownia Danych - Baza Open Source

Piotr C.:

Szymon G.:

Piotr C.:

- tani jednoprocesorowy serwer + licencja Oracle Standard Edition One, spokojnie wystarczy 50k zł. Otrzymujemy za to dobrą bazę, na której pracuje masa firm, a więc nie brakuje też specjalistów.

Co??? Po co mi jednoprocesorowy serwer? To ma być wydajna baza danych, a nie telefon komórkowy. A nie, teraz smartfony mają często dwa rdzenie. Na moim laptopie mam 8 rdzeni i baza sobie śmiga. Co tam baza, śmigają mi czasami cztery różne wersje Postgresa. Pod stołem mam kilka maszynek, kolejne 12 rdzeni.
Robicie hurtownię na jednym procesorze? Ile lat ładujecie tam dane? Widoki zmaterializowane robione na jednym procesorze. Magia.

Skoro 16 procesorów wystarczy na 70TB, to jeden wystarczy na 1TB.
Będziemy się licytować na rdzenie, albo na rozmiary? ;)

>

Nie, liczba procesorów nie ma wiele wspólnego z rozmiarem bazy. Wszystko zależy co chcemy zrobić z danymi. Jak mamy jeden procesor i 10 raportów do zrobienia, to muszą iść sekwencyjnie. Jak mamy 10 procesorów, to mogą iść równolegle. Możliwe, że dzięki temu całość skończy się 10 razy wcześniej (chociaż w to wątpię, bo to byłby bardzo szczęśliwy przypadek). Ale ogólnie powinno być szybciej.

Tylko nie rozumiem dlaczego od razu się odrzuca takie rozwiązania w imię lepszego jednoprocesorowego serwerka.

To dobre pytanie. Mam wąski pogląd na dziedzinę, bo pracuję wyłącznie z Oracle. Czy są w Polsce spore hurtownie oparte na czystym Postgresie? Jakie branże?

Nie wiem. Poza tym co ma branża do rodzaju bazy danych?

Temat: Hurtownia Danych - Baza Open Source

Szymon G.:

Piotr C.:

Szymon G.:

Piotr C.:
- tani jednoprocesorowy serwer + licencja Oracle Standard Edition One, spokojnie wystarczy 50k zł. Otrzymujemy za to dobrą bazę, na której pracuje masa firm, a więc nie brakuje też specjalistów.

Co??? Po co mi jednoprocesorowy serwer? To ma być wydajna baza danych, a nie telefon komórkowy. A nie, teraz smartfony mają często dwa rdzenie. Na moim laptopie mam 8 rdzeni i baza sobie śmiga. Co tam baza, śmigają mi czasami cztery różne wersje Postgresa. Pod stołem mam kilka maszynek, kolejne 12 rdzeni.
Robicie hurtownię na jednym procesorze? Ile lat ładujecie tam dane? Widoki zmaterializowane robione na jednym procesorze. Magia.

Skoro 16 procesorów wystarczy na 70TB, to jeden wystarczy na 1TB.
Będziemy się licytować na rdzenie, albo na rozmiary? ;)

>

Nie, liczba procesorów nie ma wiele wspólnego z rozmiarem bazy. Wszystko zależy co chcemy zrobić z danymi. Jak mamy jeden procesor i 10 raportów do zrobienia, to muszą iść sekwencyjnie. Jak mamy 10 procesorów, to mogą iść równolegle. Możliwe, że dzięki temu całość skończy się 10 razy wcześniej (chociaż w to wątpię, bo to byłby bardzo szczęśliwy przypadek). Ale ogólnie powinno być szybciej.

To zależy. Na standardowym Xeonie z np. 6-10 rdzeniami + HT rozdzielne przetwarzania nie zawsze muszą iść sekwencyjnie.
Na pewno różne rodzaje przetwarzań potrzebują różnej mocy obliczeniowej, różnych systemów storage itp. Moim założeniem jest to, że jest sporo zastosowań, gdzie małą hurtownię rzędu 1TB obsłuży jeden procesor np. 10 rdzeniowy, bo jeśli płaci się licencję za gniazdo, to warto kupić najmocniejszy model.

To dobre pytanie. Mam wąski pogląd na dziedzinę, bo pracuję wyłącznie z Oracle. Czy są w Polsce spore hurtownie oparte na czystym Postgresie? Jakie branże?

Nie wiem. Poza tym co ma branża do rodzaju bazy danych?

No właśnie to jest wg mnie zasadnicze pytanie wątku - jest czysta baza Open Source używana produkcyjnie jako hurtownia? Jeśli rzadko, to dlaczego, w końcu każda firma chce wydawać jak najmniej?

Branża ma o tyle znaczenie, że np. sieć komórkowa generuje inne ilości danych niż np. bank, czy nawet firma energetyczna (jeszcze bez szerokiego Smart Meteringu)

Temat: Hurtownia Danych - Baza Open Source

Piotr C.:

Branża ma o tyle znaczenie, że np. sieć komórkowa generuje inne ilości danych niż np. bank, czy nawet firma energetyczna (jeszcze bez szerokiego Smart Meteringu)

Nie byłbym taki pewny. Miesięczna liczba transakcji w systemie Eliksir sięgnęła 135 mln w paź. zeszłego roku, lecz i tak trudno oszacować na tej podstawie "ilość" danych. W branży energetycznej też nadejdą zmiany, kiedy zostaną wprowadzone liczniki energii z modułami GSM.

A Szymon ma rację, przy wyborze bazy danych branża nie ma specjalnego znaczenia.

Temat: Hurtownia Danych - Baza Open Source

Eugeniusz F.:

Piotr C.:

Branża ma o tyle znaczenie, że np. sieć komórkowa generuje inne ilości danych niż np. bank, czy nawet firma energetyczna (jeszcze bez szerokiego Smart Meteringu)

Nie byłbym taki pewny. Miesięczna liczba transakcji w systemie Eliksir sięgnęła 135 mln w paź. zeszłego roku, lecz i tak trudno oszacować na tej podstawie "ilość" danych. W branży energetycznej też nadejdą zmiany, kiedy zostaną wprowadzone liczniki energii z modułami GSM.

A Szymon ma rację, przy wyborze bazy danych branża nie ma specjalnego znaczenia.

Tak jeszcze dodam, że mała sieć komórkowa generuje mało danych, a duża firma handlowa generuje dużo danych. To kwestia wielkości generowanych danych, a nie branży, bo nie ma branży, w której działają tylko duże firmy.

Temat: Hurtownia Danych - Baza Open Source

Eugeniusz F.:

Piotr C.:

Branża ma o tyle znaczenie, że np. sieć komórkowa generuje inne ilości danych niż np. bank, czy nawet firma energetyczna (jeszcze bez szerokiego Smart Meteringu)

Nie byłbym taki pewny. Miesięczna liczba transakcji w systemie Eliksir sięgnęła 135 mln w paź. zeszłego roku, lecz i tak trudno oszacować na tej podstawie "ilość" danych.

Każdy z głównych polskich, nie-wirtualnych dostawców usług mobilnych generuje wielokrotność tej liczby w ciągu dobry.

W branży energetycznej też nadejdą zmiany, kiedy zostaną wprowadzone liczniki energii z modułami GSM.

Owszem, tu się zaczyna dziać. Unia łaskawie nam panująca nakazała, więc energetycy nieśmiało się przymierzają do SM w prawie-każdym domu. Jeśli pogróżki się sprawdzą, to do 2020 roku liczniki będą generować takie ilości danych, że nawet 12 rdzeni pod stołem Szymona może nie wystarczyć na obrobienie tego :).