Waldemar S.

Waldemar S. programista .NET

Temat: Hurtownie danych w bankowości - ankieta

Witam,

piszę pracę magisterską nt. barier i czynników sprzyjających w
procesie budowy hurtowni danych w bankach i parabankowych
instytucjach finansowych w Polsce. Bardzo proszę, wszystkie osoby,
które zajmują się hurtowniami danych w tych instytucjach o
wypełnienie ankiety, która jest dostępna pod adresem
http://ankietahd.w.szu.pl (również za pomocą linku ze strony
Katedry Systemów Sztucznej Inteligencji na Uniwersytecie
Ekonomicznym we Wrocławiu: http://kssi.ue.wroc.pl ). Z góry
dziękuję za okazaną pomoc.
Błażej O.

Błażej O. Badania i rozwój
zaawansowanych
systemów
analitycznych

Temat: Hurtownie danych w bankowości - ankieta

Waldemar S.:
Witam,

piszę pracę magisterską nt. barier i czynników sprzyjających w procesie budowy hurtowni danych w bankach i parabankowych instytucjach finansowych w Polsce. Bardzo proszę, wszystkie osoby, które zajmują się hurtowniami danych w tych instytucjach o wypełnienie ankiety, która jest dostępna pod adresem http://ankietahd.w.szu.pl (również za pomocą linku ze strony Katedry Systemów Sztucznej Inteligencji na Uniwersytecie Ekonomicznym we Wrocławiu: http://kssi.ue.wroc.pl ). Z góry dziękuję za okazaną pomoc.

Być może Prof. Jerzy Korczak z UE we Wrocławiu będzie w stanie Ci pomóc - napisaliśmy wspólnie kilka artykułów dokładnie w tym temacie.

Podstawowa bariera w mojej ocenie - technologia -> brak jest obecnie na rynku narzędzi do budowy hurtowni danych pozwalających na modelowanie specyficznych bankowych struktur danych.

Pozdrawiam
Błażej
Robert Woźniak

Robert Woźniak Digital Advisor &
Founder

Temat: Hurtownie danych w bankowości - ankieta

A co to za specyficzne struktury danych? Każda hurtownia to specyficzny twór ale wszystkie buduje się podobnie i wg różnych szkół (Kimball, Inmon).
Błażej O.

Błażej O. Badania i rozwój
zaawansowanych
systemów
analitycznych

Temat: Hurtownie danych w bankowości - ankieta

Robert Woźniak:
A co to za specyficzne struktury danych? Każda hurtownia to specyficzny twór ale wszystkie buduje się podobnie i wg różnych szkół (Kimball, Inmon).

Najprostszy przykład to struktura organizacyjna - np. taka:

Organizacja
|-Centrala
||-Departament
|||-Wydział
||||-Dział
|||||-Grupa
||||||-Zespół
|||||||-Stanowisko
(...)
|||||-Grupa
||||-Dział
(...)
|-Odział
||-Dział
|||-Stanowisko

itd. Czyli tego typu struktury (wymiary niejednorodne) - wymiary jednorodne to takie jak są opisane w literaturze dot. HD i OLAP (np. wymiar czasu).

Pozdrawiam
BłażejBłażej O. edytował(a) ten post dnia 04.05.09 o godzinie 09:49
Robert Woźniak

Robert Woźniak Digital Advisor &
Founder

Temat: Hurtownie danych w bankowości - ankieta

To tylko typ wymiaru nic więcej, opisywany jest zarówno jeden jak i drugi :). Jednorodny jak i niejednorodny można modelować zarówno jako parent-child jak i multilevel (oczywiście zdenormalizowany).
Błażej O.

Błażej O. Badania i rozwój
zaawansowanych
systemów
analitycznych

Temat: Hurtownie danych w bankowości - ankieta

Robert Woźniak:
To tylko typ wymiaru nic więcej, opisywany jest zarówno jeden jak i drugi :). Jednorodny jak i niejednorodny można modelować zarówno jako parent-child jak i multilevel (oczywiście zdenormalizowany).

Oczywiście wszystko można, jednak czy to będzie efektywnie działać na tych strukturach - w moim przekonaniu raczej nie (we wszystkich trzech przypadkach) - każda ma swoje zalety i wady -> natomiast należy przed przystąpieniem do projektu zdawać sobie sprawę przede wszystkim z wad danego modelu.

W każdym bądź razie na tym prostym przykładzie + stosując w/w modele struktur można napisać świetną pracę magisterską jak i doktorancką opisując to czego zrobić nie można albo co jest trudne i skomplikowane - to co można zrobić można przeczytać w książkach i necie.
Robert Woźniak

Robert Woźniak Digital Advisor &
Founder

Temat: Hurtownie danych w bankowości - ankieta

Jeżeli chodzi o wydajność to wiadomo, że trzeba na to uważać. Denormalizować i jeszcze raz denormalizować, a wszystko będzie dobrze :) .. tylko kto to później będzie utrzymywał! :) A tak serio, to oczywiście że każda branża ma swoje własne ciekawe struktury.

Jeżeli o chodzi o wymiary typu MPK (miejsce powstawania kosztów) to obecnie nie tylko Bankowość ma taką, np. w telekomach jest tak samo. Jak dla mnie ciekawe Hurtownie to się buduje w Energetyce, np. wymiar czasu z zejściem do minuty.

Co do bankowości to należy pamiętać, że obszar danych jest tam ogromny i stosuje się w większości przypadków szereg Hurtowni Tematycznych (Data Marts).
Błażej O.

Błażej O. Badania i rozwój
zaawansowanych
systemów
analitycznych

Temat: Hurtownie danych w bankowości - ankieta

Robert Woźniak:
Jeżeli chodzi o wydajność to wiadomo, że trzeba na to uważać. Denormalizować i jeszcze raz denormalizować, a wszystko będzie dobrze :) .. tylko kto to później będzie utrzymywał! :) A tak serio, to oczywiście że każda branża ma swoje własne ciekawe struktury.

Denormalizacja (jeżeli mówimy o procesie odwrotnym do normalizacji - doprowadzenia do postaci normalnych jakiegoś rzędu) w przypadku HD ma jeszcze jeden aspekt, możemy stracić możliwość identyfikacji obiektów a wtedy to już mamy kosmos.
Jeżeli o chodzi o wymiary typu MPK (miejsce powstawania kosztów) to obecnie nie tylko Bankowość ma taką, np. w telekomach jest tak samo. Jak dla mnie ciekawe Hurtownie to się buduje w Energetyce, np. wymiar czasu z zejściem do minuty.

Tak i zapomniałeś dodać, że nad minutami są jeszcze kwadranse no i rzeczywiście tam to są dopiero struktury do modelowania, niedawno robiłem projekt dla energetyki także wiem o tym małe co nieco.

Nie chciałem straszyć kolegi od mgr, ale skoro temat został poruszony to można zwrócić uwagę na kilka rzeczy związanych z MPK:
- jak uporamy się ze strukturą organizacyjną to należy założyć że koszty mogą rozchodzić się po różnych działach czyli MPK nie musi być tożsame ze SO;
- również pojedynczy koszt np. faktura może być rozbita na różne MPK (np. firma kupuje soft używany przez dwa różne działy);
- koszt może się również składać z wielu płatności (i płaci za powyższe w ratach);
- jeżeli w jakiś sposób liczymy stopę zwrotu z inwestycji to może się okazać, że na soft zarabia np. dział handlowy, który z niego nie korzysta bezpośrednio ale pośrednio;
- no i na koniec przydałby się system do zarządzania projektami (ale to już zupełnie inny kosmos).

Także proste rzeczy dość szybko nam się komplikują nie mówiąc już o innych systemach np. bilingi itp.
Co do bankowości to należy pamiętać, że obszar danych jest tam ogromny i stosuje się w większości przypadków szereg Hurtowni Tematycznych (Data Marts).

Zależy od podejścia i technologii jaką się wykorzystuje, osobiści robię to na kostkach OLAP i dopiera na ich bazie buduję dedykowane agregaty (Data Marts).
Robert Woźniak

Robert Woźniak Digital Advisor &
Founder

Temat: Hurtownie danych w bankowości - ankieta

Denormalizować należy, to jest przecież Hurtownia, a nie system transakcyjny. Jeżeli ma się dobrze zaprojektowany obszar danych detalicznych to nie trzeba się o nic martwić.

Co do kosztów, to o czym mówisz przypomina mi alokację kosztów i systemu kontrolingowe, to już inna bajka. Oczywiście, jak najbardziej wykorzystuje się struktury HD.

Ja również tworzę warstwę DM jako bazy OLAP. Np jak prowadzę szkolenia albo buduję HD to staram się kłaść duży nacisk właśnie na warstwę danych detalicznych. Jeżeli jest ona poprawna i nic w niej nie brakuje (wersjonowanie danych, klucze itd) to stworzenie warstw tematycznych to już "bułka z masłem". A tworzenie na tej warstwie "kostek" to już czysta przyjemność :).

Kostki tworzysz na Microsofcie?
Błażej O.

Błażej O. Badania i rozwój
zaawansowanych
systemów
analitycznych

Temat: Hurtownie danych w bankowości - ankieta

Robert Woźniak:
Denormalizować należy, to jest przecież Hurtownia, a nie system transakcyjny. Jeżeli ma się dobrze zaprojektowany obszar danych detalicznych to nie trzeba się o nic martwić.
Tak jak napisałem wcześnie trzeba uważac na utratę identyfikacji obiektów.
Co do kosztów, to o czym mówisz przypomina mi alokację kosztów i systemu kontrolingowe, to już inna bajka. Oczywiście, jak najbardziej wykorzystuje się struktury HD.
Pomysł na wydajny system tego typu to integracja HD i OLAP z warstwą aplikacyjną bazy czyli defacto ROLAP zintegrowany z aplikacją na db (np. wymiar HD i OLAP jast jednocześnie tabelą słownikową) - ale trzeba miec do tego odpowiedni soft.
Ja również tworzę warstwę DM jako bazy OLAP. Np jak prowadzę szkolenia albo buduję HD to staram się kłaść duży nacisk właśnie na warstwę danych detalicznych. Jeżeli jest ona poprawna i nic w niej nie brakuje (wersjonowanie danych, klucze itd) to stworzenie warstw tematycznych to już "bułka z masłem". A tworzenie na tej warstwie "kostek" to już czysta przyjemność :).

Kostki tworzysz na Microsofcie?

Własne rozwiązanie - niedługo będzie wprowadzane na rynek pod nazwą Analityczny Serwer SQL - na razie w wersji embeded do dedykowanych produktów w bankowości - w przyszłym roku zamierzamy wypuścic samodzielny serwer.
Robert Woźniak

Robert Woźniak Digital Advisor &
Founder

Temat: Hurtownie danych w bankowości - ankieta

Błażej O.:
Robert Woźniak:
Denormalizować należy, to jest przecież Hurtownia, a nie system transakcyjny. Jeżeli ma się dobrze zaprojektowany obszar danych detalicznych to nie trzeba się o nic martwić.
Tak jak napisałem wcześnie trzeba uważac na utratę identyfikacji obiektów.
Co do kosztów, to o czym mówisz przypomina mi alokację kosztów i systemu kontrolingowe, to już inna bajka. Oczywiście, jak najbardziej wykorzystuje się struktury HD.
Pomysł na wydajny system tego typu to integracja HD i OLAP z warstwą aplikacyjną bazy czyli defacto ROLAP zintegrowany z aplikacją na db (np. wymiar HD i OLAP jast jednocześnie tabelą słownikową) - ale trzeba miec do tego odpowiedni soft.
Ja również tworzę warstwę DM jako bazy OLAP. Np jak prowadzę szkolenia albo buduję HD to staram się kłaść duży nacisk właśnie na warstwę danych detalicznych. Jeżeli jest ona poprawna i nic w niej nie brakuje (wersjonowanie danych, klucze itd) to stworzenie warstw tematycznych to już "bułka z masłem". A tworzenie na tej warstwie "kostek" to już czysta przyjemność :).

Kostki tworzysz na Microsofcie?

Własne rozwiązanie - niedługo będzie wprowadzane na rynek pod nazwą Analityczny Serwer SQL - na razie w wersji embeded do dedykowanych produktów w bankowości - w przyszłym roku zamierzamy wypuścic samodzielny serwer.

Ciekawa sprawa, z chęcią posłuchałbym więcej na ten temat, w szczególności odnośnie serwera ... może masz jakąś stronę albo materiały w internecie?



Wyślij zaproszenie do