GoldenLine
Zaloguj się
Joanna Kasperek

Joanna Kasperek specjalista ds.
projektów
międzynarodowych
Agencja Rozwoj...

Temat: Hurtownia danych - temat pracy dyplomowej

Witam wszystkich,
rozpoczynam właśnie przygotowania do pracy dyplomowej o Hurtowniach Danych. Szukam inspiracji czego ta hurtownia mogłaby dotyczyć i skąd pobrać dane.
Czy ktoś mógłby mi zasugerować jakie dane użyć do tej hurtowni / jaka miałaby być jej tematyka? Z góry bardzo dziękuję
Link do wypowiedziLink
Robert Woźniak

Robert Woźniak Digital Advisor &
Founder

Temat: Hurtownia danych - temat pracy dyplomowej

Hurtownia jak już sama nazwa wskazuje ma coś w hurcie czyli dużo czegoś po niższej cenie :). TO samo tyczy się Hurtowni Danych czyli dużo danych w dobrym czasie dostępu :) ... danych różnych, im różniejsze tym większa hurtownia. Jeżeli da się je ze sobą powiązać i wyciągać z nich wnioski to już mamy dużą i dobrą hurtownię. Dlatego nie trzeba szukać inspiracji tylko pobrać jakieś dane. Mogą to być dane losowań lotto od początku jego istnienia do tego możesz dorzucić dane giełdowe (sprzedaż akcji) + kursy walut + PKB w roku + sprzedaż obligacji. W ten sposób może wyszedłby jakiś piękny trend zachowań ludzi w poszczególnych latach na zasadzie ich inwestowania :)

Tak na serio to najpierw poczytaj po co są te hurtownie, a dane same Ci się znajdą. Natomiast większość firm ma wspólny mianownik:
- Czas, Klient, Produkt / Usługa, Geografia + Miary: count i sum czyli liczba i wielkość czyli liczba klientów, produktów oraz wielkość sprzedaży, marży, kosztów itd itd.
Link do wypowiedziLink
Joanna Kasperek

Joanna Kasperek specjalista ds.
projektów
międzynarodowych
Agencja Rozwoj...

Temat: Hurtownia danych - temat pracy dyplomowej

Dorzucę do tego jeszcze dane meteorologiczne i będzie komplet :)
A tak poważnie - dziękuję za odpowiedź. Pomyślę jeszcze nad tym. Wolałabym właśnie uniknąć tematów ekonomicznych i znaleźć coś bardziej z poza utartego schematu.
Link do wypowiedziLink
Michał Patrzałek

Michał Patrzałek ETL developer

Temat: Hurtownia danych - temat pracy dyplomowej

no tak tylko co chcesz mierzyć w tych danych? Nie za bardzo widzę odniesienia w danych meterologicznych tego co mogłabyś zmierzyć, jaki masz cel dla tej hurtownii. Nie wiem może chcesz np mierzyć takie fakty jak średnia ilość opadów spośród 10 lat mając dane z większości miast Polski i wyliczać z tego średnią dla całego kraju? Chyba że do pracy dyplomowej założenie jest takie że model logiczny nie koniecznie musi mieć sens a pokazać przykład takiej hurtownii?
Link do wypowiedziLink
Robert Woźniak

Robert Woźniak Digital Advisor &
Founder

Temat: Hurtownia danych - temat pracy dyplomowej

Joanna Kasperek:
Dorzucę do tego jeszcze dane meteorologiczne i będzie komplet :)
A tak poważnie - dziękuję za odpowiedź. Pomyślę jeszcze nad tym. Wolałabym właśnie uniknąć tematów ekonomicznych i znaleźć coś bardziej z poza utartego schematu.


Natomiast proszę popatrz sobie na coś takiego "adventureworksdw2012":
http://msftdbprodsamples.codeplex.com/releases/view/55330

Tyle, że to Microsoft. Natomiast moim zdaniem pod pracę koncepcyjną to dobre rozwiązanie.

Kiedyś mieli coś lepszego czyli Project Real czyli cały projekt: źródło transakcyjna + ETL(z logowaniem) + Hurtownia + OLAP + raporty.
Link do wypowiedziLink
Robert Woźniak

Robert Woźniak Digital Advisor &
Founder

Temat: Hurtownia danych - temat pracy dyplomowej

Michał Patrzałek:
no tak tylko co chcesz mierzyć w tych danych? Nie za bardzo widzę odniesienia w danych meterologicznych tego co mogłabyś zmierzyć, jaki masz cel dla tej hurtownii. Nie wiem może chcesz np mierzyć takie fakty jak średnia ilość opadów spośród 10 lat mając dane z większości miast Polski i wyliczać z tego średnią dla całego kraju? Chyba że do pracy dyplomowej założenie jest takie że model logiczny nie koniecznie musi mieć sens a pokazać przykład takiej hurtownii?

>Dorzucę do tego jeszcze dane meteorologiczne i będzie komplet :)
>A tak poważnie

Michale, to ŻART :) ... Pani Joanna nawiązuje do mojego żartu rozszerzając go, przez to stał się "smaczniejszy" ;) ... najpierw trzeba przeczytać ze zrozumieniem wątek :)Robert Woźniak edytował(a) ten post dnia 29.10.12 o godzinie 10:08
Link do wypowiedziLink
Michał Patrzałek

Michał Patrzałek ETL developer

Temat: Hurtownia danych - temat pracy dyplomowej

Wiesz no tak naprawdę można mierzyć co kto chce :) Zwłaszcza że koleżanka pisała że chce uniknąć tematów ekonomicznych. Ja proponuje może zobaczyć Ci to od wewnątrz ściągając bazkę
Adventure Works DW 2012 czy coś takiego. Będzie Ci zdecydowanie dużo łatwiej gdy podpatrzysz już zbudowaną hurtownię :)
Link do wypowiedziLink
Joanna Kasperek

Joanna Kasperek specjalista ds.
projektów
międzynarodowych
Agencja Rozwoj...

Temat: Hurtownia danych - temat pracy dyplomowej

Dziękuję wszystkim - tak, z danymi meteo to oczywiście był żart. A na hurtownie chętnie popatrzę - dokładnie to samo sugerował mi promotor :)
Link do wypowiedziLink
Michał Papciak

Michał Papciak BI / ETL Developer,
Analyx sp. z o.o.
sp. k.

Temat: Hurtownia danych - temat pracy dyplomowej

Witaj.

Podobnie jak koledzy wyżej polecam, abyś przejrzała jak najwięcej gotowych hurtowni danych. Najpopularniejszą jest wymieniony już AdventureWorks. Oprócz tego w internecie można znaleźć inne bazy dołączane do kolejnych edycji MS Analysis Services - bardzo fajną bazą jest Foodmart, ponadto jest jeszcze Northwind.
Z tego co wiem to Oracle też miało jakieś swoje samplowe bazy, o ile dobrze pamiętam były to bazy Global i SH (sales history).
Hurtowni, które zawierałyby klasyczne dane sprzedażowe + ewentualne magazynowe jest więc sporo. Te wymienione przeze mnie są najczęściej używane przez wykładowców na uczelniach. Sam przy pisaniu pracy magisterskiej korzystałem z bazy Foodmart. Kwestia tylko, czy chodzi Ci o właśnie takie dane, czy też może coś bardziej wyszukanego - może kursy walut, akcji itp.? Z tego co się orientuje, to NBP wystawia jakieś Web Service, którym można pobierać różne ciekawe dane, może warto poszukać tam? Możliwości jest sporo, musiałabyś jedynie trochę doprecyzować co Tobie najbardziej by odpowiadało :).
Link do wypowiedziLink
Joanna Kasperek

Joanna Kasperek specjalista ds.
projektów
międzynarodowych
Agencja Rozwoj...

Temat: Hurtownia danych - temat pracy dyplomowej

Powracam do tematu - niestety tematyką mojej hurtowni będzie analiza notowań na giełdzie :/ czy ktoś z was widział może albo zna jakiekolwiek źródła o tego typu hurtowniach? Przeszukałam już chyba cały internet i nie mogę znaleźć niczego (nie o samych hurtowniach, czego jest całe mnóstwo) ale o hurtowniach, które poddają analizie notowania. Będę wdzięczna za jakiekolwiek podpowiedzi.
pozdrawiam
Link do wypowiedziLink
Maciej T.

Maciej T.
====================
============

Temat: Hurtownia danych - temat pracy dyplomowej

to wbijaj się na http://www.gpw.pl/ z pytaniem czy udostępnią Ci w formie elektronicznej notowania historyczne - oczywiście, z zaznaczeniem, że to do pracy dyplomowej.
A jak będzie z tym problem to pobierz kilka notowań z ręki (żeby np. nazwy spółek się zgadzały lub bardziej ogólnie celem utworzenia rzeczywistych słowników) a dane wygeneruj losowo. A jakie dane to jak rozumiem, zależy już od Twojego projektu hurtowni.Maciej Tomaszewski edytował(a) ten post dnia 05.12.12 o godzinie 12:00
Link do wypowiedziLink
Grzegorz K.

Grzegorz K. Data & Analytics
Engineer

Temat: Hurtownia danych - temat pracy dyplomowej

Na lokalizacji :

http://bossa.pl/notowania/metastock/

są pliki tekstowe z różnymi notowaniami.Grzegorz K. edytował(a) ten post dnia 05.12.12 o godzinie 13:15
Link do wypowiedziLink
Joanna Kasperek

Joanna Kasperek specjalista ds.
projektów
międzynarodowych
Agencja Rozwoj...

Temat: Hurtownia danych - temat pracy dyplomowej

Samo zdobycie danych nie będzie dla mnie większym problemem. Szukam natomiast materiałów w jaki sposób zbudować z nich kostkę OLAP i co poddać analizie bo nie znam się niestety na giełdzie. Może spotkał się ktoś z podobnym opracowaniem, bo sama dość dużo szukam i nie moge znaleźć materiałów w tym temacie.
Link do wypowiedziLink
Maciej T.

Maciej T.
====================
============

Temat: Hurtownia danych - temat pracy dyplomowej

o ile dobrze pamiętam to powinnaś pochylić się na analizą techniczną i fundamentalną - tam znajdziesz teorię dla swojej hurtowni - ale to zapewne już wiesz.
Link do wypowiedziLink
Michał Patrzałek

Michał Patrzałek ETL developer

Temat: Hurtownia danych - temat pracy dyplomowej

Wydaje mi się że ciężko dostać taki temat żeby dane już były gotowe w obiektach dla hurtowni danych. Oto chodzi żeby wszystko zrobić od podstaw i zasilić losowymi danymi :)
Link do wypowiedziLink
Joanna Kasperek

Joanna Kasperek specjalista ds.
projektów
międzynarodowych
Agencja Rozwoj...

Temat: Hurtownia danych - temat pracy dyplomowej

W zupełności się z tobą zgadzam, gdybym mogła posłużyć sie losowo wygenerowanymi danymi to było by bardzo dobrze. Ja niestety potrzebuje realne dane :/
Link do wypowiedziLink
Michał Patrzałek

Michał Patrzałek ETL developer

Temat: Hurtownia danych - temat pracy dyplomowej

masz takie wymagania że mają to być realne dane?
Poza tym jak to wykładowca sprawdzi? Prace dyplomowe/magisterskie zakładają pewną dowolność/sztuczność używanych w nich danych ponieważ to nie zależy od Ciebie prawda?
Aczkolwiek takie firmy jak open finance na czymś bazują pokazując te swoje wykresiki więc możę uda Ci się uzyskać takie dane.
Link do wypowiedziLink
Maciej T.

Maciej T.
====================
============

Temat: Hurtownia danych - temat pracy dyplomowej

Joanna Kasperek:
Samo zdobycie danych nie będzie dla mnie większym problemem.

>Ja niestety potrzebuje realne dane :/

Koleżanka zaczyna być niespójna w swoich wypowiedziach, najpierw, że nie ma problemu a później, że niestety...
Szczerze mówiąc to zgubiłem definicję problemu. Każda praca to z założenia "problem" wyzwanie do podjęcia. Z biznesowego punktu widzenia należy spojrzeć na "problem" od strony analizy inwestora giełdowego ograniczając się na pewien zakres z analizy technicznej bądź fundamentalnej.
Bo jak zbudować kostkę OLAP np. tutaj:
http://edu.pjwstk.edu.pl/wyklady/hur/scb/wyklad10/w10.htm
Link do wypowiedziLink
Michał Patrzałek

Michał Patrzałek ETL developer

Temat: Hurtownia danych - temat pracy dyplomowej

Myślę że właśnie na tym polega Twoja praca żeby samemu zbudować kostkę. Nikt Ci nie da na tak poważną pracę tematu który już jest zbudowany. Wiem że microsoft ma bazę AdventureWorks data warehouse (myślę że przykłady OLAP'a też są, ale przecież to nie o to chodzi żeby przepisać to co już jest, zresztą ja już byłaby przykładowa baza OLAP z notowaniami to co lepszego zrobisz? Poprawisz agregaty - nie sądzę)
Link do wypowiedziLink
Joanna Kasperek

Joanna Kasperek specjalista ds.
projektów
międzynarodowych
Agencja Rozwoj...

Temat: Hurtownia danych - temat pracy dyplomowej

Dzięki za odpowiedź. Pobrałam sobie HD z AdventureWorks i zaczynam się wdrażać, zaczynam już powoli dochodzić do kostki :) Co do tematu giełdy to go zarzuciłam na rzecz eksportu na świecie - dane znalazłam na stronie Komisji Europejskiej. Po zapoznaniu się z analizą techniczną i fundamentalną stwierdziłam, że trudno będzie mi się na tym skupiać bez żadnego przygotowania merytorycznego.
Link do wypowiedziLink
« Wróć do tematów
Odpowiedz

Podobne tematy


Następna dyskusja:

Pomoc przy pisaniu pracy na...




Wyślij zaproszenie do
Anuluj