Temat: Big data

Co wykrzykuje oferent BI (sprzedawca, konsultant, wdrożeniowiec, specjalista), gdy mu się mówi, że Excel może równie dobrze sterować hurtownią danych?

- Że "Big data", czyli wielkich baz danych, Excel nie obsłuży!

No to się, chłopaki, mylą, bo obsłuży, jak najbardziej. Nikt nie twierdzi, że wielkie dane mają się w Excelu zmieścić.

Pamiętacie, jak PowerPivot 10 milionów wierszy mielił 110s? Tu nieco szybciej. Duże nieco.

Film:
http://afin.net/webcasts/Demo_SQLS_40M_records.swfWojciech Gardziński edytował(a) ten post dnia 11.05.12 o godzinie 22:33

Temat: Big data

Zrobiłem ciekawy eksperyment.
Bazkę, znaczy tabelę, z poprzedniego postu spróbowałem... wciągnąć do Excela w całości.
Wiadomo, że to niemożliwe, bo 40 milionów rekordów nijak nie może się zmieścić w arkuszu Excela, ale spróbować można. Zrobiłem to kilkoma metodami, a wyniki są zaskakujące.

Środowisko:
baza danych: baza SQL Express, tabela 40.000.000 rekordów, ok. 2GB
system: Win7, Excel 2010
komputer: i5, 6GB RAM

1. Power Pivot - odmówił mi posłuszeństwa prawie od razu. Serwer SQL wyszukał, ale już bazy nie odnalazł, ani automatycznie, ani po specyfikacji ręcznej

2. Dane / Z innych źródeł / Z programu SQL Server - serwer odnalazł, bazę odnalazł, po kilku minutach stwierdził "że nie ma zasobów"

3. Przez Query - serwer bez problemu, baza bez problemu, tabela bez problemu... i "nie ma zasobów"

Czyli, jednym zdaniem - JEDYNY sensowny i działający sposób połączenia się z taką bazą to... sposób, opisany w poprzednim poście.
I, proszę zauważyć, im nowocześniejsza metoda, tym szybciej poległa w tych zawodach.

P.S.
Korekta!
Po lekkiej doktoryzacji (trochę tam się tym bawię, więc sztuczki specyfikacji obce nie są), udało mi się podłączyć tabelkę pod Power Pivota i, w owym Power Pivocie, tabela przestawna hula bardzo przyzwoicie, jeśli chodzi o prędkość przestawiania istniejących pól, itp. ... ale...
1. Podłączenie TRWAŁO dokładnie 5 i pół minuty, czyli PIĘĆ RAZY dłużej, niż kwerenda z poprzedniego postu
2. Power Pivot jest beznadziejny - nie da rady zrobić w nim grupowania dat po miesiącach, kwartałach, latach... - nic, żadnego grupowania.

Czyli, co z tego, że się da, jak nie można zrobić podstawowych operacji.Wojciech Gardziński edytował(a) ten post dnia 16.05.12 o godzinie 14:13

Temat: Big data

Kolejne uwagi na powyższy temat po kolejnych testach na tej samej bazie

Zrobiłem prostą kostkę z tej tabeli i ma 15kB. Nic dziwnego, że Power Pivot hula na tym szybko.
Tabela przestawna na tej kostce hula równie szybko.

W Query to też, jak widać, możliwe.
Czyli funkcje OLAP (te z cubów) tylko w AFINIE, bo na takich danych ciężko o cokolwiek innego.
A Power Pivot tego nie ma - tak ogólnie, to na tym można tylko używać tabelę przestawną, czyli - jak to, ogólnie, w najnowszych BIajach - kopiuj, wklej i dalej normalna orka Excelkiem.
Taki standard biajowy.

Podsumowanie: Query nie wyświetli, podobnie jak OLE DB, rekordów, ale kostkę zrobi – bez drill-downa i grupowania (jak to OLAP), chyba, że zdefiniuje się nowe pola w Query.

= Funkcjonalność super Power Pivota jest na naszych komputerach od 12 lat.

P.S.
Ach, czasy!
W Power Pivocie zaciąg całej tabeli trwał 5,5 minuty.
Query robiło kostkę (czyli jej normalne odświeżenie) nie więcej niż dwie minuty.Wojciech Gardziński edytował(a) ten post dnia 17.05.12 o godzinie 13:42