пропозиції роботи
Jarosław Dobromilski IT Manager
Temat: Czas ładowania HD
Witam,Coś nic się nie dzieje na grupie, nie wiem, czy mogę zadać pytanie czysto techniczne.
Otóż tak jak mam w opisie jako pracę inżynierską projektuję HD z procesami ETL oraz warstwą prezentacji. Szkielet mam już mniejwięcej dopracowany, przynajmniej tak mi się wydaje, jednak chciałem się zorientować, czy czas ładowania nie jest zbyt długi.
Bazę Oracle 10gR2 oraz Warehouse Buildera mam odpalone na Celeronie Mobilnym 1,4 z 756 MB ramu, wiem wiem, ze to kiepska maszyna do takich zastosowań, no ale ...
No więc zaczynam od ładowania wymiaru czasu z dokładnością do sekund, plik od początku notowań giełdowych ma 1,7GB, czyli tak na dobrą sprawę nie tak dużo.
Dane przechodzą z tabeli zewnętrznej, przez wyrażenie łączące datę i godzinę do typu timestamp, pozniej są deduplikowane i kolejnym wyrażeniem zawierającym funkcje to_char rozrzucane są po wymiarach.
I tak sie zastanawiam, czy 200 tys rekordów z 35 mln powinno się ładować 4 godziny? czy może coś w ustawieniach mapowania, tabel zewnętrznych, czegokolwiek mogę mieć źle skonfigurowane?
Co o tym sądzi grono praktyków HD? :)
