Business Intelligence

Database Verification Framework (POC)

Data Verification Framework Diagram
Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Wstęp Hurtownie danych to systemy, które, w dużym uproszczeniu, pobierają dane z wielu systemów źródłowych, a następnie przy pomocy różnych transformacji konsolidują je do jednej bazy danych zwanej właśnie hurtownią danych. Na podstawie tak zgromadzonych informacji biznes otrzymuje pełny zestaw danych o całej organizacji zwaną jedną wspólną wersją prawdy. Dane zgromadzone w ten sposób dają możliwość przygotowywania analiz i raportów oraz pozwalają podejmować na ich podstawie trafne decyzje. W rzeczywistym wdrożeniu hurtownia danych (w przypadku wykorzystania narzędzi firmy Microsoft) to zestaw składający się z ogromnej ilości danych, przepływów i transformacji danych przygotowanych w SQL Server Integration Services. Zestaw ten możemy rozszerzyć…
Read more

Wykres Gantt aktywności SQL Server

Gantt report for MS SQL Server
Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Wstęp   Narzędzi oraz sposobów monitorowania poszczególnych obiektów w SQL Server jest wiele i wiele zostało już na ten temat napisane. W tym poście chciałbym pokazać jeden ze sposobów graficznej analizy aktywności różnych obiektów działającej na serwerze Microsoft SQL Server, który – mam nadzieję – nie jest tak bardzo oczywisty. Idea tego postu to przygotowanie wykresu Gantt (https://pl.wikipedia.org/wiki/Diagram_Gantta), który zobrazuje aktywność uruchamianych procedur, pakietów SSIS oraz zadań SQL Server Agent. Taki wykres powinien okazać się przydatny do ogólnej analizy tego, co dzieje się na serwerze, ale również powinien pomóc dokładniej zrozumieć które zadania są wykonywane równocześnie i jakie zależności mogą…
Read more

SSISDB i SSIS catalog od środka [Nagranie]

Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Podczas konferencji SQL Day 2017 (http://sqlday.pl/) miałem przyjemność poprowadzić sesję pod tytułem “SSISDB i SSIS catalog od środka”. Podczas prezentacji starałem się skupić na mniej trywialnych aspektach działania SSIS Catalog oraz jego architekturze. O samej konferencji pisaliśmy sporo w poście z relacją z tego wydarzenia (http://pl.seequality.net/sqlday-2017-relacja-na-biezaco/) , natomiast na channel9 można już znaleźć nagrania z niektórych wystąpień. Pełny opis sesji: “Możliwość publikowania całych projektów SSIS zamiast pojedynczych pakietów jest ogromnym ułatwieniem dla projektantów procesów ETL w SQL Server Integration Services. Wiele osób zapomina jednak, ze SSIS catalog to nie tylko miejsce, gdzie możemy składować nasze pakiety, ale także baza danych SSISDB,…
Read more

Analiza użycia poszczególnych obiektów bazy analitycznej SSAS

Database level analysis
Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Wstęp Analysis Services, jak już wspomniano we wcześniejszych postach (zobacz: http://pl.seequality.net/monitorowanie-optymalizacja-ssas/), dostarcza wiele użytecznych narzędzi do monitorowania,analizowania oraz sprawdzania serwera i poszczególnych obiektów SSAS. W niniejszym poście omówiony zostanie jeden z widoków systemów, który pomoże nam zrozumieć, które obiekty są rzeczywiście wykorzystywane przez użytkowników. Wizualizacja dla tego widoku została przygotowana w Power BI i można ją znaleźć na GitHub: https://github.com/seequality/seequality_ssas/tree/master/ssas_object_activity Widok o którym będzie mowa to DISCOVER_OBJECT_ACTIVITY. Oczywiście dane z widoku można zwracać za pomocą zapytania w języku MDX, dla tego widoku:

Widok zawiera następujące atrybuty: object_parent_path – “fizyczna” ścieżka do obiektu object_id – identyfikator obiektu object_cpu_time_ms – czas procesora w…
Read more

SSAS – Analiza plików bazy analitycznej

Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Wstęp Kolejnym przykładem analizy, który pozwoli nam lepiej zrozumieć projekt bazy wielowymiarowej jest analiza plików, które są nieodłączonym jej elementem. Jak już wspomniano w poście http://pl.seequality.net/monitorowanie-optymalizacja-ssas/ Analysis Services wszystkie dane przechowuje w ogromnej ilości plików. Dla każdego atrybutu, hierarchii, agregacji itp. Wygenerowany zostanie jeden lub kilka plików, które mają za zadanie w efektywny sposób zwrócić dane potrzebne do wygenerowania rezultatu zapytania MDX. W tym artykule pobierzemy listę wszystkich plików bazy wielowymiarowej za pomocą skryptu PowerShell, a następnie przygotujemy raport w Power BI, który pozwoli lepiej zrozumieć rozmiar naszej bazy. Wszystkie pliki dostępne są na GitHub: https://github.com/seequality/seequality_ssas Analiza taka powinna być pomocna w…
Read more