Business Intelligence Archives

Database Verification Framework (POC)

Slawomir Drzymala August 29, 2017 0 Comments

About
Latest Posts

Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies

Follow me on

Latest posts by Slawomir Drzymala (see all)

Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych - October 1, 2018
Power BI – wykrywanie błędów na opublikowanych raportach - August 20, 2018
Udostępnianie danych do pracy z Power BI - July 16, 2018

Wstęp Hurtownie danych to systemy, które, w dużym uproszczeniu, pobierają dane z wielu systemów źródłowych, a następnie przy pomocy różnych transformacji konsolidują je do jednej bazy danych zwanej właśnie hurtownią danych. Na podstawie tak zgromadzonych informacji biznes otrzymuje pełny zestaw danych o całej organizacji zwaną jedną wspólną wersją prawdy. Dane zgromadzone w ten sposób dają możliwość przygotowywania analiz i raportów oraz pozwalają podejmować na ich podstawie trafne decyzje. W rzeczywistym wdrożeniu hurtownia danych (w przypadku wykorzystania narzędzi firmy Microsoft) to zestaw składający się z ogromnej ilości danych, przepływów i transformacji danych przygotowanych w SQL Server Integration Services. Zestaw ten możemy rozszerzyć…
Read more

BIML, Business Intelligence, C#, DevOps, Inspiration, Integration Services, MSSQL, Power BI, Programming, SSRS, TIPS, TSQL

devops, Integration Services, qa, testowanie, testy, weryfikacja danych

Wykres Gantt aktywności SQL Server

Slawomir Drzymala August 24, 2017 0 Comments

About
Latest Posts

Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies

Follow me on

Latest posts by Slawomir Drzymala (see all)

Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych - October 1, 2018
Power BI – wykrywanie błędów na opublikowanych raportach - August 20, 2018
Udostępnianie danych do pracy z Power BI - July 16, 2018

Wstęp Narzędzi oraz sposobów monitorowania poszczególnych obiektów w SQL Server jest wiele i wiele zostało już na ten temat napisane. W tym poście chciałbym pokazać jeden ze sposobów graficznej analizy aktywności różnych obiektów działającej na serwerze Microsoft SQL Server, który – mam nadzieję – nie jest tak bardzo oczywisty. Idea tego postu to przygotowanie wykresu Gantt (https://pl.wikipedia.org/wiki/Diagram_Gantta), który zobrazuje aktywność uruchamianych procedur, pakietów SSIS oraz zadań SQL Server Agent. Taki wykres powinien okazać się przydatny do ogólnej analizy tego, co dzieje się na serwerze, ale również powinien pomóc dokładniej zrozumieć które zadania są wykonywane równocześnie i jakie zależności mogą…
Read more

Business Intelligence, Inspiration, Integration Services, MSSQL, R Programming, TIPS, TSQL

devops, ETL, Integration Services, monitoring, program r, R, report

SSISDB i SSIS catalog od środka [Nagranie]

Slawomir Drzymala August 10, 2017 0 Comments

About
Latest Posts

Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies

Follow me on

Latest posts by Slawomir Drzymala (see all)

Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych - October 1, 2018
Power BI – wykrywanie błędów na opublikowanych raportach - August 20, 2018
Udostępnianie danych do pracy z Power BI - July 16, 2018

Podczas konferencji SQL Day 2017 (http://sqlday.pl/) miałem przyjemność poprowadzić sesję pod tytułem “SSISDB i SSIS catalog od środka”. Podczas prezentacji starałem się skupić na mniej trywialnych aspektach działania SSIS Catalog oraz jego architekturze. O samej konferencji pisaliśmy sporo w poście z relacją z tego wydarzenia (http://pl.seequality.net/sqlday-2017-relacja-na-biezaco/) , natomiast na channel9 można już znaleźć nagrania z niektórych wystąpień. Pełny opis sesji: “Możliwość publikowania całych projektów SSIS zamiast pojedynczych pakietów jest ogromnym ułatwieniem dla projektantów procesów ETL w SQL Server Integration Services. Wiele osób zapomina jednak, ze SSIS catalog to nie tylko miejsce, gdzie możemy składować nasze pakiety, ale także baza danych SSISDB,…
Read more

Business Intelligence, Event, Integration Services, Video

Integration Services, nagrania, prelegent, speaker, sqlday, wideo, wystapienia

Analiza użycia poszczególnych obiektów bazy analitycznej SSAS

Slawomir Drzymala August 3, 2017 0 Comments

About
Latest Posts

Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies

Follow me on

Latest posts by Slawomir Drzymala (see all)

Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych - October 1, 2018
Power BI – wykrywanie błędów na opublikowanych raportach - August 20, 2018
Udostępnianie danych do pracy z Power BI - July 16, 2018

Wstęp Analysis Services, jak już wspomniano we wcześniejszych postach (zobacz: http://pl.seequality.net/monitorowanie-optymalizacja-ssas/), dostarcza wiele użytecznych narzędzi do monitorowania,analizowania oraz sprawdzania serwera i poszczególnych obiektów SSAS. W niniejszym poście omówiony zostanie jeden z widoków systemów, który pomoże nam zrozumieć, które obiekty są rzeczywiście wykorzystywane przez użytkowników. Wizualizacja dla tego widoku została przygotowana w Power BI i można ją znaleźć na GitHub: https://github.com/seequality/seequality_ssas/tree/master/ssas_object_activity Widok o którym będzie mowa to DISCOVER_OBJECT_ACTIVITY. Oczywiście dane z widoku można zwracać za pomocą zapytania w języku MDX, dla tego widoku:

select 
	object_parent_path,
	object_id,
	object_cpu_time_ms,
	object_reads,
	object_read_kb,
	object_writes,
	object_write_kb,
	object_aggregation_hit,
	object_aggregation_miss,
	object_hit,
	object_miss,
	object_version,
	object_data_version,
	object_rows_scanned,
	object_rows_returned
from $system.DISCOVER_OBJECT_ACTIVITY

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

select

object_parent_path,

object_id,

object_cpu_time_ms,

object_reads,

object_read_kb,

object_writes,

object_write_kb,

object_aggregation_hit,

object_aggregation_miss,

object_hit,

object_miss,

object_version,

object_data_version,

object_rows_scanned,

object_rows_returned

from $system.DISCOVER_OBJECT_ACTIVITY

Widok zawiera następujące atrybuty: object_parent_path – “fizyczna” ścieżka do obiektu object_id – identyfikator obiektu object_cpu_time_ms – czas procesora w…
Read more

Analysis Services, Business Intelligence, Inspiration, MSSQL, Power BI, TIPS

analysis, Analysis Services, monitoring, Power BI, troubleshooting

SSAS – Analiza plików bazy analitycznej

Slawomir Drzymala July 27, 2017 0 Comments

About
Latest Posts

Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies

Follow me on

Latest posts by Slawomir Drzymala (see all)

Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych - October 1, 2018
Power BI – wykrywanie błędów na opublikowanych raportach - August 20, 2018
Udostępnianie danych do pracy z Power BI - July 16, 2018

Wstęp Kolejnym przykładem analizy, który pozwoli nam lepiej zrozumieć projekt bazy wielowymiarowej jest analiza plików, które są nieodłączonym jej elementem. Jak już wspomniano w poście http://pl.seequality.net/monitorowanie-optymalizacja-ssas/ Analysis Services wszystkie dane przechowuje w ogromnej ilości plików. Dla każdego atrybutu, hierarchii, agregacji itp. Wygenerowany zostanie jeden lub kilka plików, które mają za zadanie w efektywny sposób zwrócić dane potrzebne do wygenerowania rezultatu zapytania MDX. W tym artykule pobierzemy listę wszystkich plików bazy wielowymiarowej za pomocą skryptu PowerShell, a następnie przygotujemy raport w Power BI, który pozwoli lepiej zrozumieć rozmiar naszej bazy. Wszystkie pliki dostępne są na GitHub: https://github.com/seequality/seequality_ssas Analiza taka powinna być pomocna w…
Read more

Analysis Services, Business Intelligence, Data is everywhere, Inspiration, Power BI, Power Query

analiza, Analysis Services, kostki, monitoring, optymalziacja, Power BI