TIPS Archives - Seequality

Niebezpieczeństwa w C# dla programisty hurtowni danych

Slawomir Drzymala March 1, 2018 0 Comments

C# – dangers for the Data Warehouse Developer

About
Latest Posts

Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies

Follow me on

Latest posts by Slawomir Drzymala (see all)

Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych - October 1, 2018
Power BI – wykrywanie błędów na opublikowanych raportach - August 20, 2018
Udostępnianie danych do pracy z Power BI - July 16, 2018

Mimo, iż nie jest to blog poświęcony programowaniu w języku C#, częściej lub rzadziej programista hurtowni danych jest zmuszony do napisania kilku linijek kodu w tym języku lub sprawdzenia jakiegoś istniejącego fragmentu kodu. Zwykle będzie to miało miejsce podczas pracy z SSIS i wykonaniu pewnych mniej standardowych transformacji lub logiki, ewentualnie w przypadku czytania z mniej oczywistych źródeł danych. Najpewniej będzie to zatem “Script Task” lub “Scrip Component” w SQL Server Integration Services, ale nie tylko. Napisanie tych kilku linijek może być dość prostym zadaniem, natomiast czasami może się okazać, że kod mimo iż działa to nie działa on poprawnie….
Read more

C#, Integration Services, TIPS

c#, niebezpieczeństwa, programista, programowanie, script component, script task

10 złych praktyk i niebezpiecznych nawyków w SQL Server

Adrian Chodkowski December 3, 2017 7 Comments

About
Latest Posts

Follow me

Adrian Chodkowski

SQL geek, Data enthusiast, Consultant & Developer

Follow me

Latest posts by Adrian Chodkowski (see all)

Power BI – modyfikacja relacji z funkcją CROSSFILTER - January 15, 2019
Power BI – czy Assume referential integrity w Direct Query ma znaczenie? - January 8, 2019
Power BI DAX – Detekcja poziomu hierarchii z ISINSCOPE - January 2, 2019

W swojej karierze miałem okazję oglądać już całkiem dużą liczbę mniejszych lub większych implementacji z wykorzystaniem SQL Server. Zdarza mi się również oglądać rozwiązania pisane według myśli technicznej innych deweloperów. Bardzo często spotykam się z kodem TSQL, który jest nie tylko bardzo dobrze napisany pod kątem składni, ale również poukładany według pewnych konwencji nazewniczych. Niestety często oglądam również małe “potworki” gdzie deweloperzy nie trzymają się absolutnie żadnych dobrych praktyk, a to co mieli na myśli pisząc taki, a nie inny kod jest zagadką tak ciężką do rozwiązania, że same próby przyprawiają o ból głowy. Dlatego też postanowiłem, że kilka pomniejszych…
Read more

Security, SQL, SQL Server database, TIPS

bad practices, collation, seek, sysadmin

Database Verification Framework (POC)

Slawomir Drzymala August 29, 2017 0 Comments

About
Latest Posts

Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies

Follow me on

Latest posts by Slawomir Drzymala (see all)

Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych - October 1, 2018
Power BI – wykrywanie błędów na opublikowanych raportach - August 20, 2018
Udostępnianie danych do pracy z Power BI - July 16, 2018

Wstęp Hurtownie danych to systemy, które, w dużym uproszczeniu, pobierają dane z wielu systemów źródłowych, a następnie przy pomocy różnych transformacji konsolidują je do jednej bazy danych zwanej właśnie hurtownią danych. Na podstawie tak zgromadzonych informacji biznes otrzymuje pełny zestaw danych o całej organizacji zwaną jedną wspólną wersją prawdy. Dane zgromadzone w ten sposób dają możliwość przygotowywania analiz i raportów oraz pozwalają podejmować na ich podstawie trafne decyzje. W rzeczywistym wdrożeniu hurtownia danych (w przypadku wykorzystania narzędzi firmy Microsoft) to zestaw składający się z ogromnej ilości danych, przepływów i transformacji danych przygotowanych w SQL Server Integration Services. Zestaw ten możemy rozszerzyć…
Read more

BIML, Business Intelligence, C#, DevOps, Inspiration, Integration Services, MSSQL, Power BI, Programming, SSRS, TIPS, TSQL

devops, Integration Services, qa, testowanie, testy, weryfikacja danych

Wykres Gantt aktywności SQL Server

Slawomir Drzymala August 24, 2017 0 Comments

About
Latest Posts

Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies

Follow me on

Latest posts by Slawomir Drzymala (see all)

Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych - October 1, 2018
Power BI – wykrywanie błędów na opublikowanych raportach - August 20, 2018
Udostępnianie danych do pracy z Power BI - July 16, 2018

Wstęp Narzędzi oraz sposobów monitorowania poszczególnych obiektów w SQL Server jest wiele i wiele zostało już na ten temat napisane. W tym poście chciałbym pokazać jeden ze sposobów graficznej analizy aktywności różnych obiektów działającej na serwerze Microsoft SQL Server, który – mam nadzieję – nie jest tak bardzo oczywisty. Idea tego postu to przygotowanie wykresu Gantt (https://pl.wikipedia.org/wiki/Diagram_Gantta), który zobrazuje aktywność uruchamianych procedur, pakietów SSIS oraz zadań SQL Server Agent. Taki wykres powinien okazać się przydatny do ogólnej analizy tego, co dzieje się na serwerze, ale również powinien pomóc dokładniej zrozumieć które zadania są wykonywane równocześnie i jakie zależności mogą…
Read more

Business Intelligence, Inspiration, Integration Services, MSSQL, R Programming, TIPS, TSQL

devops, ETL, Integration Services, monitoring, program r, R, report

Analiza użycia poszczególnych obiektów bazy analitycznej SSAS

Slawomir Drzymala August 3, 2017 0 Comments

About
Latest Posts

Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies

Follow me on

Latest posts by Slawomir Drzymala (see all)

Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych - October 1, 2018
Power BI – wykrywanie błędów na opublikowanych raportach - August 20, 2018
Udostępnianie danych do pracy z Power BI - July 16, 2018

Wstęp Analysis Services, jak już wspomniano we wcześniejszych postach (zobacz: http://pl.seequality.net/monitorowanie-optymalizacja-ssas/), dostarcza wiele użytecznych narzędzi do monitorowania,analizowania oraz sprawdzania serwera i poszczególnych obiektów SSAS. W niniejszym poście omówiony zostanie jeden z widoków systemów, który pomoże nam zrozumieć, które obiekty są rzeczywiście wykorzystywane przez użytkowników. Wizualizacja dla tego widoku została przygotowana w Power BI i można ją znaleźć na GitHub: https://github.com/seequality/seequality_ssas/tree/master/ssas_object_activity Widok o którym będzie mowa to DISCOVER_OBJECT_ACTIVITY. Oczywiście dane z widoku można zwracać za pomocą zapytania w języku MDX, dla tego widoku:

select 
	object_parent_path,
	object_id,
	object_cpu_time_ms,
	object_reads,
	object_read_kb,
	object_writes,
	object_write_kb,
	object_aggregation_hit,
	object_aggregation_miss,
	object_hit,
	object_miss,
	object_version,
	object_data_version,
	object_rows_scanned,
	object_rows_returned
from $system.DISCOVER_OBJECT_ACTIVITY

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

select

object_parent_path,

object_id,

object_cpu_time_ms,

object_reads,

object_read_kb,

object_writes,

object_write_kb,

object_aggregation_hit,

object_aggregation_miss,

object_hit,

object_miss,

object_version,

object_data_version,

object_rows_scanned,

object_rows_returned

from $system.DISCOVER_OBJECT_ACTIVITY

Widok zawiera następujące atrybuty: object_parent_path – “fizyczna” ścieżka do obiektu object_id – identyfikator obiektu object_cpu_time_ms – czas procesora w…
Read more

Analysis Services, Business Intelligence, Inspiration, MSSQL, Power BI, TIPS

analysis, Analysis Services, monitoring, Power BI, troubleshooting