Tag Archive: Integration Services

SSIS, Microsoft SQL Server Integration Service

Database Verification Framework (POC)

Data Verification Framework Diagram

Wstęp Hurtownie danych to systemy, które, w dużym uproszczeniu, pobierają dane z wielu systemów źródłowych, a następnie przy pomocy różnych transformacji konsolidują je do jednej bazy danych zwanej właśnie hurtownią danych. Na podstawie tak zgromadzonych informacji biznes otrzymuje pełny zestaw danych o całej organizacji zwaną jedną wspólną wersją prawdy. Dane zgromadzone w ten sposób dają możliwość przygotowywania analiz i raportów oraz pozwalają podejmować na ich podstawie trafne decyzje. W rzeczywistym wdrożeniu hurtownia danych (w przypadku wykorzystania narzędzi firmy Microsoft) to zestaw składający się z ogromnej ilości danych, przepływów i transformacji danych przygotowanych w SQL Server Integration Services. Zestaw ten możemy rozszerzyć…
Read more

Wykres Gantt aktywności SQL Server

Gantt report for MS SQL Server

Wstęp   Narzędzi oraz sposobów monitorowania poszczególnych obiektów w SQL Server jest wiele i wiele zostało już na ten temat napisane. W tym poście chciałbym pokazać jeden ze sposobów graficznej analizy aktywności różnych obiektów działającej na serwerze Microsoft SQL Server, który – mam nadzieję – nie jest tak bardzo oczywisty. Idea tego postu to przygotowanie wykresu Gantt (https://pl.wikipedia.org/wiki/Diagram_Gantta), który zobrazuje aktywność uruchamianych procedur, pakietów SSIS oraz zadań SQL Server Agent. Taki wykres powinien okazać się przydatny do ogólnej analizy tego, co dzieje się na serwerze, ale również powinien pomóc dokładniej zrozumieć które zadania są wykonywane równocześnie i jakie zależności mogą…
Read more

SSISDB i SSIS catalog od środka [Nagranie]

Podczas konferencji SQL Day 2017 (http://sqlday.pl/) miałem przyjemność poprowadzić sesję pod tytułem “SSISDB i SSIS catalog od środka”. Podczas prezentacji starałem się skupić na mniej trywialnych aspektach działania SSIS Catalog oraz jego architekturze. O samej konferencji pisaliśmy sporo w poście z relacją z tego wydarzenia (http://pl.seequality.net/sqlday-2017-relacja-na-biezaco/) , natomiast na channel9 można już znaleźć nagrania z niektórych wystąpień. Pełny opis sesji: “Możliwość publikowania całych projektów SSIS zamiast pojedynczych pakietów jest ogromnym ułatwieniem dla projektantów procesów ETL w SQL Server Integration Services. Wiele osób zapomina jednak, ze SSIS catalog to nie tylko miejsce, gdzie możemy składować nasze pakiety, ale także baza danych SSISDB,…
Read more

SQL Server 2016 Integration Services Package Parts

SQLServer2016_SSISPackageParts00
Follow me

Adrian Chodkowski

SQL geek, Data enthusiast, Consultant & Developer
Adrian Chodkowski
Follow me

Do tej pory omówiliśmy już całkiem sporo nowości w ramach naszej serii Poznaj SQL Server 2016. Póki co nie wspomnieliśmy ani słowem o Integration Services – czy to oznacza, że nie pojawiło się tam nic nowego? Wręcz przeciwnie! W najnowszej wersji dostajemy do rąk kilka nowości, jedną z nich są tzw. Package Parts o których traktuje niniejszy artykuł – zapraszam do lektury. Jednym z większych problemów związanych z Integration Services było to, iż oprogramowanie to nie dawało sensownych możliwości ponownego użycia kodu – za każdy razem musieliśmy albo taką logikę implementować niejako “na opak”  różnymi obejściami albo używać tradycyjnej metody…
Read more

BIML i Data Profiling Task – automatyczne profilowanie wszystkich tabel w bazie danych

Data Profiling Task to według mnie jeden z najciekawszych komponentów SQL Server Integration Services, który bardzo często jest pomijany, lub o którym często się nie pamięta. Jest on przydatny na wielu płaszczyznach pracy z danymi od wyszukiwania problemów z danymi podczas tworzenia aplikacji lub hurtowni danych, aż do podstawowej weryfikacji oraz badania danych na potrzeby ich późniejszego wykorzystania w odkrywaniu wiedzy. Wydaje mi się również, że jest idealnym przykładem do przedstawienia języka BIML, czyli Business Intelligence Modeling Language. Dzięki kombinacji tych dwóch technologii jesteśmy w stanie w bardzo krótkim czasie przygotować uniwersalne narzędzie do gromadzenia podstawowych informacji o danych oraz do ich profilowania. Data Profiling…
Read more