Integration Services

Niebezpieczeństwa w C# dla programisty hurtowni danych

C# – dangers for the Data Warehouse Developer
Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Mimo, iż nie jest to blog poświęcony programowaniu w języku C#, częściej lub rzadziej programista hurtowni danych jest zmuszony do napisania kilku linijek kodu w tym języku lub sprawdzenia jakiegoś istniejącego fragmentu kodu. Zwykle będzie to miało miejsce podczas pracy z SSIS i wykonaniu pewnych mniej standardowych transformacji lub logiki, ewentualnie w przypadku czytania z mniej oczywistych źródeł danych. Najpewniej będzie to zatem “Script Task” lub “Scrip Component” w SQL Server Integration Services, ale nie tylko. Napisanie tych kilku linijek może być dość prostym zadaniem, natomiast czasami może się okazać, że kod mimo iż działa to nie działa on poprawnie….
Read more

SSIS IServerExec vs MsDtsSrvr

SSIS IServerExec vs MsDtsSrvr
Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

We wcześniejszym poście (http://pl.seequality.net/ssis-execution-process-iserverexec/) omówiliśmy architekturę Integration Services oraz proces “IServerExec”. W tym poście przypomnimy sobie co to jest usługa SSIS Service (MsDtsSrvr) oraz czy rzeczywiście potrzebujemy zarówno tej usługi, jak i wcześniej opisanego procesu. Usługa SSIS Zgodnie ze schematem z wcześniejszego postu usługa SSIS Service jest jedną ze składowych Integration Services.   Usługa ta wykorzystywana była przed SQL Server 2012 wraz z “Package Deployment Model”. Pakiety można było przechowywać albo w bazie danych MSDB, albo w systemie plików, a usługa ta była właśnie wykorzystywana do uruchamiania oraz zarządzania tymi pakietami. Tak naprawdę jest to starszy brat SSIS Catalogu i…
Read more

SSIS Execution process – IServerExec

SSIS Execution Process
Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

SQL Server 2012 przyniósł wiele zmian dla Integration Services. Do największych można zaliczyć wprowadzenie bazy danych SSISDB (SSIS Catalog) oraz nowy model publikowania projektu, czyli Project Deployment Model”. Wraz z tymi zmianami pojawił się również IServerExec, czyli proces, który odpowiedzialny jest za faktyczne wykonywanie operacji na pakietach w tym ich uruchamianie. Jako, że od tamtej pory SQL Server Integration Services z niego korzysta i jest on stosunkowo słabo opisany w Internecie, by nie powiedzieć pominięty, w dzisiejszym poście przyjrzymy się jemu działaniu. Architektura SSIS Zacznijmy od architektury SSIS oraz spróbujmy zastanowić się, gdzie znajduje się, wyżej wspomniany, IServerExec. W tym celu…
Read more

Weryfikowanie opublikowanego pakietu SSIS

SSIS Check Deployment Feature Image
Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

SQL Server Integration Services od wersji SQL Server 2012 pozwala na korzystanie z “Project Deployment Model”, który umożliwia wygodne publikowanie pakietów na serwer. Korzystając z tego modelu wszystkie pakiety w jednym projekcie są kompilowane do jednego pliku wynikowego (ISPAC) i następnie mogą zostać opublikowane do SSIS Catalogu, lub mówiąc konkretnie do bazy danych SSISDB (od wersji SQL Server 2016 istnieje również możliwość publikacji pojedynczych pakietów). Samą publikację można przeprowadzić za pomocą Visual Studio, narzędzia ISDeploymentWizard, SQL Server Management Studio, ale także za pomocą T-SQL, Powershell czy bibliotek dla platformy .NET. Liczba dostępnych metod oraz łatwość użycia sprawiają, że publikowanie nie jest…
Read more

Database Verification Framework (POC)

Data Verification Framework Diagram
Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Wstęp Hurtownie danych to systemy, które, w dużym uproszczeniu, pobierają dane z wielu systemów źródłowych, a następnie przy pomocy różnych transformacji konsolidują je do jednej bazy danych zwanej właśnie hurtownią danych. Na podstawie tak zgromadzonych informacji biznes otrzymuje pełny zestaw danych o całej organizacji zwaną jedną wspólną wersją prawdy. Dane zgromadzone w ten sposób dają możliwość przygotowywania analiz i raportów oraz pozwalają podejmować na ich podstawie trafne decyzje. W rzeczywistym wdrożeniu hurtownia danych (w przypadku wykorzystania narzędzi firmy Microsoft) to zestaw składający się z ogromnej ilości danych, przepływów i transformacji danych przygotowanych w SQL Server Integration Services. Zestaw ten możemy rozszerzyć…
Read more