Azure Data Factory jest kluczowym serwisem pozwalającym tworzyć skalowalne przepływy danych. Nawet najlepiej zaplanowany przepływ musi mieć zaimplementowaną logikę na wypadek wystąpienia błędu, w tym również możliwość przechwycenia konkretnego komunikatu związanego z błędem. Implementacja takiego mechanizmu może zostać wykonana na kilka różnych sposobów – jednym z nich jest odpytanie serwisu z poziomu żądania REST API, […]
Author: Adrian Chodkowski
Azure SQL Elastic Database Jobs – uniwersalny scheduler na miarę potrzeb
Chmura Azure charakteryzuje się tym, że oferuje nam mnóstwo różnych usług, które możemy wykorzystać w naszych projektach. Co ciekawe mając jakąś konkretną potrzebę mamy do dyspozycji kilka różnych narzędzi czy serwisów, które wykonają powierzone zadania. Oczywiście wybór konkretnego narzędzia nie zawsze jest prosty ponieważ opiera się on na wielu czynnikach jak chociażby budżet, sposób użycia […]
Azure SQL Elastic Query – Linked server w świecie chmury
Mimo licznych problemów Linked Server jest bardzo popularną funkcjonalnością w świecie SQL Server. Pozwala ona w prosty sposób połączyć się z jednego serwera bazodanowego do innego i używać SQLa do łączenia czy też przerzucania danych pomiędzy serwerami. Ze względu na fakt, iż chmura Azure już na dobre zadomowiła się w wielu przedsiębiorstwach, deweloperzy którzy upodobali […]
Ładowanie Azure Synapse przy pomocy COPY INTO
Jednym z najgorętszych tematów w świecie platformy danych Microsoft jest bez wątpienia Azure Synapse Analytics. Jest to usługa która wyewoluowała z Azure Datawarehouse i obecnie opiera się na kilku filarach gdzie z jednej strony mamy do czynienia z Dedicated SQL Pool czyli relacyjnym silnikiem SQL działającym w technologii MPP (Massive Parallel Processing), SQL Serverless gdzie […]
Azure Data Factory – Integracja z Azure Key Vault
Definiowanie połączeń do różnych źródeł danych jest nieodłącznym elementem pracy każdego kto zajmuje się systemami analitycznymi. Samo uwierzytelnienie do źródła może przebiegać na wiele różnych sposobów zależnych między innymi od typu źródła, zdefiniowanej polityki bezpieczeństwa itd. Bardzo ważnym aspektem jest to aby wszelkie dane wrażliwe przechowywać w bezpieczny sposób tak aby nie trafiły one w […]
Iterowanie przy pomocy ms_foreachtable i pętli WHILE
W naszej codziennej pracy z bazami danych bardzo często zdarza się sytuacja gdy musimy wykonać różnego rodzaju zadania związane ze sprawdzeniem większej ilości tabel. Na przykład chcemy sprawdzić ilość wierszy w tabelach co wymaga od nas napisania zapytania, które w jakiś sposób “przejrzy” większość bądź wszystkie tabele. Oczywiście możliwości rozwiązania takiego zadania jest naprawdę wiele: […]