DevOps

Docker dla “amatora” danych – cz. 1 Dockerfile i build na przykładzie skryptu Python

Docker dla amatora danych
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Wstęp Kontenery to temat na pewno nie nowy, natomiast w ostatnich latach bijący chyba rekordy popularności. Podczas tej rosnącej fali ja również postanowiłem sprawdzić, z czym to się je i w czym Docker może pomóc mi. W niniejszym serii postów chciałbym podzielić się z własnymi doświadczeniami, notatkami, fragmentami kodów oraz pokazać, w jaki sposób można wykorzystać Docker’a. Będzie to Docker z perspektywy osoby, która pracuje z danymi. Począwszy od ich gromadzenia, po ich przechowywanie, aż po ich przetwarzanie. Na pewno nie zabraknie samego Docker’a, SQL Server’a i Python’a przedstawionych w jak najbardziej praktyczny sposób. Zapraszam! Uruchomienie skryptu Python w Dockerze…
Read more

Docker dla “amatora” danych – cz. 0 Wprowadzenie

Docker dla amatora danych
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Wstęp Kontenery to temat na pewno nie nowy, natomiast w ostatnich latach bijący chyba rekordy popularności. Podczas tej rosnącej fali ja również postanowiłem sprawdzić, z czym to się je i w czym Docker może pomóc mi. W niniejszym serii postów chciałbym podzielić się z własnymi doświadczeniami, notatkami, fragmentami kodów oraz pokazać, w jaki sposób można wykorzystać Docker’a. Będzie to Docker z perspektywy osoby, która pracuje z danymi. Począwszy od ich gromadzenia, po ich przechowywanie, aż po ich przetwarzanie. Na pewno nie zabraknie samego Docker’a, SQL Server’a i Python’a przedstawionych w jak najbardziej praktyczny sposób. Zapraszam! Wprowadzenie Docker to, jak możemy…
Read more

Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych

Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych oraz ich projektem
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Wprowadzenie Porównywanie struktury i wykrywanie zmian pomiędzy bazami danych wydaje się problemem dość powszechnym. Motywacja może być skrajnie różna, ale jako przykład można podać: Sprawdzanie zmian pomiędzy projektem bazy danych oraz samą bazą danych przed jej aktualizacjom Sprawdzenie zmian pomiędzy dwiema różnymi bazami danych Sprawdzanie aktualnej struktury bazy danych z projektem w celu wykrycia manualnych zmian w bazie danych Scenariusze te mogą wynikać czy to z przygotowania procesu publikacji zmian czy też zapewnienia odpowiedniej higieny bazy danych. Trzeba pamiętać, że w przypadku rozwiązań hurtowni danych dość często spotkać można różne “tymczasowe” obiekty, takie jak tabele z kopią danych przed przeładowaniem…
Read more

Power BI – wykrywanie błędów na opublikowanych raportach

Check Power BI visual errors logo
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Praca z Power BI jest stosunkowo szybka, prosta i przyjemna. Niestety jak każdy produkt Power BI posiada również wady. Według mnie jedną z największych bolączek pracy developera z raportami Power BI oraz platformą powerbi.com jest administracja. Im większy projekt i liczba raportów, tym trudniej zapanować nad publikowaniem raportów oraz zapewnieniu ciągłości ich działania. W tym poście chciałbym opisać jeden konkretny problem oraz pokazać w jaki sposób można ten problem obejść. Pewnie nie jeden z nas spotkał się z następującym widokiem: Źródło problemu jest raczej oczywiste i najprawdopodobniej model danych, z którego korzystał raport uległ zmianie. Zmiany w modelu są rzeczą…
Read more

Continuous Integration dla kostek wielowymiarowych (SSAS Multidimensional)

Continuus Integration dla kostek wielowymiarowych (SSAS Multidimensional)
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Tematy DevOpsowe w ostatnim czasie dość mocno zadomowiły się w przypadku pracy z danymi. Używanie systemu kontroli wersji dla projektów bazy danych czy też rozwiązań klasy Business Intelligence (SSIS, SSRS, SSAS dla technologii Microsoft) nie powinno już nikogo dziwić, natomiast implementacja Continuous Integration (CI) czy Continuous Delivery (CD) dla tych usług wydaje mi się, że jest znacznie mniej popularna, ale na pewno coraz częściej się pojawia. W dzisiejszym wpisie chciałbym pokazać w jaki sposób można przygotować skrypt/skrypty do automatycznego publikowania projektu kostek wielowymiarowych. Pokażę również metodę na zaimplementowanie takiego scenariusza na maszynie developerskiej bez konieczności posiadania specyficznego oprogramowania. Będzie zatem mowa o…
Read more