Monthly Archive: October 2017

Dlaczego mój plan zapytania nie jest równoległy?

SQLServerParallelism_00
Adrian Chodkowski
Follow me

Adrian Chodkowski

SQL geek, Data enthusiast, Consultant & Developer
Adrian Chodkowski
Follow me

SQL Server od już bardzo dawna potrafi wykonywać zapytania wykorzystując wiele wątków. O całym mechanizmie równoległości (ang. parallelism) opowiedziano już naprawdę wiele podczas różnego rodzaju prezentacji i artykułów, jednakże mam wrażenie, że nadal nie do końca jest to temat znany. W ramach niniejszego artykułu postanowiłem zebrać kilka faktów na ten temat oraz wypunktować kilka przyczyn, które powodują,  że nasz plan jest wykonywany na pojedynczym wątku mimo, że mógłby być równoległy. Zapraszam do zapoznania się z niniejszym tekstem. Na samym początku powiedzmy sobie o dwóch arcyważnych ustawieniach sterujących omawianym mechanizmem, a mianowicie Max Degree Of Parallelism oraz Cost Treshold Of Parallelism….
Read more

Analiza danych pochodzących z Twittera z wykorzystaniem C# i Power BI

post_logo_publish_post
Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Poprzedni post, “Podsumowanie Microsoft Ignite 2017 – analiza wydarzenia na Twitterze z wykorzystaniem Power BI”, pokazywał konkretny przykład analizy wybranego hashtagu w Power BI. Mimo, że Power BI wspiera naprawdę dużo źródeł danych, nie ma niestety bezpośredniego połczenia do portalu Twitter. Owszem, można skorzystać z oficjalnego API dostarczanego przez Twitter i wykorzystać, nawet bezpośrednio, z poziomu Power BI, natomiast problemem mogą okazać się limity. Dość skomplikowanym etapem jest również przygotowanie danych do analizy. Tutaj również, mimo, iż Power BI dostarcza ogromna ilość transformacji, w przypadku analizy tekstu wymaga to naprawdę sporo pracy i jest stosunkowo wolne. Przykład analizy tekstu w Power…
Read more

Partycjonowanie tabel a wydajność zapytań w SQL Server

PartitionElemination_00
Adrian Chodkowski
Follow me

Adrian Chodkowski

SQL geek, Data enthusiast, Consultant & Developer
Adrian Chodkowski
Follow me

Partycjonowanie jest szeroko znaną techniką użyteczną w bardzo wielu aspektach pracy związanych z tabelami i indeksami w SQL Server. Zanim zostanę posądzony o herezje to chciałem zaznaczyć, że techniki tej nie należy traktować jako stricte funkcjonalności poprawiania wydajności, jednakże sam sposób jej działania może pozytywnie wpłynąć również na przetwarzanie naszych zapytań odczytujących oraz ładujących. Z partycjami związany jest szereg różnych mechanizmów takich jak partition switching czy chociażby partition elimination, które mogą być bardzo pomocne w codziennej pracy. W ramach niniejszego artykułu przedstawie kilka ogólnych właściwości tabel partycjonowanych oraz powiemy sobie co nieco o eliminacji partycji. Całość tematu będzie najlepiej zrozumieć…
Read more

Podsumowanie Microsoft Ignite 2017 – analiza wydarzenia na Twitterze z wykorzystaniem Power BI

Microsoft Ignite 2017 Banner
Slawomir Drzymala
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Końcem września firma Microsoft organizowała konferencję Microsoft Ignite 2017. W dniach od 25 do 29 Orlando na Florydzie było jednym z najważniejszych miejsc na ziemi dla każdego entuzjasty technologi tej firmy. Konferencja według mnie nie zawiodła i zobaczyliśmy mnóstwo zapowiedzi w różnych obszarach. Lista nowości jest dość szeroko dostępna oraz opisana w Internecie, a większość nagrań dostępnych jest na channel9. W niniejszym poście oczywiście przedstawię najciekawsze z mojego punktu widzenia zmiany, ale również podzielę się przygotowaną przeze mnie analizą hashtagu #msignite z Twittera. Analiza ta została przygotowana z wykorzystaniem PowerBI, a sam sposób zbierania danych oraz przygotowania do ich analizowania…
Read more

Równoległe wstawianie danych do tabel tymczasowych

ParallelismAndtempTables_00
Adrian Chodkowski
Follow me

Adrian Chodkowski

SQL geek, Data enthusiast, Consultant & Developer
Adrian Chodkowski
Follow me

Z tabel tymczasowych korzysta niemal każdy związany w swojej pracy zawodowej z SQL Server. Są one pomocne w przypadku czasowego przechowywania rezultatów zapytań i często mogą być również techniką optymalizacyjną. Nie inaczej jest w przypadku ładowań większych tabel wchodzących w skład hurtowni danych gdzie tabelki z hashem pojawiają się nagminnie czy to w procedurach składowanych czy też w zapytaniach ad-hoc. Wstawiając większe wolumeny danych do tabel tego typu zależy nam aby samo wstawianie wykonywane było jak najszybciej. Do tej pory mieliśmy jasną sytuację jeśli chodzi o tabele tymczasowe i równoległe wstawianie danych, jednakże w ostatnim czasie pojawiło się kilka niejasnych…
Read more