Data is everywhere

SQLDay 2019 – Web scraping praktycznie

Web scrapping praktycznie
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Środek maja już od wielu lat kojarzy mi się przede wszystkim z konferencją SQL Day. Podczas tegorocznej edycji – SQLDay 2019 – miałem okazję poprowadzić sesję zatytułowaną “Web scraping praktycznie“. Podczas prezentacji największy nacisk starałem się postawić na aspekt praktyczny oraz dużą ilość demonstacji. Głównym przykładem był skrypt do parsowania jednej z najpopularniejszych stron plotkarskich w Polsce. Jako, iż dane pochodzące z web scrapingu zwykle są w jakiś sposób wykorzystywane, część praktyczną zakończyłem krótkim przykładem analizy zgromadzonych danych z wykorzystaniem PowerBI. To była ogromna przyjemność, ale też zaszczyt występować na tak dużej i renomowanej konferencji! Przykłady oraz kody źródłowe dostępne…
Read more

Power BI w praktyce – odcinek 24 – Microsoft Ignite, co tam się działo…. [Nagranie]

Power BI Microsoft Ignite
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Analiza konferencji Microsoft Ignite doczekała się również narracji. W ostatnim odcinku “Power BI w praktyce” gościnnie zaprezentowałem opisywaną wcześniej tutaj analizę tej konferencji. Dla tych z Was, którzy jeszcze nie wiedzą “Power BI w praktyce” jest to kanał współtworzony przez Bartłomieja Graczyka oraz Pawła Potasińskiego na YouTubie, w którym pokazują Power BI od strony praktycznej. Polecam obserwować ten kanał, bo jest tam naprawdę sporo dobrej treści. Polecam oczywiście również odcinek w którym wystąpiłem. Kanał “Power BI w praktyce”: YouTube PS. Zaktualizowany raport oraz projekt dostępny jest do ścignięcia na GitHub: GitHub

Analiza danych pochodzących z Twittera z wykorzystaniem C# i Power BI

post_logo_publish_post
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Poprzedni post, “Podsumowanie Microsoft Ignite 2017 – analiza wydarzenia na Twitterze z wykorzystaniem Power BI”, pokazywał konkretny przykład analizy wybranego hashtagu w Power BI. Mimo, że Power BI wspiera naprawdę dużo źródeł danych, nie ma niestety bezpośredniego połczenia do portalu Twitter. Owszem, można skorzystać z oficjalnego API dostarczanego przez Twitter i wykorzystać, nawet bezpośrednio, z poziomu Power BI, natomiast problemem mogą okazać się limity. Dość skomplikowanym etapem jest również przygotowanie danych do analizy. Tutaj również, mimo, iż Power BI dostarcza ogromna ilość transformacji, w przypadku analizy tekstu wymaga to naprawdę sporo pracy i jest stosunkowo wolne. Przykład analizy tekstu w Power…
Read more

Podsumowanie Microsoft Ignite 2017 – analiza wydarzenia na Twitterze z wykorzystaniem Power BI

Microsoft Ignite 2017 Banner
Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Końcem września firma Microsoft organizowała konferencję Microsoft Ignite 2017. W dniach od 25 do 29 Orlando na Florydzie było jednym z najważniejszych miejsc na ziemi dla każdego entuzjasty technologi tej firmy. Konferencja według mnie nie zawiodła i zobaczyliśmy mnóstwo zapowiedzi w różnych obszarach. Lista nowości jest dość szeroko dostępna oraz opisana w Internecie, a większość nagrań dostępnych jest na channel9. W niniejszym poście oczywiście przedstawię najciekawsze z mojego punktu widzenia zmiany, ale również podzielę się przygotowaną przeze mnie analizą hashtagu #msignite z Twittera. Analiza ta została przygotowana z wykorzystaniem PowerBI, a sam sposób zbierania danych oraz przygotowania do ich analizowania…
Read more

SSAS – Analiza plików bazy analitycznej

Follow me on

Slawomir Drzymala

Still playing with data and .NET technologies
Slawomir Drzymala
Follow me on

Wstęp Kolejnym przykładem analizy, który pozwoli nam lepiej zrozumieć projekt bazy wielowymiarowej jest analiza plików, które są nieodłączonym jej elementem. Jak już wspomniano w poście http://pl.seequality.net/monitorowanie-optymalizacja-ssas/ Analysis Services wszystkie dane przechowuje w ogromnej ilości plików. Dla każdego atrybutu, hierarchii, agregacji itp. Wygenerowany zostanie jeden lub kilka plików, które mają za zadanie w efektywny sposób zwrócić dane potrzebne do wygenerowania rezultatu zapytania MDX. W tym artykule pobierzemy listę wszystkich plików bazy wielowymiarowej za pomocą skryptu PowerShell, a następnie przygotujemy raport w Power BI, który pozwoli lepiej zrozumieć rozmiar naszej bazy. Wszystkie pliki dostępne są na GitHub: https://github.com/seequality/seequality_ssas Analiza taka powinna być pomocna w…
Read more