Data is everywhere

SQLDay 2019 – Web scraping praktycznie

Web scrapping praktycznie

Środek maja już od wielu lat kojarzy mi się przede wszystkim z konferencją SQL Day. Podczas tegorocznej edycji – SQLDay 2019 – miałem okazję poprowadzić sesję zatytułowaną “Web scraping praktycznie“. Podczas prezentacji największy nacisk starałem się postawić na aspekt praktyczny oraz dużą ilość demonstacji. Głównym przykładem był skrypt do parsowania jednej z najpopularniejszych stron plotkarskich w Polsce. Jako, iż dane pochodzące z web scrapingu zwykle są w jakiś sposób wykorzystywane, część praktyczną zakończyłem krótkim przykładem analizy zgromadzonych danych z wykorzystaniem PowerBI. To była ogromna przyjemność, ale też zaszczyt występować na tak dużej i renomowanej konferencji! Przykłady oraz kody źródłowe dostępne…
Read more

Power BI w praktyce – odcinek 24 – Microsoft Ignite, co tam się działo…. [Nagranie]

Power BI Microsoft Ignite

Analiza konferencji Microsoft Ignite doczekała się również narracji. W ostatnim odcinku “Power BI w praktyce” gościnnie zaprezentowałem opisywaną wcześniej tutaj analizę tej konferencji. Dla tych z Was, którzy jeszcze nie wiedzą “Power BI w praktyce” jest to kanał współtworzony przez Bartłomieja Graczyka oraz Pawła Potasińskiego na YouTubie, w którym pokazują Power BI od strony praktycznej. Polecam obserwować ten kanał, bo jest tam naprawdę sporo dobrej treści. Polecam oczywiście również odcinek w którym wystąpiłem. Kanał “Power BI w praktyce”: YouTube PS. Zaktualizowany raport oraz projekt dostępny jest do ścignięcia na GitHub: GitHub

Analiza danych pochodzących z Twittera z wykorzystaniem C# i Power BI

post_logo_publish_post

Poprzedni post, “Podsumowanie Microsoft Ignite 2017 – analiza wydarzenia na Twitterze z wykorzystaniem Power BI”, pokazywał konkretny przykład analizy wybranego hashtagu w Power BI. Mimo, że Power BI wspiera naprawdę dużo źródeł danych, nie ma niestety bezpośredniego połczenia do portalu Twitter. Owszem, można skorzystać z oficjalnego API dostarczanego przez Twitter i wykorzystać, nawet bezpośrednio, z poziomu Power BI, natomiast problemem mogą okazać się limity. Dość skomplikowanym etapem jest również przygotowanie danych do analizy. Tutaj również, mimo, iż Power BI dostarcza ogromna ilość transformacji, w przypadku analizy tekstu wymaga to naprawdę sporo pracy i jest stosunkowo wolne. Przykład analizy tekstu w Power…
Read more

Podsumowanie Microsoft Ignite 2017 – analiza wydarzenia na Twitterze z wykorzystaniem Power BI

Microsoft Ignite 2017 Banner

Końcem września firma Microsoft organizowała konferencję Microsoft Ignite 2017. W dniach od 25 do 29 Orlando na Florydzie było jednym z najważniejszych miejsc na ziemi dla każdego entuzjasty technologi tej firmy. Konferencja według mnie nie zawiodła i zobaczyliśmy mnóstwo zapowiedzi w różnych obszarach. Lista nowości jest dość szeroko dostępna oraz opisana w Internecie, a większość nagrań dostępnych jest na channel9. W niniejszym poście oczywiście przedstawię najciekawsze z mojego punktu widzenia zmiany, ale również podzielę się przygotowaną przeze mnie analizą hashtagu #msignite z Twittera. Analiza ta została przygotowana z wykorzystaniem PowerBI, a sam sposób zbierania danych oraz przygotowania do ich analizowania…
Read more

SSAS – Analiza plików bazy analitycznej

Wstęp Kolejnym przykładem analizy, który pozwoli nam lepiej zrozumieć projekt bazy wielowymiarowej jest analiza plików, które są nieodłączonym jej elementem. Jak już wspomniano w poście http://pl.seequality.net/monitorowanie-optymalizacja-ssas/ Analysis Services wszystkie dane przechowuje w ogromnej ilości plików. Dla każdego atrybutu, hierarchii, agregacji itp. Wygenerowany zostanie jeden lub kilka plików, które mają za zadanie w efektywny sposób zwrócić dane potrzebne do wygenerowania rezultatu zapytania MDX. W tym artykule pobierzemy listę wszystkich plików bazy wielowymiarowej za pomocą skryptu PowerShell, a następnie przygotujemy raport w Power BI, który pozwoli lepiej zrozumieć rozmiar naszej bazy. Wszystkie pliki dostępne są na GitHub: https://github.com/seequality/seequality_ssas Analiza taka powinna być pomocna w…
Read more