Narzędzia Business Intelligence dla menadżera – Microsoft BI

Nie dawno miałem okazję napisać parę słów dla JCommerce o platformie Business Intelligence jaką oferuje Microsoft. Cały artykuł jest dość subiektywny, ale mimo wszystko wydaje mi się, że opisuje większość kluczowych komponentów wchodzacych w skład platformy. Oryginalny artykuł znajdziecie tutaj.

Microsoft Data Platform – idealna platforma Business Intelligence dla biznesu?

Wdrożenie systemu Business Intelligence nie może być już niestety postrzegane, jako sposób na uzyskanie przewagi konkurencyjnej, tak jak miało to miejsce jeszcze kilka lat temu. Jest wręcz przeciwnie – system BI należy wdrożyć jak najszybciej właśnie po to, żeby nie zostać daleko w tyle za konkurencją. Zaawansowane systemy analityki biznesowej stają się powoli powszechnym standardem, a bez nich bardzo trudno zarówno rywalizować na rynku, jak i zrozumieć procesy zachodzące we własnej firmie. Determinantem sukcesu jest dzisiaj poznanie swoich danych np. przy pomocy algorytmów eksploracji. Z doświadczenia wiem, że już najprostsza analiza, wykrywająca odchylenia, czy anomalie (ang. outliers), okazuje się zaskakująca i odkrywcza dla rozpoczynających, swoją przygodę z BI, managerów. Poza tym w dzisiejszym biznesie coraz istotniejszą rolę odgrywa mobilność dostępu do danych. Pomocne są tutaj zarówno systemy współpracujące z chmurą obliczeniową, jak również specjalne aplikacje do raportowania mobilnego. Nowoczesny system Business Intelligence nie tylko ma dostarczać konkretnych i pewnych danych, ale również – albo może przede wszystkim – nie może ograniczać.

Jaki system Business Intelligence wybrać?

Kilka lat obecności narzędzi do szeroko pojętej analityki i przetwarzania danych zaowocowało wieloma wdrożeniami systemów Business Intelligence. Także w Polsce duże zainteresowanie tym rozwiązaniem sprawiło, że sporo rodzimych firm posiada już taki system. Z całą pewnością firmy te będą się różniły w ocenie, czy była to trafiona inwestycja, czy też nie. Przede wszystkim powodzenie tak dużego przedsięwzięcia, jakim bez wątpienia jest wdrożenie systemu BI, jest zależne od postrzegania samego projektu przez organizację, w której system ten ma zostać wdrożony. Kluczowe jest zaangażowanie i traktowanie projektu jako inwestycji, a nie jedynie kosztu w budżecie. Oczywiście każdy biznes składa się z bardzo wielu indywidualnych, często dynamicznie zmieniających się procesów, które podlegać powinny procesom analitycznym i raportowym. Na pewno wiele zależy więc od umiejętności zespołu realizującego dane wdrożenie oraz – co oczywiste – od oprogramowania, jakie zostało użyte. Należy przy tym pamiętać, że niektóre narzędzia już na samym początku cechują się pewnymi ograniczeniami, zarówno w zakresie procesów, które będą w stanie obsłużyć, jak i jeśli chodzi o możliwość zmian w późniejszym czasie. Czy istnieje jednak narzędzie idealne, które sprawdzi się w każdej firmie i w każdej sytuacji? Z całą pewnością nie, jednak są narzędzia mnie lub bardziej uniwersalne i elastyczne. Chciałbym pod tym kątem przeanalizować jedną z najpopularniejszych platform Business Intelligence dostępnych na rynku tj. system Microsoft Business Intelligence.

Firmy Microsoft nie trzeba chyba nikomu przedstawiać, jest z całą pewnością niekwestionowanym liderem, jeśli chodzi o dostarczanie oprogramowania do użytku codziennego. Jednak oprócz powszechnie znanego systemu Windows, czy Office, Microsoft na przestrzeni lat rozwijał także potężną platformę, służącą do przetwarzania, analizowania i zarządzania danymi. Nie jest to produkt ukierunkowany na jedną, wąską grupę odbiorców, a jego wdrożenie nie ma ustalonych wzorców, dzięki czemu pozwala na dużą elastyczność i dostosowanie do wymagań konkretnego projektu. Elastyczność, o której mowa, oraz bogata oferta narzędzi, wchodzących w skład platformy sprawia, że system ten pnie się w górę w różnego rodzaju rankingach. Kilkoma z nich posłużę się w tym artykule.

Rozwiązania Microsoftu w raportach Gartnera

Przyjrzyjmy się najpopularniejszemu ze wspomnianych rankingów, czyli raportowi firmy Gartner. W październiku 2015 roku pojawiło się opracowanie dotyczące systemów transakcyjnych baz danych, czyli mechanizmu, na którym opierają się takie systemy jak ERP, CRM czy systemy księgowe, a także oczywiście narzędzia Business Intelligence.

Raport firmy Gartner – transakcyjne bazy danych

W systemach tego typu najważniejsze są trzy cechy tj. wydajność, transakcyjność oraz bezpieczeństwo. Specjaliści firmy Gartner uznali, że to właśnie Microsoft spełnia w największym stopniu te założenia, zarówno pod kątem kompletności wizji, jak i możliwości jej wdrożenia. Microsoft oparł swój system o silnik bazodanowy SQL Server. Najnowsza wersja SQL Server 2016, której premiera miała miejsce 1 czerwca 2016, nie tylko rozszerza i ulepsza wcześniej dostępne mechanizmy, ale również wprowadza szereg nowych. Wśród nich m.in:

• indeksy kolumnowe, umożliwiające budowanie bardzo szybkich zapytań analitycznych do bazy, przy jednoczesnej możliwości zachowania tradycyjnych struktur transakcyjnych;
• scenariusze wysokiej dostępności High Availability Disaster Recovery, gwarantujące ciągłość pracy biznesowej;
• możliwość oparcia swoich rozwiązań na hybrydowej architekturze stacjonarnego serwera i chmurze obliczeniowej.

Najprawdopodobniej to właśnie te mechanizmy sprawiają, że rozwiązanie to zdobywa rynek szturmem, zdecydowanie wyprzedzając rozwiązania innych producentów. Moim zdaniem trend ten będzie się jeszcze umacniał i luka pomiędzy produktami Microsoft a produktami konkurencji będzie coraz większa. Przyczynić do tego może się m.in. fakt, iż Microsoft otworzył się także na produkty typu open source i SQL Server został udostępniony również dla systemów Linux.

Hurtownie danych w raporcie Gartnera

Podobny ranking Gartner opublikował również dla hurtowni danych (ang. datawarehousing). Zestawienie wygląda następująco:

Raport firmy Gartner – hurtownie danych

Również tutaj Microsoft znajduje się w ścisłej czołówce i jest postrzegany jako jeden z liderów. To tym bardziej zaskakujące, że jeszcze do niedawna SQL Server kojarzony był jako baza danych, na której zbudować można hurtownię danych jedynie dla firm o małej i średniej wielkości. Obecnie pozwala również na budowę ogromnych wieloklastrowych rozwiązań hurtowni danych, o czym mogą świadczyć kolejne przykłady wdrożeń dla instytucji finansowych i produkcyjnych, opisywane na stronach Microsoftu, a także na stronie JCommerce.

Należy pamiętać, że system SQL Server to nie jedno narzędzie, ale kompleksowa rodzina oprogramowania, oferująca kilka wersji (w tym darmową), które są dostosowane, pod kątem funkcjonalności, do różnych potrzeb biznesu. Dzięki temu podejściu firmy mniejsze mogą kupić tańszą wersję, która będzie mimo to spełniała ich oczekiwania, natomiast przedsiębiorstwa zainteresowane bardziej skomplikowanymi rozwiązaniami, będą mogły również wykupić licencję, pozwalającą na realizację ich zaawansowanych celów. Dzięki SQL Server i wbudowanym w niego mechanizmom, takim jak kompresja i partycjonowanie, można nie tylko budować aplikacje i hurtownie, ale również w bardzo prosty sposób zaoszczędzić zasoby sprzętowe, nie zmieniając przy tym swoich istniejących rozwiązań.

W ramach swojej platformy Microsoft dostarcza szeregu narzędzi, wspomagających budowę samej hurtowni danych, takich jak:

• Integration Services do budowy przepływów, integrujących dane z różnych systemów.
• Data Quality Services do badania jakość danych i budowy automatycznych mechanizmów czyszczących.
• Data Master Services, dzięki któremu użytkownicy mogą z poziomu dedykowanego interfejsu webowego, czy też Excela, zarządzać tzw. master danymi.

Całość jest oczywiście zintegrowana w ramach platformy, dzięki czemu poszczególne elementy świetnie ze sobą współpracują, nie ma więc konieczności ponoszenia dodatkowych kosztów i nakładu pracy, jakie miałyby miejsce w przypadku wybrania narzędzi od kilku dostawców jednocześnie.

Najnowsze trendy związane z hurtowniami danych wymagają, żeby dane były agregowane w bardzo szybkim czasie i w moim odczuciu Microsoft sprostał temu wyzwaniu, stawiając na przetwarzanie w pamięci operacyjnej (in-memory). System umożliwia wykonywanie raportów bezpośrednio w bazie SQL Server, bez utraty szybkości działania, dzięki czemu nie zawsze będzie trzeba budować dodatkową warstwę analityczną na hurtowni, taką jak np. kostka wielowymiarowa czy model danych (ang. framework), czyli struktur bardzo często wymaganych w innych narzędziach Business Intelligence.

Oczywiście to jeszcze nie wszystko. Bardzo do tej pory cenione usługi raportujące (Reporting Services), wraz z pojawieniem się wersji 2016 SQL Server, przeszły sporą rewolucję. Zmiany zaszły bardzo daleko, zarówno pod kątem wizualizacji, jak i w zakresie innych, sugerowanych przez użytkowników ulepszeń, takich jak np. automatyczne skalowane na różne urządzenia mobilne. Obecnie raporty stworzone w Reporting Services wyglądają nowocześnie i estetycznie, a przy okazji zachowują swoją przejrzystość i prostotę budowy. Implementacja kokpitów menedżerskich, czy raportów przy użyciu tego narzędzia, pozwala menedżerom i analitykom dostrzeżenie prawidłowości w ich biznesie m.in. dzięki bogatym możliwościom przedstawiania kluczowych wskaźników efektywności (ang. Key Performance Indicators). Przy okazji wspomnieć należy, że nadal dostępne są klasyczne możliwości, umożliwiające interaktywną pracę z raportem. Możliwościami takimi są m.in. dostarczanie raportu na skrzynkę pocztową w wybranym formacie, czy przygotowanie raportów tzw. pixel-wise, czyli prezentacji przygotowanych do druku ze zgodnością do danego standardu co do piksela.

Reporting Services – narzędzie do wizualizacji danych w SQL Server (materiały marketingowe Microsoft)

Microsoft Business Intelligence

Oczywiście hurtownie danych są kluczowym elementem systemów analizy danych, jednak Gartner przygotował także osobne zestawienie, porównujące narzędzia Business Intelligence, które możecie zobaczyć poniżej:

Raport firmy Gartner – systemy klasy Business Intelligence

A oto osobne zestawienie narzędzi do zaawansowanej analityki:

Raport firmy Gartner – narzędzia do zaawansowanej analityki biznesowej

System Business Intelligence Microsoftu już od dawna może się pochwalić ugruntowaną pozycją na rynku, co zresztą potwierdzają raporty Gartnera. Narzędzia, które posiada, takie jak wspomniane już Integration Services czy Analysis Services, są znane i bardzo cenione zarówno przez użytkowników, jak i specjalistów.

Jednak system utrzymuje swoją wysoką pozycję przede wszystkim dlatego, że wciąż się dynamicznie rozwija. Jakiś czas temu dodany został nowy tryb działania Analysis Services, nazwany modelem tabelarycznym (ang. tabular model). Zarówno w tym, jak i w i innych systemach klasy Business Intelligence, bardzo często zdarzało się, że „wąskim gardłem” był system dyskowy serwera. Twórcy MS BI wyciągnęli z tego wnioski i postanowili zminimalizować to ograniczenie. Główną zaletą trybu tabularycznego jest więc szybkość działania, osiągnięta przez umieszczenie wszystkich danych modelu w pamięci operacyjnej (in-memory). Takie rozwiązanie mogłoby generować ogromne zapotrzebowanie na pamięć operacyjną – modele danych o wielkości dziesiątek i setek gigabajtów nie są przecież niczym nadzwyczajnym. Aby uniknąć problemów tego typu, Microsoft zaimplementował jednak specjalne mechanizmy kompresji. Dzięki temu dane redundantne (jakich w zdenormalizowanych hurtowniach danych nie brakuje) system przechowuje tylko raz. Po kompresji dane zajmują średnio od kilku do kilkunastu razy mniej, niż te same dane w źródłowej bazie danych.

Oprócz tego nastąpiło przyspieszenie cyklu wydawniczego tj. nowa wersja będzie wydawana mniej więcej co dwa lata. Dzięki temu podejściu organizacje mogą mieć pewność co do wsparcia i zachowania ciągłości swojego oprogramowania.

Power BI

Równolegle Microsoft ciągle poszerza swoje portfolio produktów, między innymi poprzez stworzenie nowego narzędzia, jakim jest Power BI. Jest to oprogramowanie self-service (każdy może z niego skorzystać i stworzyć zwizualizowane analizy swoich danych – na przykład domowych rachunków), które umożliwia tworzenie nowocześnie wyglądających raportów i kokpitów menedżerskich, które bez dodatkowego nakładu sił mogą być wyświetlane z dowolnego miejsca na urządzeniach, bez względu na ich rozdzielczość.

Power BI – dashboard manadżera (materiały marketingowe Microsoft)

Power BI jest pełną implementacją nowej strategii Microsoftu, który stawia na mobilność i chmurę. Ale nie tylko. Konkurencja, jak na przykład Qlik, promuje swoje narzędzia Business Intelligence, podkreślajac, że wykorzystują technologi asocjacyjną. W ogromnym skrócie technologia ta polega na tym, że poprzez klikanie w poszczególne elementy raportu można przefiltrować inne. Technologia ta naprawdę robi wrażenie i jest niezwykle użyteczna, jednak nie jest już żadną nowością, a raczej standardem, stosowanym także przez Microsoft. Power BI stosuje tę i inne funkcje promowane przez konkurencję, jak na przykład przetwarzanie danych w pamięci operacyjnej (o czym wspomniałem przy okazji opisu nowej wersji SQL Server z 2016 roku). I to już od pierwszej wersji.

Dla użytkowników biznesowych, szczególnie tych z wyższego szczebla, w systemach Business Intelligence bardzo ważna jest graficzna wizualizacja danych. Jak w tym przypadku wypada oprogramowanie Microsoftu? Otóż bardzo dobrze. Sam Power BI ma dostępną całą gamę wizualizacji z możliwością dostosowania do konkretnych potrzeb. Nawet gdy mimo wszystko wbudowane szablony wizualizacji nam nie wystarczają, można dodatkowo skorzystać z wizualizacji stworzonych przez społeczność użytkowników, a także samemu ją stworzyć (lub zlecić rzecz jasna) przy użyciu javascirpt. Możliwe jest także zaimplementowanie wizualizacji dostępnej w bibliotekach języka R, który posiada niemal nieograniczone możliwości wizualizacji danych. Dzięki tak szerokiej funkcjonalności możliwe jest stworzenie dowolnej, dostosowanej do naszych potrzeb i świetnie wyglądającej grafiki. Możliwe jest wizualizowanie zarówno tradycyjnych danych tabelarycznych, jak i danych geograficznych oraz hierarchicznych. Na poniższym obrazku można zobaczyć jeden z przykładów geograficznej wizualizacji danych.

Power BI – geograficzna wizualizacja danych z wykorzystaniem języka R (materiały marketingowe Microsoft)

Microsoft dostrzegł w porę coraz większe zapotrzebowanie przedsiębiorstw na dogłębne analizowanie posiadanych przez siebie danych. W oferowanych przez firmę zmianach widać silną tendencję, zmierzającą w stronę ułatwiającego wizualizację języka R i szeroko pojętej zaawansowanej analizy danych, wykorzystującej mechanizmy eksploracji danych (ang. Data Mining), uczenia maszynowego (ang. Machine Learning) i ogólnie pojętego Data Science. Właśnie dzięki tym kierunkom rozwoju Microsoft, ze swoimi narzędziami, zaklasyfikowany został przez Gartnera, jako wizjoner w dziedzinie Business Intelligence. 

Microsoft  Business Intelligence – Podsumowanie

Jak widać w prezentowanych tutaj raportach Gartnera, produkty Microsoft, jako jedyne znajdują się na wszystkich zestawieniach, co świadczy o wszechstronności całego pakietu. Dodatkowo faktem wartym odnotowania jest to, że jeżeli nie chcemy korzystać z rozwiązań chmurowych (jak Power BI), to zdecydowaną większość narzędzi Business Intelligence możemy zaimplementować w swojej organizacji, korzystając jedynie z pakietów SQL Server! Wraz z SQL Server 2016 dostajemy bowiem silnik bazodanowy, na którym możemy oprzeć swoją aplikację webową, system ERP, CRM, itd, a także wykorzystać dostępne w ten sposób narzędzia do budowy procesów ETL, budowy kostki czy też modelu analitycznego, działającego w pamięci operacyjnej. Da nam to możliwość tworzenia bogatych raportów do druku, ale także raportów interaktywnych.

Wszystkie elementy platformy zostały w całości zintegrowane z mechanizmami bezpieczeństwa i wysokiej dostępności. Cała architektura została w taki sposób zaprojektowana, że raporty można również generować z użyciem pakietu Office – użytkownicy bardziej zaawansowani mogą więc budować swoje sprawozdania i raporty bez pomocy działu IT, wykorzystując jedynie znane już i lubiane narzędzie, jakim jest Microsoft Excel. Sam Power BI może być używany za darmo nawet komercyjnie, pod warunkiem, że wykorzystywać go będziemy jako narzędzia stacjonarnego lub w prostych zastosowaniach chmurowych.

Podsumowując w skład platformy SQL Server 2016 wchodzą następujące składniki:

• Wydajna baza relacyjna, mogąca pełnić rolę bazy transakcyjnej, jak i hurtowni danych, wraz z zaimplementowanymi mechanizmami bezpieczeństwa, wysokiej dostępności i innymi, pozwalającymi dostosować rozwiązanie do bieżących potrzeb.
• Integration Services, umożliwiający budowę przepływów danych w ramach procesów ETL.
• Data Quality Services, pozwalający zarządzać czystością danych w organizacji.
• Master Data Services, pozwalający na zarządzanie kluczowymi danymi w organizacji.
• Analysis Services Multidimensional, pozwalający na budowę kostek wielowymiarowych oraz wielu algorytmów eksploracji danych.
• Analysis Services Tabular, pozwalający na budowę wysokowydajnych modeli inmemory składowanych tabelarycznie.
• Reporting Services będący kompleksową usługą raportującą umożliwiającą budowę raportów do druku typu „pixel-wise” oraz interaktywne raporty na różnego rodzaju urządzenia od tradycyjnych PC przez tablety po telefony komórkowe.
• R Services, który jest implementacją zintegrowanej platformy do zaawansowanych analiz.
• Pełna integracja z pakietem Microsoft Office.

Ponadto powyższe komponenty mogą być rozszerzone o:

• Power BI w darmowej lub płatnej wersji do budowy modeli i wizualizacji danych
• Microsoft Azure Machine Learning do budowania rozwiązań uczenia maszynowego w chmurze
• Microsoft Excel wraz z zestawem darmowych dodatków, umożliwiających budowanie rozwiązań samoobsługowego Business Intelligence, czy też klienckiego dostępu do modeli analitycznych, rozwiązań Master Data Services i Data Mining.
• SharePoint Server, mogący być platformą kolaboracji dla raportów Reporting Services i modeli samoobsługowych Microsoft Excel

Moim zdaniem nie istnieje obecnie na rynku pakiet, który umożliwia tak wiele, przynajmniej w cenie samego silnika bazodanowego. Aby stworzyć kompletne środowisko analityczno-transakcyjne z wykorzystaniem narzędzi innych producentów, trzeba zakupić wiele kosztownych licencji. Całość oczywiście nie będzie automatycznie zintegrowana, przez co trzeba będzie zaprojektować architekturę, składającą się z wielu odrębnych narzędzi. Inaczej jest z rozwiązaniami opartymi o SQL Server, który zawiera niemal wszystkie wymagane przez dzisiejszy biznes narzędzia. Czy jest to platforma idealna, o której mówiłem na początku? Nie jest, jednak patrząc na jej dotychczasowy rozwój i rozwój konkurencyjnych narzędzi, bez wątpienia można powiedzieć, że jest bliska ideału.