Wykorzystanie Big Data w biznesie - przykłady, trendy i technologie

Blog. Odkryj świat AI

Big Data. Jak zrobić najlepszy użytek z danych?

rosowski

Przemysław Rosowski
Inżynier Big Data/AI
29 listopada 2018

Z tego artykułu dowiesz się:

  1. Jak obecnie wykorzystuje się big data i w jakich branżach?
  2. Jakie są najpopularniejsze technologie używane w firmach?
  3. Jaka jest skala ich zastosowania na rynku?

Ostatnie lata w technologiach przechowywania i analizy danych to przede wszystkim obsługa informacji wygenerowanych przez sensory internetu rzeczy czy też przenośne urządzenia oraz ich scalanie źródeł.

W praktycznie każdym obszarze ludzkiej aktywności generuje się coraz większe wolumeny danych. Przykładowo, miliony smartfonów i dziesiątki zainstalowanych na każdym z nich aplikacji wytwarzają olbrzymią ilość informacji, które znajdują praktyczne zastosowanie m.in. dla reklamodawców.

Jako odpowiedź na wzrastającą ilości danych oraz rosnące oczekiwania co do zmniejszania czasu operacji na nich, powstały rozwiązania oparte o platformę Hadoop.

Na popularności zyskały też różnego rodzaju bazy danych wspierające indeksowanie i szybsze wyszukiwanie tekstów, wyszukiwanie zależności pomiędzy encjami – bazy danych dokumentowe dobrze radzące sobie z danymi nie strukturalnymi czy też grafowe bazy danych które wspierają analizę grafów.

Wymienione technologie wykorzystuje się już skutecznie w wielu branżach. Należą do nich m.in.:

Marketing i sprzedaż

Do klasycznych potrzeb działów marketingu i sprzedaży należą dzisiaj już takie obszary jak zrozumienie trendów, tworzenie systemów rekomendacyjnych i modeli predykcyjnych.

Dodatkowo technologie Big Data pozwalają na wydajne połączenie standardowych źródeł z analizą danych pochodzących np. z social media czy geolokalizacji.

Za to w e-commerce, możliwość precyzyjnego dostosowywania reklam i rekomendacji produktowych użytkownikom pod kątem ich zainteresowań i zachowań stanowi już podstawę funkcjonowania większości sklepów internetowych.

Ciągły rozwój tych rozwiązań możliwy jest dzięki wykorzystaniu architektur umożliwiających efektywne przetwarzanie danych dot. m.in. logów zachowań użytkowników.

Przykładowe źródła danych w sprzedaży i marketingu

Przemysł

Firmy przemysłowe wydają ogromne kwoty na naprawy oraz utrzymanie produkcji. Zauważono, że część z kosztów można zmniejszyć stosując nowoczesne technologie mające na celu predykcję uszkodzeń.

Dzięki rozwiązaniom wspierającym obsługę strumieni danych generowanych przez sensory na maszynach w czasie rzeczywistym oraz bazom danych time-series, możliwe stało się monitorowanie urządzeń i wyszukiwanie w ich pracy wzorców, które występują w czasie normalnego użytkowania, wyłapywaniu anomalii oraz wyznaczaniu czasu do hipotetycznej awarii.

Więcej informacji o predykcyjnym utrzymaniu znajdziesz tutaj

Bezpieczeństwo i bankowość

Detekcja wyłudzeń to w dzisiejszych czasach jeden z poważniejszych tematów w sektorze bankowym. Technologie Big Data wzbogacają tradycyjne techniki prewencyjne o takie aktywności jak analiza zachowań użytkowników w czasie rzeczywistym.

Daje to możliwość natychmiastowej reakcji na podejmowane próby cyberprzestępstw. Przykładem takiego zachowania jest podejrzane wykorzystanie karty płatniczej.

Stosując grafowe bazy danych można w łatwiejszy sposób, w porównaniu do relacyjnych baz danych, wyszukiwać podejrzane zachowania użytkowników oraz transakcje.

Opieka zdrowotna

Wraz ze wzrostem zainteresowania urządzeniami przenośnymi, wzrosły możliwości śledzenia stanu zdrowia pacjentów. Wywiera to niesamowity wpływ na rozwijanie potencjalnych możliwości stosowania big data w tym obszarze, ponieważ generuje się w ten sposób olbrzymie ilości informacji.

Dane z czujników zawartych w tych urządzeniach (np. typu wearables) mogą być przesyłane do chmury, gdzie są następnie analizowane.

Kolejny przykład użycia big data to system EHR (Electronic Health Record). Każdy pacjent posiada w nim swoje cyfrowe konto, w którym znajdują się informacje na temat historii jego leczenia, danych osobowych itp. W tym przypadku, system może sugerować lekarzowi, jakie kroki w leczeniu powinien podjąć.

Popularne technologie big data

Na rynku mnożą się rozwiązania z tego zakresu. Które z nich warto zastosować? Do najważniejszych z nich należą:

Bazy danych NoSQL

Ich nazwa wywodzi się od “non SQL”. Popularność tego typu baz danych zwiększyła się wraz z rosnącym zapotrzebowaniem na przechowywanie niestrukturalnych danych oraz niewystarczającą wydajnością relacyjnych baz danych w niektórych zastosowaniach.

Takie bazy danych koncentrują się przede wszystkim na konkretnych typach danych i zapytań. Prym wiodą bazy danych kolumnowe, klucz-wartość, dokumentowe czy też grafowe.

Apache Hadoop i MapReduce

To zestaw oprogramowania open source, który umożliwia przetwarzanie danych w sposób rozproszony. Jego największą zaletę stanowi skalowalność. To dzięki niej, w razie potrzeby, można zwiększyć wydajność obliczeniową i przestrzeń dyskową, bez konieczności zmiany formatu danych.

MapReduce pozwala na wydajne przetwarzanie danych przechowanych w systemie plików Hadoopa, poprzez operacje mapowania i ich redukcji.

Apache Spark i technologie do przetwarzania strumieni

Apache Spark pozwala na wydajne przetwarzanie danych. W przeciwieństwie do MapReduce, obliczenia wykonuje się na podstawie informacji przechowywanych w pamięci operacyjnej, co znacząco przyspiesza ten proces.

Spark wspiera też przetwarzanie grafów za pomocą biblioteki Spark GraphX, przetwarzanie za pomocą SQL i przetwarzanie strumieni (Spark Streaming).

Analiza danych w czasie rzeczywistym to popularne rozwiązanie dla tematów związanych z predictive maintenance czy też analizowaniu mediów społecznościowych w czasie rzeczywistym.

Poza Spark Streaming, na rynku dostępne są także inne narzędzia obsługujące opisywany typ danych. Zaliczają się do nich przykładowo Apache Storm i Apache Flink.

Technologie Big Data

Skala wykorzystania big data

Technologie Big Data pozwalają na wiele – od analizy danych w czasie rzeczywistym do wsadowego przetwarzania.

Jednak ich zastosowanie okazuje się ściśle zależne od typu danych i operacji na nich wykonywanych. Współcześnie big data oznacza głównie przenoszenie obliczeń do chmury, co w konsekwencji pozwala na elastyczne zarządzanie zasobami.

Edge computing

Wraz ze wzrostem ilości danych pochodzących z urządzeń internetu rzeczy, coraz bardziej przybiera też na znaczeniu tzw. edge computing. Oznacza to przeprowadzanie analiz big data w sposób rozproszony. Dane przetwarza się “blisko ich źródła”.

Dzięki temu zmniejsza się ilość informacji przesyłanych przez sieć i w konsekwencji także redukuje się potrzebną przestrzeń dyskową, ponieważ pewne operacje można wykonać na wcześniejszym etapie.

Big data – wyzwania dla firm

Wraz ze wzrostem ilości danych pochodzących z urządzeń internetu rzeczy, coraz bardziej przybiera też na znaczeniu tzw. edge computing. Oznacza to przeprowadzanie analiz big data w sposób rozproszony. Dane przetwarza się “blisko ich źródła”.Nie od dziś opisywane technologie stosowane są w powodzeniem przez największych gigantów technologicznych, takich jak Google, Facebook czy Amazon.

Obecnie największe wyzwanie wielu firm to jak najszybsze przetworzenie olbrzymich ilości danych. Analiza tak wielkich zbiorów danych może okazać się źródłem nieodkrytej jeszcze przez człowieka wiedzy.

Należy być tu jednak ostrożnym, ponieważ wybranie technologii i podejścia do wdrożenia big data powinna poprzedzić wnikliwa analiza uwzględniająca wszystkie za i przeciw różnych rozwiązań.

Zbudowanie dobrej architektury odgrywa kluczową rolę w efektywnych przetwarzaniu danych i możliwościach budowania zaawansowanych rozwiązań wykorzystujących algorytmy sztucznej inteligencji.

Chcesz zautomatyzować procesy i oszczędzić czas? Sprawdź możliwości multi-label classification.

Jak możesz wykorzystać AI dla twojego biznesu?