Co to jest Data Mart w hurtowni danych? Typy i przykłady (2024)

Co to jest Marta Danych?

A Magazyn danych koncentruje się na pojedynczym obszarze funkcjonalnym organizacji i zawiera podzbiór danych przechowywanych w hurtowni danych. Data Mart to skrócona wersja hurtowni danych, przeznaczona do użytku przez określony dział, jednostkę lub grupę użytkowników w organizacji. Np. marketing, sprzedaż, HR lub finanse. Często jest kontrolowany przez jeden dział w organizacji.

Data Mart zwykle czerpie dane z tylko kilku źródeł w porównaniu do hurtowni danych. Hurtownie danych są małe i bardziej elastyczne w porównaniu do hurtowni danych.

Dlaczego potrzebujemy Data Mart?

• Data Mart pomaga wydłużyć czas reakcji użytkownika ze względu na zmniejszenie objętości danych
• Zapewnia łatwy dostęp do często żądanych danych.
• Hurtownia danych jest prostsza we wdrożeniu w porównaniu z korporacyjną hurtownią danych. Jednocześnie koszt wdrożenia Data Mart jest z pewnością niższy w porównaniu z wdrożeniem pełnej hurtowni danych.
• W porównaniu z hurtownią danych hurtownia danych jest elastyczna. W przypadku zmiany modelu datamart może zostać zbudowany szybciej ze względu na mniejszy rozmiar.
• Datamart jest definiowany przez jednego eksperta merytorycznego. Wręcz przeciwnie, hurtownię danych definiują interdyscyplinarne MŚP z różnych dziedzin. Dlatego Data Mart jest bardziej otwarta na zmiany w porównaniu do Datawarehouse.
• Dane są partycjonowane i umożliwiają bardzo szczegółowe uprawnienia kontroli dostępu.
• Dane można segmentować i przechowywać na różnych platformach sprzętowych/programowych.

Rodzaje Data Mart

Istnieją trzy główne typy hurtowni danych:

1. Zależny: Zależne zbiory danych są tworzone przez drawing dane bezpośrednio z operaźródła lokalne, zewnętrzne lub oba.
2. Niezależny: Niezależna hurtownia danych tworzona jest bez użycia centralnej hurtowni danych.
3. Hybrydowy: Ten typ hurtowni danych może pobierać dane z hurtowni danych lub operasystemy narodowe.

Zależny dział danych

Zależna hurtownia danych umożliwia pozyskiwanie danych organizacji z jednej hurtowni danych. Jest to jeden z przykładów hurtowni danych, który oferuje korzyść w postaci centralizacji. Jeśli chcesz opracować jedną lub więcej fizycznych hurtowni danych, musisz je skonfigurować jako zależne hurtownie danych.

Zależną Data Mart w hurtowni danych można zbudować na dwa różne sposoby. Albo tam, gdzie użytkownik może uzyskać dostęp zarówno do zbioru danych, jak i hurtowni danych, w zależności od potrzeb, lub tam, gdzie dostęp jest ograniczony tylko do zbioru danych. Drugie podejście nie jest optymalne, ponieważ tworzy czasami określane jako złomowisko danych. Na złomowisku danych wszystkie dane zaczynają się od wspólnego źródła, ale są usuwane, a w większości wyrzucane na śmieci.

Niezależny Data Mart

Niezależny data mart tworzony jest bez użycia centralnej hurtowni danych. Tego rodzaju Data Mart jest idealną opcją dla mniejszych grup w organizacji.

Niezależna hurtownia danych nie jest powiązana ani z hurtownią danych przedsiębiorstwa, ani z żadną inną hurtownią danych. W Independent data mart dane wprowadzane są osobno, a ich analizy również przeprowadzane są autonomicznie.

Wdrożenie niezależnych hurtowni danych jest sprzeczne z motywacją do budowy hurtowni danych. Przede wszystkim potrzebny jest spójny, scentralizowany magazyn danych przedsiębiorstwa, który może być analizowany przez wielu użytkowników o różnych zainteresowaniach, którzy potrzebują bardzo zróżnicowanych informacji.

Hybrydowy magazyn danych

Hybrydowa hurtownia danych łączy dane wejściowe ze źródeł innych niż hurtownia danych. Może to być przydatne, jeśli chcesz integracji ad hoc, na przykład po dodaniu nowej grupy lub produktu do organizacji.

Jest to najlepszy przykład hurtowni danych dostosowany do wielu środowisk baz danych i zapewniający szybki czas wdrożenia w każdej organizacji. Wymaga również najmniejszego wysiłku w zakresie czyszczenia danych. Hybrid Data Mart obsługuje również duże struktury pamięci masowej i najlepiej nadaje się do elastycznych i mniejszych aplikacji skoncentrowanych na danych.

Kroki we wdrażaniu datamartu

Wdrożenie Data Mart jest satysfakcjonujące, ale complex procedura. Oto szczegółowe kroki wdrożenia Data Mart:

Projektowanie

Projektowanie to pierwszy etap wdrożenia Data Mart. Obejmuje wszystkie zadania od zainicjowania żądania dotyczącego hurtowni danych do zebrania informacji o wymaganiach. Na koniec tworzymy logiczny i fizyczny projekt Data Mart.

Etap projektowania obejmuje następujące elementywing zadania:

• Gromadzenie wymagań biznesowych i technicznych oraz identyfikacja źródeł danych.
• Wybór odpowiedniego podzbioru danych.
• Projektowanie struktury logicznej i fizycznej hurtowni danych.

Dane można podzielić na partycje w oparciu o following kryteria:

• Data
• Jednostka biznesowa lub funkcjonalna
• geografia
• Dowolna kombinacja powyższych

Dane można partycjonować na poziomie aplikacji lub systemu DBMS. Chociaż zaleca się partycjonowanie na poziomie aplikacji, ponieważ pozwala to na stosowanie różnych modeli danych każdego roku wraz ze zmianą środowiska biznesowego.

Jakich produktów i technologii potrzebujesz?

Wystarczy zwykły długopis i papier. Chociaż narzędzia, które pomagają tworzyć UML lub Schemat ER dodałby także metadane do twoich projektów logicznych i fizycznych.

Konstruowanie

To drugi etap realizacji. Polega na stworzeniu fizyczna baza danych i struktury logiczne.

Ten krok obejmuje następujące czynnościwing zadania:

• Implementacja fizycznej bazy danych zaprojektowanej we wcześniejszej fazie. Na przykład tworzone są obiekty schematu bazy danych, takie jak tabela, indeksy, widoki itp.

Jakich produktów i technologii potrzebujesz?

Potrzebujesz system zarządzania relacyjną bazą danych zbudować hurtownię danych. RDBMS ma kilka funkcji wymaganych do powodzenia Data Mart.

• Zarządzanie magazynem: RDBMS przechowuje dane i zarządza nimi w celu tworzenia, dodawania i usuwania danych.
• Szybki dostęp do danych: Dzięki zapytaniu SQL możesz łatwo uzyskać dostęp do danych w oparciu o określone warunki/filtry.
• Ochrona danych: System RDBMS oferuje również sposób na przywrócenie działania po awariach systemu, takich jak awarie zasilania. Umożliwia także przywracanie danych z tych kopii zapasowych w przypadku awarii dysku.
• Obsługa wielu użytkowników: System zarządzania danymi oferuje jednoczesny dostęp, czyli możliwość dostępu i modyfikacji danych przez wielu użytkowników bez zakłócania lub nadpisywania zmian wprowadzonych przez innego użytkownika.
• Bezpieczeństwo: System RDMS umożliwia także regulowanie dostępu użytkowników do obiektów i niektórych ich typów operaTions.

Zaludnianie

W trzeciej fazie dane są zapełniane w zbiorczej hurtowni danych.

Etap wypełniania obejmuje następujące czynnościwing zadania:

• Dane źródłowe do target Mapowanie danych
• Ekstrakcja danych źródłowych
• Oczyszczenie i transformacja operadotyczące danych
• Ładowanie danych do hurtowni danych
• Tworzenie i przechowywanie metadanych

Jakich produktów i technologii potrzebujesz?

Te zadania populacyjne wykonujesz za pomocą Narzędzie ETL (wyodrębnij obciążenie transformacji).. Narzędzie to umożliwia przeglądanie źródeł danych, przeprowadzanie analizy źródło-do-target mapowanie, wyodrębnianie danych, przekształcanie, oczyszczanie i ładowanie z powrotem do hurtowni danych.

W tym procesie narzędzie tworzy również pewne metadane dotyczące m.in. tego, skąd pochodzą dane, jak bardzo są aktualne, jakiego rodzaju zmian dokonano w danych i jaki poziom sumymarizacja została wykonana.

dostępu

Dostęp to czwarty krok, który polega na wykorzystaniu danych: przeszukiwaniu danych, tworzeniu raportów, wykresów i ich publikowaniu. Użytkownik końcowy przesyła zapytania do bazy danych i wyświetla wyniki zapytań

Krok dostępu musi wykonać następujące czynnościwing zadania:

• Skonfiguruj warstwę meta, która tłumaczy struktury baz danych i nazwy obiektów na warunki biznesowe. Pomaga to użytkownikom nietechnicznym w łatwym dostępie do zbioru danych.
• Konfigurowanie i utrzymywanie struktur baz danych.
• W razie potrzeby skonfiguruj API i interfejsy

Jakich produktów i technologii potrzebujesz?

Dostęp do magazynu danych można uzyskać za pomocą wiersza poleceń lub interfejsu GUI. Preferowany jest GUI, ponieważ może łatwo generować wykresy i jest przyjazny dla użytkownika w porównaniu z wierszem poleceń.

Zarządzający

To już ostatni etap procesu wdrożenia Data Mart. Ten etap obejmuje zadania związane z zarządzaniem, takie jak:

• Bieżące zarządzanie dostępem użytkowników.
• Optymalizacje i dostrajanie systemu w celu osiągnięcia zwiększonej wydajności.
• Dodawanie i zarządzanie świeżymi danymi w hurtowni danych.
• Planowanie scenariuszy odtwarzania i zapewnienie dostępności systemu w przypadku jego awarii.

Jakich produktów i technologii potrzebujesz?

Do zarządzania hurtownią danych można użyć interfejsu GUI lub wiersza poleceń.

Najlepsze praktyki wdrażania Data Marts

Podążajwing to najlepsze praktyki, którymi warto się kierować w procesie wdrożenia Data Mart:

• Źródło Data Mart powinno mieć strukturę działową
• Cykl wdrożenia Data Martu należy mierzyć w krótkich odstępach czasu, tj. w tygodniach, a nie miesiącach czy latach.
• Ważne jest, aby zaangażować wszystkie zainteresowane strony w fazę planowania i projektowania, ponieważ wdrożenie hurtowni danych może nastąpić npplex.
• Koszty sprzętu/oprogramowania, sieci i wdrożenia firmy Data Mart powinny być dokładnie ujęte w budżecie w Twoim planie
• Nawet jeśli baza danych jest utworzona na tym samym sprzęcie, może potrzebować innego oprogramowania do obsługi zapytań użytkowników. Aby uzyskać szybką reakcję użytkownika, należy ocenić dodatkowe wymagania dotyczące mocy obliczeniowej i miejsca na dysku
• Składnica danych może znajdować się w innym miejscu niż hurtownia danych. Dlatego ważne jest, aby upewnić się, że mają wystarczającą przepustowość sieci, aby obsłużyć woluminy danych potrzebne do przesłania danych do zbiornicy danych.
• Koszt wdrożenia powinien uwzględniać czas potrzebny na proces ładowania Datamart. Czas ładowania wzrasta wraz ze wzrostem complexistotność przekształceń.

Zalety i wady Data Martu

Zalety

• Zbiory danych zawierają podzbiór danych obejmujących całą organizację. Dane te są cenne dla określonej grupy osób w organizacji.
• Jest to opłacalna alternatywa dla hurtownia danych, którego budowa może wiązać się z wysokimi kosztami.
• Data Mart umożliwia szybszy dostęp do Danych.
• Data Mart jest łatwy w obsłudze, ponieważ został zaprojektowany specjalnie z myślą o potrzebach użytkowników. W ten sposób hurtownia danych może przyspieszyć procesy biznesowe.
• Potrzeby Data Marts less czas wdrożenia w porównaniu z systemami Hurtowni Danych. Szybciej jest wdrożyć Data Mart, ponieważ wystarczy skoncentrować tylko jedyny podzbiór danych.
• Zawiera dane historyczne, które umożliwiają analitykowi określenie trendów danych.

Niedogodności

• W wielu przypadkach przedsiębiorstwa tworzą zbyt wiele odrębnych i niepowiązanych hurtowni danych bez większych korzyści. Może stać się dużą przeszkodą w utrzymaniu.
• Data Mart nie może świadczyć usług w całej firmie analiza danych ponieważ ich zbiór danych jest ograniczony.

Podsumowanie

• Zdefiniuj Data Mart: Data Mart jest definiowana jako podzbiór hurtowni danych skupiony na jednym obszarze funkcjonalnym organizacji.
• Data Mart pomaga wydłużyć czas reakcji użytkownika dzięki zmniejszeniu objętości danych.
• Trzy typy hurtowni danych to: 1) zależna, 2) niezależna, 3) hybrydowa
• Ważne etapy wdrożenia Data Mart to 1) Projektowanie 2) Konstruowanie 3 Zapełnianie 4) Dostęp i 5) Zarządzanie
• Cykl wdrożenia Data Martu należy mierzyć w krótkich odstępach czasu, tj. w tygodniach, a nie miesiącach czy latach.
• Hurtownia danych to opłacalna alternatywa dla hurtowni danych, której zbudowanie może wymagać wysokich kosztów.
• Data Mart nie może zapewnić analizy danych obejmującej całą firmę, ponieważ zbiór danych jest ograniczony.