REDRAT - Narzędzie do przeprowadzania procesu oczyszczania danych

Aplikacja REDRAT (ang. Rapid Extraction Designer and Relationship Analysis Tool)

Narzędzie do przeprowadzania procesu oczyszczania danych wykorzystywanego w migracji danych i przygotowywania danych wejściowych dla potrzeb algorytmów odkrywania wiedzy. Proces oczyszczania danych opiera się na opublikowanej przez pracowników ITAM Zabrze metodzie oczyszczania danych w oparciu o mechanizm perspektyw materializowanych.

Narzędzie zostało napisane w języku Python (w wersji 2.3) oraz XML, korzysta z biblioteki QT (w wersji 2.3NC lub 2.3 Commercial) oraz biblioteki PyQT.

Projektowanie procesu oczyszczania danych odbywa się w Zintegrowanym Środowisku Projektowania (ang. IDE - Integrated Development Environment), wynikiem działania aplikacji jest inna aplikacja, która po uruchomieniu w formie kreatora przeprowadza proces oczyszczania danych przystosowany do konkretnego schematu bazy danych.

Projektowanie procesu oczyszczania danych przy użyciu Zintegrowanego Środowiska Projektowania odbywa się etapowo. W pierwszym etapie użytkownik po połączeniu z bazą danych pobiera jej schemat. Następnie użytkownik tworzy kolejne kroki oczyszczania danych poprzez określenie dla każdego z nich zapytania w języku SQL oraz algorytmu przetwarzania zgodnie z teorią perspektyw materializowanych. Po zaprojektowaniu procesu oczyszczania danych użytkownik kompiluje projekt. Wynikiem kompilacji jest aplikacja kreatora (ang. Wizard), która stanowi jednostkę uruchomieniową procesu oczyszczania danych. Po przygotowaniu zbioru testowego użytkownik uruchamia na zbiorze testowym aplikację kreatora i przeprowadza procedurę testowania procesu oczyszczania danych, w razie potrzeby nanosząc w projekcie procesu oczyszczania danych stosowne poprawki. Po przetestowaniu procesu oczyszczania danych użytkownik przeprowadza właściwy proces oczyszczania danych na docelowym zbiorze danych. Jeżeli zbiór docelowy jest niewielkich rozmiarów tworzenie zbioru testowego można pominąć i przeprowadzać testowanie procesu oczyszczania danych na zbiorze właściwym. W trakcie przeprowadzenia procesu oczyszczania danych w oczyszczanym schemacie bazy danych tworzone są tabele wykorzystywane przez jednostkę uruchomieniowa oczyszczania danych do przechowywania informacji o wynikach działania poszczególnych kroków oczyszczania danych.

W aplikacji zostały zaimplementowane mechanizmy zapobiegające uszkodzeniu oczyszczanego schematu bazy danych jak również metody pozwalające na przywrócenie schematu bazy danych do stanu sprzed rozpoczęcia procesu oczyszczania danych, jednakże zaleca się przeprowadzanie procesu oczyszczania danych na kopii właściwej.

Dokumentacja