Na potrzeby Narodowego Centrum Badań Jądrowych POLATOM stworzyliśmy złożony projekt informatyczny w postaci dedykowanego rozwiązania o nazwie „Mensura” – aplikacji, która umożliwi naukowcom projektowanie, implementację oraz testowanie wypracowanych modeli analizujących dane.
Pracując nad koncepcją projektu zdecydowaliśmy, że najlepszym rozwiązaniem będzie przyjęcie zwinnej metodyki zarządzania oraz podzielenie realizacji na etapy zwane sprintami. Po każdym sprincie nasz zespół dostarczał Klientowi działający element systemu do testów. Dzięki temu mieliśmy 100% pewność, że tworzone oprogramowanie spełnia wymagania POLATOM.
Prace rozpoczęliśmy od zaprojektowania architektury środowiska bazy danych, która przechowuje historyczne dane pomiarowe gromadzone przez stacje meteorologiczne WIOŚ i ICM. Co 6 minut 120 urządzeń pomiarowych odnotowuje takie parametry jak temperatura, wilgotność powietrza czy prędkość wiatru.
Kolejnym etapem realizacji projektu było stworzenie tzw. Modułu Zapytań służącego do budowania zaawansowanych zapytań eksplorujących zgromadzone w bazie danych informacje. Jako, że ilość danych w bazie jest olbrzymia, zastosowaliśmy mechanizmy kolejkowania oraz cachowania wyników zapytań w pamięci RAM serwerów. Moduł Zapytań komunikuje się z innymi elementami systemu: Modułem Webowym umożliwiającym użytkownikom eksport wyników do formatu .XLS oraz z API programistycznym – aplikacją dla zaawansowanych użytkowników pozwalającą na dalszą rozbudowę systemu.
Korzystając z dedykowanego oprogramowania Matlab 2009 oraz modułów Pythona, pracownicy naukowi Instytutu opracowują modele, które mogą w relatywnie krótkim czasie weryfikować dzięki Modułowi Modeli Analitycznych. Stosując odpowiednie algorytmy obliczeniowe, system pobiera dane za pomocą Modułu Zapytań, transformuje je do oczekiwanego formatu. Kolejny krok to analiza wyników w poszukiwaniu najbardziej wiarygodnych parametrów. System generuje kilka milionów iteracji, spośród których wybiera wartości, dla których wskaźnik błędu statycznego jest najniższy. Działanie systemu jest kolejkowane – przesyłając komendę do superkomputera z prośbą o wyliczenie, pracownicy naukowi Instytutu mogą wybrać wymaganą liczbę serwerów niezbędną do realizacji operacji.
Rozwiązanie zaproponowane przez Infomex w postaci otwartej architektury systemu umożliwia nam jego dalszą rozbudowę oraz wykorzystanie do tworzenia innych, dowolnych modeli naukowych. System może zostać uruchomiony na dowolnej liczbie serwerów tworzonego w NCBJ Centrum Superkomputerowego.