Konsultacje importu danych do ankiety jednostki

Materiały związane z kolejną kategoryzacją są dostępne na stronie: https://polon.nauka.gov.pl/help/doku.php/ankieta_jednostki/start

Niniejsza strona ma charakter roboczy pomyślany w celu konsultacji pomysłów i projektów związanych z dostosowaniem systemu POL-on do potrzeb nowej kategoryzacji za lata 2013-2016. Prosimy o jej nierozpowszechnianie szerszemu gronu odbiorców.

Z uwagi na duży zakres danych potrzebnych do wprowadzenia do systemu z okresu czterech lat branych pod uwagę do kategoryzacji oraz stosunkowo krótki czas na ich wprowadzenie, biorąc pod uwagę brak uchwalenia na chwilę obecną obowiązującej wersji rozporządzenia, wychodzimy z założenia, iż w procesie uzupełniania danych na potrzeby kategoryzacji kluczową rolę będą odgrywały rozwiązania bazujące na masowym ich wprowadzaniu z plików zewnętrznych. Dodatkową zaletą takiego scenariusza uzupełniania danych jest możliwość zebrania wielu rozproszonych informacji od wielu osób, które nie posiadają kont w systemie, ich weryfikację i następne wgranie przy pomocy jednorazowej masowej operacji.

Planujemy stworzenie rozwiązania, które będzie skierowane do pracowników administracyjnych jednostek dysponujących odpowiednią wiedzą merytoryczną do analizy i weryfikacji danych, lecz nie korzystających z narzędzi typu pliki XML lub usługi sieciowe do ich masowej rejestracji w bazie POL-on. Zakładamy jednak odpowiednią wprawę w posługiwaniu się plikami arkuszy kalkulacyjnych (np. ms excel, open office itp.). Takie rozwiązanie polegało by w uproszczeniu na realizacji scenariusza składającego się z czterech kroków:

1. Pobrania pliku szablonu z odpowiedniej części ankiety jednostki dostępnej w systemie POL-on;
2. Uzupełnieniu odpowiednich danych w dostępnych kolumnach, bez możliwości zmiany struktury pliku (szablon będzie zablokowany w zakresie modyfikacji kolumn i w niektórych przypadkach wierszy, tylko w wyznaczonych obszarach istniała by możliwość edycji komórek);
3. Wgrania pliku do systemu przy zapewnieniu odpowiedniej walidacji;
4. Możliwość eksportu, weryfikacji i iteracyjnego wykonywania scenariusza do momentu uzyskania w pełni wiarygodnych wyników.

Szczegółowe przypadki użycia przedstawione zostaną w kolejnym akapicie.

Scenariusz pobrania i uzupełnienia danych w sposób masowy przy pomocy plików arkuszy kalkulacyjnych stanowi uzupełnienie dostępnych interfejsów masowego wprowadzania danych (REST API, XML) dla osób nie dysponujących odpowiednimi narzędziami informatycznymi do ich przygotowania. Jego użycie nie jest planowane jako zastąpienie operacji dostępnych z poziomu masowego importu plików XML. Nie będzie możliwie chociażby dodawanie lub usuwanie danych o pracownikach naukowych, oświadczeniach o zaliczeniu do liczby N, edycji danych osobowych itp. Planujemy jego udostępnienie w pierwszej kolejności do rozdziałów ankiety, które nie znajdują się w obecnej wersji systemu POL-on i będą zbierane wyłącznie pod kątem kategoryzacji takich jak np. dzieła architektoniczne, aplikacje produktu itp. Dodatkowo jego użycie przewidywane jest w obszarach, gdzie konieczne jest uzupełnienie pewnego zestawu danych rozszerzających obecne rejestry systemu POL-on jak np. dodanie informacji o członkostwie oraz mobilności pracowników naukowych. Do realizacji tej operacji wystarczy pobrać z systemu odpowiedni arkusz z zestawem danych identyfikujących pracowników w ramach danej jednostki w okresie objętym parametryzacją, a następnie uzupełnić dane uzupełniające na potrzeby ankiety (takie jak np. mobilność, członkostwo itp.) i wgrać je ponownie do systemu.

Przykładowy plik arkusza do importu danych w ramach działu 5 ankiety: dzieła achitektoniczne

Prosimy o zwrócenie uwagi na puste komórki w kolejnych wierszach pliku. W kolejnym akapicie znajduje się wyjaśnienie.

Problemem w przygotowaniu i odpowiedniej obsłudze plików arkuszy na potrzeby importu masowego jest konieczność odwzorowania pewnych relacji, które występują pomiędzy powiązanymi rekordami. Dla przykładu w obszarze danych o dziełach architektonicznych jednostki trzeba przekazać równocześnie do systemu informację o ich miejscu realizacji oraz powiązanych autorach. Te dane bardzo często powielają się dla jednego dzieła, czyli występują w relacji 1:N. Ten problem można by obsłużyć rozbijając plik na trzy oddzielne arkusze lub dopuścić powielanie się informacji w wierszach. Oba rozwiązania bardzo skomplikowałyby jednak pracę z danymi i zwiększyły ryzyko ich niespójności i powielania, które później było by trudne do skorygowania w systemie.

Dlatego chcieliśmy zaproponować poniższe rozwiązanie, polegające w skrócie na założeniu, że dla wielu powiązanych rekordów (np. miejsca albo autorów) do jednego dzieła wystarczy dodać odpowiednie wiersze bez konieczności powielania powtarzających się danych np.:

Wyjaśnienia dotyczące prezentowanego przykładu

1. Plik zawiera w jednym arkuszu zgrupowane wszystkie powiązane obiekty opisujące dane dzieł architektonicznych (dzieła architektoniczne, miejsce realizacji, autorzy);
2. Pusty wiersz należy interpretować jako powielenie informacji z wiersza powyżej. W przedstawionym przykładzie dla dzieła architektonicznego z wiersza pierwszego, dla którego jedynym miejscem realizacji jest Paryż, nastąpi powiązanie dla dwóch autorów;
3. W przedstawionym przykładzie mamy do czynienia z relacją, gdy do jednego dzieła architektonicznego dodawane są trzy oddzielne miejsca realizacji oraz trzej jego autorzy;
4. Po wgraniu do systemu identyfikator z pliku (wpisany dowolnie przez użytkownika przy zachowaniu jego unikalności na poziomie całego pliku) będzie zastępowany identyfikatorem systemowym POL-on tzw. UID. Plik można wielokrotnie eksportować, uzupełniać i ponownie wgrywać w celu wykonania edycji masowej danych w bazie
5. Operacja usunięcia będzie polegała na wyeksportowaniu pliku z nadanym identyfikatorem UID i usunięciu pozostałych danych z wiersza

W ramach importu plików z arkuszy kalkulacyjnych przewidujemy trzy typy operacji:

• Zastąpienie stanu bazy zawartością pliku w sposób całkowity w obrębie określonego działu ankiety. Przed wgraniem pliku dotychczasowe dane byłyby usuwane, a następnie na ich miejsce wstawiane były by rekordy z pliku;
• Aktualizacja danych uzupełniających - dla niektórych importów nie była by dostępna możliwość wykonywania operacji usuwania lub dodawania rekordów nadrzędnych. Dotyczy to przede wszystkim informacji powiązanych z pracownikiem (np. mobilność, członkostwa). W tym scenariuszu plik musiałby zawierać pełny zestaw danych pracowników branych pod uwagę do kategoryzacji a pozostałe sekcje dotyczące np. mobilności lub członkostw byłyby aktualizowane wybranymi pozycjami z komórek akrusza;
• Edycja, dodawanie i usuwanie w sposób selektywny. Ten scenariusz jest najbardziej kłopotliwy do realizacji i najtrudniejszy do wyjaśnienia, dlatego został bardziej szczegółowo opisany w poniższym akapicie.

Dla bardziej zaawansowanych, wykonywanych częściowo operacji poprzez plik niezbędne jest jednoznaczne identyfikowanie odpowiednich rekordów systemu. Do tego celu konieczne będzie pobranie odpowiedniego szablonu zawierającego obok zestawu danych kolumn z identyfikatorami POL-on (tzw.UID) oraz kolumną, gdzie zadeklarowany będzie bezpośrednio typ wykonywanej operacji (usuń lub edytuj).

Proszę się nie przejmować wyglądem UID. Te pola będą zablokowane przed jakąkolwiek edycją. Nie będziecie musieli się Państwo w żaden sposób nimi posługiwać w sposób bezpośredni

Wyjaśnienia dotyczące prezentowanego przykładu

1. Dla danego rekordu trzeba będzie określić typ wykonywanej operacji: edytuj lub usuń;
2. Wyeksportowany plik zawiera identyfikatory systemu POL-on wszystkich obiektów występujących w pliku (tzw. UI). Pola te nie mogą być edytowane/usuwane. Tylko w ten sposób można jednoznacznie zidentyfikować określony rekord w bazie i wykonać na nim deklarowaną operację.
3. Po zdeklarowaniu typu operacji dla wyeksportowanych danych i znalezieniu odpowiedniego rekordu w pliku można dokonać na nim modyfikacji wybranego pola. W prezentowanym przykładzie wprowadzono zmianę nazwiska dla jednego z autorów dzieła architektonicznego;

Poprzez zapisy rozporządzenia o kategoryzacji wprowadzano obowiązek dołączania do ankiety skanów dokumentów. Dla dużych jednostek naukowych dołączanie kopii tak szerokiego zakresu dokumentacji będzie bardzo dużym obciążeniem. W przypadku pozostawienia tego zapisu przewidujemy możliwość udostępnienia odpowiedniego mechanizmu do wgrywania plików w sposób masowy.

Dla części działów ankiety, których edycja będzie wymagała masowego uzupełnienia przewidywane jest udostępnienie odpowiednich usług sieciowych w ramach rozwijanego API w technologi REST dla systemu POL-on. Niektóre działy nie będą jednak obsługiwane przy pomocy tego interfejsu z uwagi na fakt, iż ich synchronizacja nie jest wymagana w sposób ciągły, a jedynie raz na cztery lata i wymagają one bardzo dokładnej ręcznej weryfikacji. Dla takich działów jak np. dzieła architektoniczne wystarczającym rozwiązaniem wydaje się dostarczenie odpowiednich operacji importu z pliku (w tym przypadku arkuszy kalkulacyjnych).

http://polon-test.opi.org.pl/api-rest/

Systemy POL-on, PBN wyposażone są w mechanizmy importu danych z plików XML w zakresie:

• Danych o pracownikach (w tym oświadczeniach o zaliczeniu do liczby N, dziedzin/dyscyplin itd.);
• Publikacji

Istnieją również operacje synchronizacji danych z zewnętrznych repozytoriów instytucji zajmujących się przyznawaniem środków na projekty naukowe takie NCN, NCBiR lub repozytoriów zawierających dane o publikacjach:

• synchronizacja z OSF w zakresie danych pochodzących z baz NCN i NCBiR;
• synchronizacja danych o projektach naukowych z bazy NCBiR;
• dane o publikacjach na potrzeby ankiety jednostki pobierane będą z systemu PBN;
• w systemie PBN prowadzone są prace w zakresie integracji z systemem Web of Science w zakresie danych publikacji;