W dniu 28 kwietnia 2022 roku odbył się konsultacje dotyczące importów masowych do modułu Studentów w POL-on 2.0. Poniżej publikujemy prezentacje ze spotkania oraz zapis sesji pytań i odpowiedzi.

Prezentacja ze spotkania:

Webinar 28.04.2022 – konsultacje techniczne import do modulu Studentow POL-on 2

Dokumentacja:

POL-on 2.0 – scenariusze REST API

Specyfikacja interfejsów masowej wymiany danych w systemie POL-on

Sesja pytań i odpowiedzi:

Moje pytanie dotyczy eksportu danych z systemu Polon. Zauważyłem, że jest jakieś ograniczenie do jednoczesnych połączeń w celu hurtowego odczytu danych w jednostce czasu. Proszę o informację w jaki sposób powinienem zdefiniować limit odczytu, aby dostosować się do Państwa wymogów? Czy może w perspektywie czasu, takie ograniczenia będą zdjęte?
Łukasz (OPI): Bardzo prosimy o więcej informacji z jakiego eksportu Państwo korzystają?
Michał: Chodzi o eksport za pomocą: https://polon2.opi.org.pl/fields-of-study-api/university/students
Michał: Zakładam, że problem może dotyczyć również innych dostępnych API?
Łukasz: My doświadczyliśmy podobnych problemów.
Adam (OPI): Dziękujemy za uwagę. Na pewno sprawdzimy dlaczego te limity występują

Do kiedy można korzystać ze specyfikacji w wersji 7.6.1?
Łukasz (OPI): Do momenty ostatecznego wdrożenia nowej wersji modułu studentów w POL-on 2.0. Planujemy, że nastąpi to lipiec, sierpień.

W API importowym kod uruchomienia jest na poziomie semestru – czy musi on być taki sam dla wszystkich semestrów w danych studiach?
Adam (OPI): Tak w API importowym kod uruchomienia musi być taki sam.
Wojciech: A co w przypadku, kiedy student przenosi się np. ze studiów stacjonarnych na niestacjonarne. Zatem 1 semestr studiuje na jednym kodzie uruchomienia a 2 semestr na innym kodzie uruchomienia wynika to z tego, że kody uruchomień są różne dla form studiów.
Łukasz (OPI): Sam fakt, że kod uruchomienia jest na poziomie semestru nie oznacza, że można studiować w ramach jednych studiów na wielu uruchomieniach. Obecnie możliwe jest rejestrowanie studiów tylko na jednym uruchomieniu i tą informację należy powielić w każdym semestrze. Model jest przygotowany na ewentualną zmianę sposobu rejestrowania zmiany formy studiów w trakcie ich trwania. Dodatkowo studenci, którzy rozpoczęli studia przed 1.10.2019 studiowali część semestrów na innych kodach. Podsumowując na dziś zmiana formy wymaga zarejestrowania nowych studiów.

Mam pytanie o zapis „W przypadku wystąpienia różnic na poziomie danych osobowych system utworzy nową zmianę biznesową. Rozwiązanie zapobiega nadpisywaniu historycznych dokumentów tożsamości i danych osobowych.”.
Czy to oznacza, że w systemie po prostu powstanie zdublowany rekordu? Np. w sytuacji, gdy student zmienił numer dokumentu i będziemy chcieli przenieść jego wszystkie dane, bez uprzedniej zmiany tego numeru dokumentu?
Łukasz (OPI): Jeżeli będą Państwo posługiwać się identyfikatorem zewnętrznym w REST API, który będzie stały dla studenta to wówczas zmiana dokumentu zostanie odłożona jako kolejna wersja danych tego samego studenta.

Kiedy będzie wyłączony tryb przekazanie danych przez XML na produkcji i zostanie tylko tryb API -REST?
Łukasz (OPI): Od roku akademickiego 2024/2025 nie będzie możliwe przekazywanie danych z użyciem XML

Czy w POL-onie1, w module w którym wgrywane są pliki xml (moduł Administracja, wykaz Lista importów) pojawi się komunikat z objaśnieniem nt. konieczności użycia nowego schematu xml 8.0.0. oraz objaśnienie że dotyczy on danych studentów do POL-onu 2.0? Wydaje się, że komunikaty i instrukcje dodane w tym module byłyby najbardziej czytelne dla pracowników dziekanatów, dokonujących importów przez wgrywanie xml-i.
Łukasz (OPI): Tak, zaktualizujemy informację w module administracja.

Z czego wynika bardzo długi czas odpowiedzi niektórych usług na systemie demo, np. /university/students?
Adam (OPI): Środowisko demo, jest wolniejszym środowiskiem niż produkcja, więc niektóre usługi mogą działać tu wolniej. Co do tej konkretnej usługi to jesteśmy tego świadomi i trwają prace, aby to zoptymalizować

Czy będzie jakieś limitowanie liczby żądań do REST API w okresie czasu (np. 10 żądań na sekundę) z jednego adresu IP?
Katarzyna (OPI): Obecnie nie ma takiego ograniczenia ale w przyszłości może się pojawić. Wszystko uzależnione jest od obciążenia systemu. W aktualnym stanie nie ma takiej potrzeby.

Gdzie można zgłosić propozycję rozszerzenia informacji zwracanej przez konkretną metodę? Wydaje się, że w usłudze /university/students informacja o dacie skreślenia/ukończenia studiów lub flagi czy_aktywny byłaby dosyć pomocna.
Łukasz (OPI): Student aktywny to taki, który nie ma daty obrony lub daty skreślenia. Taka flaga jest wynikiem wyliczenia, które możliwe jest po Państwa stronie. Przy pobieraniu danych mogą Państwo korzystać z filtra, który pozwala pobrać tylko aktualnie studiujących (na interfejsie opcja: studia nadal trwają). W systemie nie przechowujemy takiej flagi, zatem konieczne byłoby jej wyliczenie.
Łukasz: Zgadza się, ale wtedy trzeba się połączyć z inną usługą, która pobierze te dodatkowe dane.
Łukasz: Nie ukrywam, że dodanie tych dat do opisywanej metody byłoby dość wygodne.
Łukasz (OPI): Czy chodzi o usługę pobierania danych z wykazu GET fields-of-study-api/university/students?
Łukasz: Tak
Łukasz (OPI): Jeżeli dobrze rozumiem, chciałby Pan pobrać studentów, którzy „nadal studiują” a w odpowiedzi mieć datę przyjęcia, datę skreślenia i datę obrony?
Łukasz: Pobrać wszystkich studentów wraz z podstawowymi informacjami o studiach.
Łukasz (OPI): Dziękuję za informację. Pana propozycja wymaga analizy. Zachęcam do zgłaszania potrzeb i problemów dotyczących REST API poprzez Help Desk.

Chcąc korzystać z REST API i rekomendowanego identyfikatora zewnętrznego jak zrozumiałam trzeba w pierwszej kolejności wygenerować ten identyfikator u wszystkich studentów na uczelni. Czy ten identyfikator musi być unikatowy w obrębie uczelni czy w obrębie całego systemu POL-on (tzn. czy może się powtórzyć dla dwóch różnych uczelni)?
Łukasz (OPI): W Systemie POL-on 2.0 każda uczelnia samodzielne zarządza zbiorem swoich studentów i ich danymi. W związku z powyższym identyfikator powinien być unikalny w obrębie uczelni. Identyfikatory mogą powtórzyć się w różnych uczelniach.

Czy planowane jest API importowe dla pracowników oraz osób ubiegających się o stopień doktora?
Katarzyna (OPI): API dla tych obszarów już istnieje. Dokumentacja dostępna pod adresami:
https://polon2.opi.org.pl/employees-api/swagger-ui/index.html#/Import Employee/setEmployee_1 <- import pracowników
https://polon2.opi.org.pl/pdat-api/swagger-ui/index.html#/Phd Student/setV1_2PhdStudentDocumentV1 <- import doktorantów

Jednym z problemów jest niezgodność danych identyfikacyjnych studenta (obcokrajowca), który wcześniej studiował na innej uczelni. Zgłoszony przez POLON komunikat błędu mówi tylko o niezgodności nie precyzując o jakie dane chodzi. Czy REST API umożliwi podejrzenie danych osobowych studenta zarejestrowanego na innej uczelni i ewentualnej korekcji tych danych?
Łukasz (OPI): Po wejściu na produkcję nowego modułu studentów problem nie będzie występował. W POL-on 2.0 każda uczelnia samodzielnie będzie zarządzać danymi osobowymi swoich studentów, w związku z czym nie będzie konfliktów. System na podstawie wprowadzonych przez każdą uczelnię danych identyfikacyjnych będzie łączył studia dla tych samych osób.
Ela: Czy dobrze rozumiem, że dla np. tego samego numeru PESEL będą mogły na każdej uczelni istnieć różne dane osobowe?
Ela: A po jakich danych będzie identyfikacja dla obcokrajowców? Rodzaj dokumentu, numer i data ważności?
Łukasz (OPI): Jeżeli ktoś posiada numer PESEL to zgodnie z przepisami podajemy tylko numer PESEL. Jeżeli do czasu otrzymania numeru PESEL posługiwał się dokumentem to ten dokument powinien zostać zapisany jako poprzednia zmiana biznesowa danych osobowych. Student może studiować w różnych latach na różnych uczelniach. Zatem może się zdarzyć, że miał różne dokumenty jako cudzoziemiec a następnie otrzymał numer PESEL, który połączył te dane.
Tak, obecnie może się zdarzyć, że na różnych uczelniach osoba inaczej się nazwa bo zakończyła kształcenie wcześniej pod innym nazwiskiem. Państwo i tak tego nie będą wiedzieć bo uczelnia widzi tylko swoją wersję. Ministerstwo ma dostęp do różnic i je widzi.

Czy będą wprowadzone identyfikatory dla doktorantów i jeżeli tak, to czy będą musiały być zgodne z identyfikatorami studenckimi, dla osób, które wcześniej były studentami tej samej uczelni?
Adam (OPI): Obecnie nie planujemy rozbudowy doktorantów o dodatkowe identyfikatory.

Dotyczy osób ubiegających się o stopień doktora.
metoda API get „/phdStudentDocument/{documentId}”
metoda API post „/v1.2/phdStudentDocument”.
Czy byłaby możliwość dodania innej metody get, która zwracałaby dane w formacie metody post. Tak, żeby w przypadku aktualizacji jednego pola dla np 1000 osób, można było zaktualizować to w miarę prosty sposób. Uczelnie dopiero wytwarzają systemy do kompleksowej obsługi Szkół Doktorskich i dane w zakresie osób ubiegających się o stopień doktora są wpisywane do POL-onu z interfejsu użytkownika. Przy aktualizacji jakiejś danej jest to bardzo żmudny i pracochłonny proces.
Adam (OPI): Jeśli chodzi o wystawianie kolejnych usług, to najlepiej kierować to poprzez Help Desk, ponieważ wymaga to analizy. Jeśli analityk uzna, że to słuszna uwaga to oczywiście możemy dorobić taką końcówkę

Czy po wprowadzeniu REST API i już całkowitej rezygnacji z XML, to uczelnia będzie mieć jakąś kontrolę nad plikami (paczkami danych), które będą exportowane do POLonu2? i na jakiej zasadzie to będzie się dziać, czy to będzie okres w czasie (np. co 21 dni), czy użytkownik (dany posiadający uprawnienia na uczelni) będzie tą procedurę eksportu zaczynał?
Łukasz (OPI): Import REST API będzie działał analogicznie do operacji wykonywanych na interfejsie. Kto ma uprawnienia do edycji danych i poprawnie zaloguje się do systemu może taki import wykonać. Pojedyncze wywołania usługi może być wywołane przez uprawnionego użytkownika w dowolnym momencie. Proszę o informację co Pani rozumie przez kontrolę nad paczkami danych? Państwo nadają uprawnienia do systemu i kto je posiada może w nim wykonywać operacje. Wszystkie zmiany w danych są rejestrowane.
Monika: czy będziemy widzieli kod z danymi który do Państwa idzie? teraz mogę podglądnąć stworzonego przez USOS xml i poprawić błędy, zapisać i wysłać.
Adam (OPI): Rozumiem, że Pani pyta o import przez xml’a, który będzie możliwy jedynie poprzez POLON1? Tak w tym przypadku dalej będzie Pani mogła pobrać pliki xml które Pani wysłała
Adam (OPI): Import xml różni się od importu poprzez REST API tym, że REST API nie wymaga żadnych plików. Zatem używając importu xml będzie można podejrzeć wysłany plik, używając typowe REST_API nie będzie (bo tu nie wysyłamy plików xml)
Tomasz: Przepraszam, że się wtrącę, ale system uczelni oczywiście może wprowadzić taką funkcję, że pokaże dane, które będzie wysyłał przed ich wysłaniem. Nie wyobrażam sobie edycji JSONA, ale teoretycznie jest to możliwe…
Adam (OPI): Oczywiście, że może, ale to powinno być raczej edycja nie surowego jsona tylko poprzez graficzny interfejs. My wystawiamy końcówkę, a w jaki sposób uczelnia będzie chciała ją 'wypełnić’ to już kwestia uczelni

A co w sytuacji jeśli jedna z uczelni wprowadzi studenta z błędnym numerem pesel, druga uczelnia poda go z poprawnym numerem pesel. Oznaczało by to, że w systemie pojawia się 2 różne osoby?
Łukasz (OPI): Jeżeli każda uczelnia wprowadzi osoby z różnymi numerami PESEL to są to dwie różne osoby. Nie ma podstaw do ich połączenia. Odpowiadając na pytanie, tak w systemie będą 2 osoby i każda widoczna tylko w swojej uczelni. System łączy dane tylko na podstawie numerów PESEL i dokumentów tożsamości. Do momentu, kiedy uczelnia nie poprawi danych, obie osoby widoczne są niezależnie. Po korekcie danych przez jedną z uczelni zmieni się tylko to, że każda uczelnia zobaczy studia osoby na innej uczelni i to jedynie w przypadku zgodności danych identyfikacyjnych. Jeżeli osoby o tym samym numerze PESEL inaczej się nazywają na każdej uczelni, to każda z nich widzi tylko taką wersję danych osobowych jaką sama wprowadziła.

A na kiedy planowane jest połączenie z bazą PESEL?
Łukasz (OPI): Trwają prace analityczne i ustalenia formalno-prawne. Integracja planowana jest w tym roku. Poinformujemy Państwa w aktualnościach o wynikach prac.

Czy planowane jest wprowadzenie mechanizmu weryfikacyjnego studentów cudzoziemców, którzy w uczelniach przedkładają różne numery paszportu- na jednej uczelni zarejestrował się z paszportem aktualnym w momencie rozpoczęcia studiów i go nie uaktualnił po utracie ważności. Na drugiej Uczelni rozpoczął studia już z nowym, aktualnym numerem paszportu.
Łukasz (OPI): Obecnie nie mamy narzędzi i podstaw prawnych do weryfikacji dokumentów, którymi posługują się cudzoziemcy. W systemie nie przechowujemy informacji o dacie ważności dokumentu. Jeżeli student na innej uczelni posługuje się innym dokumentem to nie ma sposobu na stwierdzenie, że to ta sama osoba. Do momentu wystąpienia zgodności dokumentu lub numeru PESEL nie wiemy, że to ta sama osoba.
Wojciech: Skutkiem tego jest brak możliwości weryfikacji, czy student cudzoziemiec pobiera świadczenia tylko na jednej uczelni.
Katarzyna (OPI): System identyfikuje osoby na podstawie zgodności numeru PESEL lub danych dokumentu tożsamości. Jeżeli osoba na różnych uczelniach posłuży się innymi dokumentami niestety system nie będzie w stanie stwierdzić, iż jest to faktycznie ta sama osoba.

Oczywiście rozumiem z czego wynika ta sytuacja.
Wojciech: Chodzi tylko o to, że system POLon miał stanowić podstawę weryfikacji uprawnień do pomocy materialnej. A wychodzi na to, że o ile ze studentami Polakami radzi sobie całkiem nieźle, o tyle z cudzoziemcami … cóż bywa różnie.
Łukasz (OPI): System działa na danych, które przekazały uczelnie. Jeżeli uczelnie nie posiadają poprawnych danych to system, też ich nie posiada. Niestety System nie potrafi określić, że wysłane dane, które różnią się numerem PESEL i dokumentem dotyczą tej samej osoby.
Katarzyna: Co do Pesel to uczelnie może wymusić na studentach posiadanie tego nr po trzymiesięcznym pobycie w Polsce a najlepiej zameldowaniu, cudzoziemiec może wystąpić w urzędzie o Pesel tylko trzeba mu o tym powiedzieć. Obecnie Pesel wydawany jest Ukraińcom od ręki bez meldunku
Dziękuję serdecznie i pozdrawiam.

Czy po finalnym przejściu na nowy wykaz studentów w POL-onie 2.0 zostanie również dodana możliwość generowania raportu studentów w xlsx w tym module bądź w module Raporty?
Łukasz (OPI): Tak, mamy w planach dodanie funkcji generowania raportów.