Wykorzystanie technologii w analizie orzeczeń sądowych – czy Janusz Zajdel się mylił?

Janusz Zajdel w swojej debiutanckiej powieści z 1966 roku umieścił takie oto stwierdzenie: „Zadaniem techniki nie jest wyeliminowanie wszystkich zajęć z życia człowieka. Zmienia się rodzaj i sposób wykonywania pracy, a nie jej ilość”. 

Przez dłuższy czas wydawało się, że Mistrz miał rację. Wyposażeni w wielką moc obliczeniową architekci projektowali skomplikowane konstrukcje, których pobudowanie zwiększało zapotrzebowanie na beton i roboczogodziny. Informatycy tworzyli aplikacje, do obsługi których zatrudniano dodatkowych analityków, a zwiększająca się presja regulacyjna skutkowała wzrostem etatów w kontroli i audycie.

Przechodząc do teraźniejszości, chcieliśmy P.T. Czytelnikom naszego bloga opowiedzieć pewną historię. Dwa miesiące temu, zaprzyjaźniona Kancelaria JKLaw czyli Jabłoński i Koźmiński i Wspólnicy zaprosiła nas do współpracy nad niewielkim, aczkolwiek interesującym projektem.

Zadanie określone przez Profesora Krzysztofa Koźmińskiego polegało na analizie za pomocą generatywnej AI orzeczeń sądowych w sprawach frankowych (próba liczyła 40 zanonimizowanych orzeczeń o długości od kilku do ponad 20 stron, w plikach o różnej objętości i formacie, w tym doc., docx., skanów w pdf i innych) i określenie na bazie tej próby, jak sądy odniosły się do następujących okoliczności:

1. Czy umowy zawierają niedozwolone klauzule, jakie były to klauzule oraz ich skutki dla umowy (np. nieważność całej umowy)?

2. Czy w orzeczeniu podnoszona jest kwestia statusu banku jako instytucji zaufania publicznego oraz kto dany argument podniósł i czy był on podniesiony dla celów rozstrzygnięcia (np. czy z odpowiedzi twierdzącej sąd wywodził konieczność sprostania przez banki zwiększonym obowiązkom informacyjnym)?

3. Czy kredyt frankowy został zakwalifikowany jako instrument finansowy, kto podniósł ten argument i jak sąd się do niego odniósł?

Orzeczenia objęte badaniem zostały pozyskane w trybie przepisów ustawy o dostępie do informacji publicznej, a podobne analizy partnerzy kancelarii – dr Michał Jabłoński i prof. ucz. dr hab. Krzysztof Koźmiński – prowadzili już wcześniej, ich efektem były m.in. publikacje naukowe, w tym monografia Jabłoński, K. Koźmiński, Bankowe kredyty walo- ryzowane do kursu walut obcych w orzecznictwie sądowym, Wolters Kluwer, Warszawa 2018.

Powtarzalna analiza wielu dokumentów wykracza daleko poza sam „prompt” dla modelu językowego. Potrzebny jest do tego proces, który pozwoli na:

• zebranie materiału podlegającego analizie w jednym miejscu

• przygotowanie dokumentów (które mogą być równie dobrze zeskanowanymi stronami lub zdjęciami pism) do analizy, m.in. poprzez wyodrębnienie treści z plików

• zapisanie treści dokumentu źródłowego, „promptu” i odpowiedzi modelu językowego w bazie danych (oprócz kwestii operacyjnych zapewnia też pełny ślad audytowy)

• przygotowanie wyniku analizy w sposób, który ułatwi i przyspieszy pracę ludziom – w tym przypadku w formie pliku Excel, gdzie wszystkie analizowane orzeczenia były skatalogowane, umieszczone były wszystkie istotne dane z orzeczeń (daty, sąd, strony, sygnatury itp.), podsumowanie orzeczeń, wyniki analizy dla każdej z 3 tez wraz z uzasadnieniem, cytaty z orzeczeń wspierające wnioski z analizy oraz link do źródłowych orzeczeń

Połączenie dobrze zorganizowanego, zautomatyzowanego procesu z odpowiednio sporządzonym „promptem” dla modelu językowego umożliwia masową analizę dokumentów i dowolne skalowanie analizy - np. 20x zwiększenie liczby dokumentów spowoduje tylko ok. 2x zwiększenie pracochłonności, związane z niezbędną pracą człowieka w zakresie weryfikacji wyników (zgodnie z dobrą zasadą „human in the loop”).

Dla celów opowieści dość powiedzieć, że „prompt” zawierał opis kontekstu analizy, określał niezbędne zasady i założenia, szczegółowy opis zadania i formaty, w jakich miały zostać zwrócone odpowiedzi. Tłumaczenie zadania generatywnej AI przypomina rozmowę z inteligentnym asystentem – zrobi wszystko co każemy, ale musi dokładnie znać cel, zakres i oczekiwany wynik.

W opisanym przypadku przygotowanie całego materiału, doprecyzowanie kryteriów i otrzymanie wyników analizy dla 40 orzeczeń trwało kilka godzin, a wyrywkowa analiza przed przekazaniem wyników do kancelarii JK Law pozwoliła na stwierdzenie, że w sprawdzonych przypadkach (20% całej populacji) nie było błędnego wyniku.

W ocenie Profesora Koźmińskiego, generatywna AI dostarczyła wyniki co najmniej równie dobre, a czasem nawet minimalnie lepsze niż analizy wykonane przez wykształconych prawników, w tym praktykantów, stażystów i asystentów – studentów ostatnich lat studiów prawniczych lub absolwentów prawa. Model wychwycił najważniejsze wątki i trafnie zidentyfikował tezy, pomimo skomplikowanego języka użytego w orzeczeniach i czasem trudnych do odcyfrowania kierunku i motywu sentencji. Okazało się zatem, że praca analityczna nad orzecznictwem, którą alternatywnie – zamiast AI – mieliby wykonywać realni ludzie, może zająć znacznie mniej czasu, dając jednocześnie podobne wyniki pod względem jakości jej efektów.

Konkludując – generatywna AI okazuje się dobrym narzędziem, możliwym do wykorzystania również w pracy naukowej i badawczej.

Od czasu publikacji cytowanej przez nas na początku tekstu Lalande 21185 minęło równo 60 lat. Nie umiemy jeszcze powiedzieć dokładnie, jak zmieni się wkrótce zakres i ilość pracy wykonywanej przez człowieka. Jednego raczej jesteśmy pewni – wysiłek poświęcony na analizę orzeczeń sądów zmniejszy się drastycznie dzięki generatywnej AI.