Nie budujemy chatbota Twojej babci

Rośnie kategoria produktów, które trenują model językowy na osobie zmarłej i pozwalają rodzinie z nią rozmawiać. Obietnicą jest pocieszenie. Zarzut nie brzmi, że to niesamowite — sporo praktyk żałobnych wygląda dziwnie z zewnątrz — tylko że uszkadza to rzecz, z której powstało, a uszkodzenie jest nieodwracalne.

Co symulacja robi z zapisem

Model wytrenowany na kimś produkuje nowe wypowiedzi jego głosem. Nie odzyskane wypowiedzi, tylko wygenerowane — takie, których nigdy nie wygłosił, o rzeczach, których może nigdy nie rozważał.

Te wypowiedzi wchodzą do pamięci rodziny tą samą drogą co prawdziwe. Wnuczka, która rozmawia z systemem w wieku jedenastu lat i pamięta to w wieku czterdziestu, nie oddzieli tego, co jej powiedziano, od tego, co powiedziała babcia. Zapis i zmyślenie zlewają się w jedno, a zmyślenie ma głośniejszy głos, bo odpowiada zawsze, gdy się je zapyta.

Archiwum, które mówi „nie ma tu o tym nic”, zostawia lukę nietkniętą. Symulacja ją wypełnia, a raz wypełnionej nie da się już opróżnić.

Problem zgody

Osoba symulowana nie może się na to zgodzić. Może zgodzić się na nagrywanie — to konkretna rzecz, którą rozumie i której może odmówić. Nie może sensownie zgodzić się na system, który będzie mówił jej głosem o tematach nieistniejących za jej życia.

Część usług prosi ludzi o zgodę z wyprzedzeniem. Nie jest jasne, na co taka osoba się zgadza, skoro wyników nie da się jej wcześniej pokazać, a technologia w chwili uruchomienia nie będzie już tą samą technologią.

Gdzie naprawdę leżała wartość

Każdy z tych produktów stoi na materiale wytworzonym przez człowieka: nagraniach, tekstach, korespondencji. Ten materiał jest naprawdę cenny i jest cenny dokładnie jako on sam.

Wnuczka słysząca prawdziwe nagranie babci opowiadającej prawdziwą historię dostaje coś realnego i wie, że to realne. Ta wiedza jest sporą częścią tego, co czyni to cokolwiek wartym. Symulacja bierze ten sam materiał i zamienia go w coś, co sprawia podobne wrażenie i nim nie jest — czyli w pogorszenie ubrane w funkcję.

Co zbudujemy zamiast tego

Odzyskiwanie z przypisaniem: zadajesz pytanie, dostajesz to, co człowiek naprawdę o tym powiedział, wraz z tym, kiedy i gdzie to powiedział. Tam, gdzie nic nie ma, odpowiedzią jest, że nic nie ma.

To gorszy produkt według zwykłych miar. Odmawia odpowiedzi. Nie potrafi prowadzić rozmowy. Rozczaruje każdego, kto chciał pogawędzić.

Jest też jedyną wersją zostawiającą zapis nietknięty dla tych, którzy przyjdą później — a zapis jest tu całym sensem. System, który nie powie „nie wiem”, niczego nie zachowuje; generuje człowieka, który nigdy nie istniał, z materiału należącego do kogoś, kto istniał.