Képzeljünk el egy rendszert, amely folyamatosan figyeli, hogyan viselkedünk. Mit vásárolunk, mennyire vagyunk pontosak, milyen véleményeket fogalmazunk meg, hogyan viselkedünk másokkal, milyen szabályokat tartunk be, vagy éppen milyen személyes tulajdonságokkal rendelkezünk.
A rendszer ezeket az információkat összegyűjti, értékeli, majd pontszámot rendel hozzánk.
Magas pontszám? Több lehetőség. Alacsony pontszám? Kevesebb bizalom, rosszabb feltételek, korlátozott hozzáférés.
Ez a társadalmi pontozás logikája – és egyben az AI Act egyik tiltott területe.
A társadalmi pontozás lényege, hogy természetes személyeket vagy emberek csoportjait társadalmi viselkedésük, személyes tulajdonságaik vagy jellemzőik alapján értékelik, rangsorolják vagy kategorizálják. A veszély ott kezdődik, amikor ez az értékelés már nem marad abban a környezetben, amelyben az információ eredetileg keletkezett.
Tegyük fel például, hogy egy rendszer valamilyen online viselkedés alapján értékeli az embert. Mi történik akkor, ha ezt a minősítést később egy teljesen más élethelyzetben használják fel ellene? Egy szolgáltatás igénybevételénél, egy lehetőséghez való hozzáférésnél vagy más olyan döntésnél, amelynek valójában semmi köze nem volt az eredeti adatgyűjtés céljához?
Egy adat egyik helyzetben lehet releváns. Egy másikban már igazságtalan ítéletté válhat.
Ez a társadalmi pontozás egyik legfontosabb problémája. Az ember viselkedése mindig valamilyen konkrét környezetben történik, egy általános pontszám azonban könnyen leválaszthatja az információt erről a környezetről. Egyetlen tulajdonságból, döntésből vagy viselkedési mintából így olyan következtetés születhet, amely az élet más területein is elkíséri az érintettet.
A másik komoly veszély az aránytalan hátrány. Előfordulhat, hogy egy személy tényleges magatartása önmagában nem indokolna súlyos következményt, az algoritmikus értékelés mégis olyan kategóriába sorolja, amely jelentős hátrányt okoz számára.
Ilyenkor már nem egyszerű értékelésről beszélünk.
Egy emberből pontszám lesz. A pontszámból kategória. A kategóriából pedig döntés.
És minél több döntés épül ugyanarra a minősítésre, annál nehezebb kitörni belőle.
A társadalmi pontozás különösen azért veszélyes, mert az algoritmikus értékelés könnyen objektívnek tűnhet. A számok, kategóriák és automatikus eredmények azt a benyomást kelthetik, hogy a döntés semleges és pontos. Valójában azonban minden ilyen rendszer mögött ott vannak a kiválasztott adatok, a meghatározott értékelési szempontok és azok a szabályok, amelyek eldöntik, mi számít „jónak” vagy „rossznak”.
Az algoritmus nem önmagától dönti el, mi az értékes társadalmi viselkedés. Valakinek előtte meg kell határoznia ezt.
Fontos ugyanakkor, hogy nem minden pontozás, értékelés vagy kategorizálás minősül automatikusan tiltott társadalmi pontozásnak. A konkrét rendszer működését mindig részletesen kell vizsgálni. Mit értékel? Milyen adatok alapján? Milyen célból? Hol használják fel az eredményt? És milyen következménye lesz az érintett számára?
A lényeg a kontextus és az arányosság.
Egy adott célhoz kapcsolódó, indokolt értékelés és egy ember általános „társadalmi értékének” meghatározása között alapvető különbség van. A szabályozás azt kívánja megakadályozni, hogy egy személyt életének egyik területén gyűjtött információk alapján más, oda nem kapcsolódó helyzetekben is hátrány érjen, vagy a tényleges magatartásához képest indokolatlanul súlyos következményekkel szembesüljön.
A mesterséges intelligencia egyre több információból képes mintázatokat felismerni és következtetéseket levonni rólunk. A technológiai lehetőség azonban nem jelenti automatikusan azt, hogy minden lehetséges értékelést el is kell végezni.
Egy társadalom akkor kerül veszélyes helyzetbe, amikor már nem azt kérdezi, mit tett az ember egy adott helyzetben, hanem azt, hogy az algoritmus szerint milyen ember ő.
Mert az ember több, mint az adatai összege. És mindenképpen több, mint egy pontszám.