Τεχνητή Νοημοσύνη: Κυρώσεις στο chatbot Replika επέβαλε η αρχή προστασίας δεδομένων της Ιταλίας

​Η ιταλική αρχή προστασίας δεδομένων Garante επέβαλε κυρώσεις στο 'Replika'. Το chatbot με τεχνητή νοημοσύνη, το οποίο δημιουργεί έναν "εικονικό φίλο" χρησιμοποιώντας διεπαφές κειμένου και βίντεο, δεν θα μπορεί προς το παρόν να επεξεργάζεται προσωπικά δεδομένα Ιταλών χρηστών. H Garante επέβαλε στην εταιρεία με έδρα τις ΗΠΑ, που έχει αναπτύξει και λειτουργεί την εφαρμογή, προσωρινό περιορισμό με άμεση ισχύ.

Πρόσφατες αναφορές σε μέσα ενημέρωσης, καθώς και έρευνες που πραγματοποίησε η Garante στο "Replika" έδειξαν ότι η εφαρμογή ενέχει πραγματικούς κινδύνους για τα παιδιά -  πρωτίστως το γεγονός ότι τους παρέχονται απαντήσεις που είναι απολύτως ακατάλληλες για την ηλικία τους.

Ο "εικονικός φίλος" παρουσιάζεται ως ικανός να βελτιώσει τη συναισθηματική κατάσταση των χρηστών και να τους βοηθήσει να κατανοήσουν τις σκέψεις τους και να καταπραΰνουν το άγχος τους μέσω της διαχείρισης του στρες, της κοινωνικοποίησης και της αναζήτησης της αγάπης. Αυτά τα χαρακτηριστικά συνεπάγονται αλληλεπιδράσεις με τη διάθεση ενός ατόμου και μπορεί να επιφέρουν αυξημένους κινδύνους για τα άτομα που δεν έχουν ακόμη μεγαλώσει ή είναι συναισθηματικά ευάλωτα.

Στην πραγματικότητα, δεν έχει τεθεί σε εφαρμογή κανένας μηχανισμός επαλήθευσης της ηλικίας, κανένας αποκλεισμός της εφαρμογής εάν ένας χρήστης δηλώσει ότι είναι ανήλικος. Κατά τη δημιουργία λογαριασμού, η πλατφόρμα ζητά απλώς το όνομα του χρήστη, τον λογαριασμό ηλεκτρονικού ταχυδρομείου και το φύλο του.

Περαιτέρω, οι "απαντήσεις" που δίνονται από το chatbot συχνά έρχονται σε εμφανή σύγκρουση με τις ενισχυμένες εγγυήσεις που δικαιούνται τα παιδιά και τα ευάλωτα άτομα. Αρκετές κριτικές στα δύο κύρια App Stores περιλαμβάνουν σχόλια χρηστών που επισημαίνουν σεξουαλικά ακατάλληλο περιεχόμενο.

Το "Replika" παραβιάζει τον Γενικό Κανονισμό Προστασίας Δεδομένων: δεν συμμορφώνεται με τις απαιτήσεις διαφάνειας και επεξεργάζεται μη νομίμως δεδομένα προσωπικού χαρακτήρα, δεδομένου ότι η εκτέλεση σύμβασης δεν μπορεί να αποτελεί τη νομική βάση, έστω και σιωπηρά, αφού τα παιδιά δεν έχουν δικαιοπρακτική ικανότητα.

Με βάση τα ανωτέρω, η εταιρεία ανάπτυξης με έδρα τις ΗΠΑ, Luka Inc., διατάχθηκε να τερματίσει την επεξεργασία δεδομένων που αφορούν Ιταλούς χρήστες και να ενημερώσει την ιταλική αρχή εντός 20 ημερών για κάθε μέτρο που έλαβε για την εφαρμογή των εντολών της. Σε αντίθετη περίπτωση, η Garante μπορεί να επιβάλει πρόστιμο έως 20 εκατ. ευρώ ή το 4% του συνολικού παγκόσμιου ετήσιου κύκλου εργασιών της εταιρείας.

[Από το δελτίο τύπου της ιταλικής αρχής]

Απόσπασμα από την απόφαση της Garante:

- Λαμβάνοντας υπόψιν τις πρόσφατες αναφορές μέσων ενημέρωσης για τις δοκιμές που είχαν πραγματοποιηθεί στην εφαρμογή "Replika" - η οποία είναι ένα chatbot με τεχνητή νοημοσύνη εξοπλισμένο με διεπαφή κειμένου και φωνής που δημιουργεί έναν "εικονικό φίλο" που οι χρήστες μπορούν να διαμορφώσουν ως φίλο, συνεργάτη ή μέντορα- σημειώνοντας ότι οι δοκιμές αυτές φέρεται να είχαν επισημάνει πραγματικούς κινδύνους για ανηλίκους και, γενικά, συναισθηματικά ευάλωτα άτομα,

- Λαμβάνοντας υπόψιν ότι ο πάροχος υπηρεσιών δηλώνει -στην πολιτική απορρήτου, όπως ενημερώθηκε τελευταία φορά στις 5 Ιουλίου 2022 και δημοσιεύθηκε στον σχετικό ιστότοπο- ότι τα προσωπικά δεδομένα που αφορούν παιδιά κάτω των 13 ετών δεν συλλέγονται εν γνώσει τους, ενώ οι γονείς και οι νόμιμοι κηδεμόνες ενθαρρύνονται να παρακολουθούν τη χρήση του Διαδικτύου από τα παιδιά τους, να συμμορφώνονται με την πολιτική απορρήτου, δίνοντας οδηγίες στα παιδιά να μην παρέχουν ποτέ προσωπικά δεδομένα στην υπηρεσία χωρίς την άδειά τους και να επικοινωνούν με την πλατφόρμα σε περίπτωση που έχουν λόγους να πιστεύουν ότι ένα παιδί κάτω των 13 ετών έχει παράσχει προσωπικά δεδομένα, ώστε τα δεδομένα αυτά να αφαιρεθούν από τις βάσεις δεδομένων,

- Λαμβάνοντας υπόψιν ότι η εφαρμογή χαρακτηρίζεται, στα δύο κύρια App Stores, ως κατάλληλη για άτομα ηλικίας άνω των 17 ετών, ενώ οι όροι χρήσης, όπως ενημερώθηκαν τελευταία φορά στις 14 Σεπτεμβρίου 2022 και δημοσιεύθηκαν στον ιστότοπο του προγραμματιστή, αναφέρουν ότι απαγορεύεται η χρήση της εφαρμογής σε παιδιά κάτω των 13 ετών και ότι οι χρήστες κάτω των 18 ετών πρέπει να έχουν προηγουμένως εξουσιοδοτηθεί από τους γονείς ή τους νόμιμους κηδεμόνες τους,

- Λαμβάνοντας υπόψιν ότι οι δοκιμές που πραγματοποιήθηκαν στην εφαρμογή, όπως αναφέρθηκαν από τα προαναφερθέντα μέσα ενημέρωσης, δείχνουν ότι δεν υπάρχει κανένα σύστημα ελέγχου για τα παιδιά και ότι οι απαντήσεις που παρέχονται στα παιδιά είναι εντελώς ακατάλληλες, με δεδομένο τον βαθμό ανάπτυξης και την αυτογνωσία τους,

- Διαπιστώνοντας ότι ότι δεν υπάρχουν διαδικασίες επαλήθευσης ή ελέγχου της ηλικίας στην πλατφόρμα κατά τη δημιουργία λογαριασμού και ότι το σύστημα απαιτεί από τους χρήστες να παρέχουν μόνο τα ονόματα, τους λογαριασμούς ηλεκτρονικού ταχυδρομείου και το φύλο τους,

- Διαπιστώνοντας επίσης ότι δεν ενεργοποιούνται μηχανισμοί απαγόρευσης ή αποκλεισμού, ακόμη και όταν ένας χρήστης δηλώνει ρητά ότι είναι ανήλικος, και ότι το chatbot δίνει "απαντήσεις" που είναι σαφώς αντίθετες με τις εγγυήσεις που δικαιούνται τα παιδιά και, γενικότερα, τα ευάλωτα άτομα,

- Λαμβάνοντας υπόψιν ότι αρκετές κριτικές στα δύο κύρια App Stores περιλαμβάνουν σχόλια χρηστών που επισημαίνουν το σεξουαλικά ακατάλληλο περιεχόμενο που παρέχει το chatbot Replika,

- Σημειώνοντας ότι το Replika παρουσιάζεται τόσο στον ιστότοπο του προγραμματιστή όσο και στα δύο κύρια App Stores ως ένα chatbot που μπορεί να βελτιώσει τη διάθεση και τη συναισθηματική ευεξία των χρηστών, βοηθώντας τους να κατανοήσουν τις σκέψεις και τα συναισθήματά τους, να παρακολουθούν τη διάθεσή τους, να μάθουν δεξιότητες αντιμετώπισης (π.χ. να ελέγχουν το άγχος), να ηρεμήσουν το άγχος τους και να εργαστούν για την επίτευξη στόχων όπως η θετική σκέψη, η διαχείριση του άγχους, η κοινωνικοποίηση και η αναζήτηση της αγάπης,

- Διαπιστώνοντας ότι τα παραπάνω χαρακτηριστικά μπορούν να ενισχύουν τους κινδύνους για τα εν λόγω ευάλωτα άτομα, καθώς μπορούν ως επί το πλείστον να αναχθούν σε ενέργειες στη διάθεση ενός ατόμου,

- Λαμβάνοντας υπόψιν ότι η προαναφερθείσα πολιτική απορρήτου δεν πρέπει να θεωρηθεί σύμφωνη με τις αρχές και τις υποχρεώσεις διαφάνειας που ορίζονται στον Γενικό Κανονισμό, δεδομένου ότι δεν αποκαλύπτει καμία πληροφορία σχετικά με τα βασικά στοιχεία της επίμαχης επεξεργασίας, ιδίως σχετικά με τη χρήση των προσωπικών δεδομένων των παιδιών, γεγονός που συνιστά παράβαση του άρθρου 13 ΓΚΠΔ,

- Λαμβάνοντας υπόψιν ότι η πλημμελής αυτή ενημέρωση συνεπάγεται τον δυσχερή προσδιορισμό της νομικής βάσης για τις επιμέρους δραστηριότητες επεξεργασίας από το εν λόγω chatbot

- Λαμβάνοντας υπόψιν ότι μπορεί χωρίς αμφιβολία να αποκλειστεί η νομική βάση της συμβατικής εκτέλεσης, έστω και σιωπηρά, ιδίως όσον αφορά τα παιδιά, δεδομένου ότι τα παιδιά είναι νομικά ανίκανα, σύμφωνα με το ιταλικό δίκαιο, να συνάψουν σύμβαση για την παροχή υπηρεσιών όπως η συγκεκριμένη - η οποία συνεπάγεται τη διάθεση σημαντικού όγκου προσωπικών δεδομένων,

- Διαπιστώνοντας κατά συνέπεια ότι η επεξεργασία δεδομένων προσωπικού χαρακτήρα που αφορούν χρήστες, ιδίως ανήλικους χρήστες, παραβιάζει τα άρθρα 5, 6, 8, 9 και 25 ΓΚΠΔ, υπό το φως των προαναφερόμενων περιστάσεων,

- Κρίνοντας επομένως ότι πρέπει να διαταχθεί επειγόντως προσωρινός περιορισμός της επεξεργασίας σύμφωνα με το άρθρο 58 παρ.2στ’ ΓΚΠΔ έναντι της Luka Inc., ήτοι της αμερικανικής εταιρείας ανάπτυξης και εκμετάλλευσης της Replika, υπό την ιδιότητά της ως υπευθύνου επεξεργασίας των δεδομένων προσωπικού χαρακτήρα που πραγματοποιείται μέσω της εν λόγω εφαρμογής,

- Διαπιστώνοντας ότι ο ανωτέρω προσωρινός περιορισμός πρέπει να επιβληθεί σε όλα τα δεδομένα προσωπικού χαρακτήρα που αφορούν χρήστες στην ιταλική επικράτεια, λαμβανομένης υπόψη της έλλειψης οποιουδήποτε μηχανισμού επαλήθευσης της ηλικίας καθώς και των παραβάσεων που έχουν διαπιστωθεί,

- Θεωρώντας ότι ο εν λόγω περιορισμός πρέπει να επιβληθεί αμέσως από την ημερομηνία παραλαβής της παρούσας διαταγής, με την επιφύλαξη των πρόσθετων αποφάσεων που ενδέχεται να ληφθούν μετά την ολοκλήρωση των συνεχιζόμενων δραστηριοτήτων διερεύνησης των γεγονότων,

[…]

Για τους λόγους αυτούς, η Αρχή

α) επιβάλλει, δυνάμει του άρθρου 58 παρ.2στ’ ΓΚΠΔ, τον κατεπείγοντα προσωρινό περιορισμό της επεξεργασίας δεδομένων προσωπικού χαρακτήρα που αφορούν χρήστες στην ιταλική επικράτεια, η οποία διενεργείται από την Luka Inc., την αμερικανική εταιρεία ανάπτυξης και εκμετάλλευσης της εφαρμογής Replika, υπό την ιδιότητά της ως υπευθύνου επεξεργασίας δεδομένων προσωπικού χαρακτήρα που πραγματοποιείται μέσω της εν λόγω εφαρμογής,

β) ορίζει ότι ο εν λόγω περιορισμός θα εφαρμοστεί αμέσως από την ημερομηνία επίδοσης της παρούσας απόφασης, με την επιφύλαξη των πρόσθετων προσδιορισμών που ενδέχεται να γίνουν μετά την ολοκλήρωση των εν εξελίξει δραστηριοτήτων διερεύνησης των πραγματικών περιστατικών.

Σύμφωνα με το άρθρο 58 παρ.1 ΓΚΠΔ, η Garante δίνει τον υπεύθυνο επεξεργασίας, στον οποίο απευθύνεται η παρούσα, την εντολή να παράσχει πληροφορίες εντός 20 ημερών σχετικά με τα μέτρα που έχει ενδεχομένως λάβει για να συμμορφωθεί με τα ανωτέρω και να υποβάλει κάθε στοιχείο που κρίνεται χρήσιμο για να αιτιολογήσει τις προαναφερθείσες παραβάσεις. Υπενθυμίζεται ότι η μη συμμόρφωση με το αίτημα του άρθρου 58, συνεπάγεται την επιβολή του διοικητικού προστίμου σύμφωνα με το άρθρο 83 παρ.5ε’ ΓΚΠΔ.