Accueil Cyber Sécurité La face cachée de la nouvelle ère de l’IA

La face cachée de la nouvelle ère de l’IA

145
0

Alors que le nombre d'utilisateurs actifs de ChatGPT est passé à 100 millions en seulement deux mois, fasciné par ce qu'il peut faire, il a déjà commencé à révéler son côté obscur. Il est devenu la cause d'atteintes à la et de risques de violation de la vie privée, de la conformité et des règles de gouvernance ; il ne s'agit pas d'attaques, mais d'utilisateurs qui téléchargent volontairement (et illégalement) des informations sensibles dans le système afin d'en tirer des enseignements.

Un rapport a révélé que plus de 4 % des employés ont déjà essayé d'introduire des données sensibles de l'entreprise dans le modèle. La récente version de GPT4, qui utilise de grands modèles de langage (LLM), peut accepter des morceaux de texte beaucoup plus importants, ce qui risque d'aggraver le problème (et de l'accélérer).

Le rapport provient d'une entreprise qui a détecté et bloqué les 67 000 tentatives d'utilisation abusive sur l'ensemble de sa clientèle. La plupart des organisations n'ont pas cette capacité. Un cadre a essayé de coller la stratégie de l'entreprise dans le système pour faire une présentation PowerPoint, et un médecin a introduit le nom et l'état de santé d'un patient pour rédiger un rapport.
Les cyber-experts ont prouvé que les attaques par extraction de données de formation sont possibles dans GPT, où un attaquant peut faire en sorte que le système se souvienne, mot pour mot, des informations sensibles qui lui ont été communiquées.

Quelles sont les lacunes de ChatGPT en matière de ?

En plus du risque de voir ses données “piratées” hors des bases de données de GPT, le simple fait de les divulguer peut constituer une violation de nombreuses politiques de sécurité, lois sur le secret et réglementations en matière de vie privée. Par ailleurs, le fait de récupérer et d'utiliser des informations de GPT appartenant à quelqu'un d'autre, qui s'avèrent être des informations exclusives, confidentielles ou protégées par le droit d'auteur, peut également causer des problèmes à l'entreprise.

Lire aussi :  Cinq prédictions sur la sécurité des applications pour 2023.

Le seul moyen d'empêcher cela, outre le blocage de l'accès à GPT ou à d'autres outils de gestion du cycle de vie, est de former et d'éduquer les personnes qui utilisent la technologie. Mais il est difficile de former chaque membre du personnel, et encore plus difficile de s'assurer qu'il comprend et retient cette formation. Il est encore plus difficile de s'assurer qu'ils appliquent la formation quotidiennement et de manière cohérente afin de garantir qu'ils n'exposent pas leur employeur à des risques importants.

L'essor des chatbots et la dépendance à l'égard d'une machine pour fournir des réponses signifient que nous ne savons jamais si nous recevons des informations correctes.

Les chatbots ont le défaut d'être opaques. Lorsqu'ils donnent une réponse, il est difficile de vérifier les faits. Nous courons le risque de nous fier uniquement à la recommandation d'une machine, même si cette recommandation peut être erronée.

Examinons maintenant cette question sous l'angle de la cybersécurité. Si nous posons à une machine des questions liées à la sécurité et que la réponse est potentiellement incorrecte, les conséquences de cette erreur peuvent être catastrophiques.

C'est pourquoi il est essentiel de ne pas s'appuyer sur une boîte noire, l'IA algorithmique pour la conformité réglementaire ou de sécurité. Lorsque nous décidons de la loi ou de la politique à appliquer, nous devons être en mesure de comprendre et de remettre en question les preuves qui sous-tendent cette décision.

Se prémunir contre les menaces émergentes du ChatGPT

Le phishing est déjà l'une des méthodes d'attaque les plus courantes et les plus efficaces pour les acteurs malveillants. ChatGPT peut mettre entre de mauvaises mains la capacité de créer facilement des messages d'hameçonnage plus crédibles. Les “deepfakes” sont le prochain niveau. Un courriel crédible de votre patron vous demandant d'envoyer un document sensible par courriel, suivi d'un appel vidéo qui lui ressemble et qui a l'air de lui ressembler ? Ce sont là quelques-uns des énormes défis auxquels nous sommes confrontés et que la formation seule ne peut pas maîtriser.

Lire aussi :  Cyberconférence de Chatham House - 14 juin 2023

La fuite de données est inévitable. Nous ne pourrons jamais réduire à zéro la probabilité d'une violation, car nous aurons toujours des initiés de confiance. L'approche à adopter aujourd'hui consiste à réduire l'impact potentiel d'une future violation.

Connaître les données dont on dispose, les risques qu'elles présentent et leur valeur. Quelles sont les règles qui s'y appliquent, où elles se trouvent, qui fait quoi avec elles. Et savoir ce qui doit être verrouillé et ce qui peut être éliminé (dans l'ensemble de l'entreprise). C'est une chose pour laquelle nous pouvons utiliser l'IA dès maintenant, et cela fait vraiment pencher l'aiguille du côté de la bonne gouvernance.

Rachael Greaves est PDG/CSO et fondatrice de Castlepoint Systems

Tu peux aussi lire :

Risques liés au modèle linguistique de ChatGPT:

___________________________________________________________________________________________

Si tu aimes ce site web et que tu utilises l'annuaire complet des fournisseurs de services (plus de 6 500), tu peux obtenir un accès illimité, y compris la série exclusive de rapports approfondis sur les directeurs, en souscrivant à un abonnement Premium.

  • Individuel : £5 par mois ou £50 par an. S'inscrire
  • Multi-utilisateurs, entreprises &amp ; comptes de bibliothèque disponibles sur demande


Cyber Security Intelligence : Capturé Organisé &amp ; Accessible


” Si c'est commode, soyez méfiants – L'aspect humain
Article précédentDes employés de Samsung divulguent accidentellement des données sensibles de l’entreprise sur ChatGPT
Article suivantLa cyberforce nationale britannique dévoile sa doctrine opérationnelle