[테크 리뷰] 챗GPT 등 생성형 AI, ‘보안 위협’ 주의보 > 테크리뷰

[리뷰타임스=김우선 기자]

챗GPT를 중심으로 한 생성형 AI 열풍이 불고 있는 가운데 AI 보안과 윤리에 대한 경고 목소리가 나오고 있다. 국가정보원이 국내에서는 처음으로 정부 차원의 가이드라인을 배포한 것을 시작으로 국회에서도 AI 부작용을 막기 위한 입법 활동이 진행 중이다.

생성형 AI 기술이란?

생성형 인공지능(AI) 기술이란 인공지능 기술의 한 종류로서 이미지, 비디오, 오디오, 텍스트 등을 포함한 대량의 데이터를 학습하여 사람과 유사한 방식으로 문맥과 의미를 이해하고 새로운 데이터를 자동으로 생성해 주는 기술을 의미한다.

기존 AI 기술이 회귀(regression), 분류(classification), 군집화(clustering) 등 판별적(discriminative) AI 기술이었다면, 생성형 AI 기술은 이용자가 요구한 질문이나 과제를 해결하기 위해 주어진 데이터를 기반으로 패턴과 규칙을 학습하고 이를 통해 새로운 콘텐츠를 생성하는 기술이다.

생성형 인공지능 기술 중 하나인 대규모 언어모델(Large Language Models; LLMs)은 일반적으로 수백억 개 이상의 파라미터를 포함하는 인공지능 모델을 의미하며 복잡한 언어 패턴과 의미를 학습하고 다양한 추론 작업에 대해 우수한 성능을 보유하고 있다. 대규모 언어모델 기반의 대표적인 AI 서비스로는 스테이블 디퓨전, 미드저니, 챗GPT, 바드, 파이어플라이 등이 있다.

이 가운데 사람들에게 널리 알려진 GPT(Generative Pre-trained Transformer)는 대규모 언어모델로서 도서, 웹 문서 등에서 수집한 방대한 텍스트 데이터베이스를 기반으로 학습하여 언어의 통계적 패턴을 모방하고, 이를 토대로 설득력 있는 문장을 생성하는 기술이다.

GPT는 2018년 OpenAI에서 처음 제안하였으며, 2019년 GPT-2, 2020년 GPT-3가 각각 발표되면서 점차 학습에 사용되는 데이터의 크기 및 모델의 파라미터(매개변수) 수가 증가하는 추세를 보이고 있다. GPT-3.5 및 GPT-4는 OpenAI의 AI 챗봇 서비스인 챗GPT를 통해 각각 2022년 11월과 2023년 3월에 공개되었다. GPT-3.5는 2022년에 공개된 InstructGPT와 유사한 방식으로 개발되었으며, 이 모델은 GPT-3를 강화학습(Reinforcement Learning from Human Feedback; RLHF) 방식을 통해 미세 조정한 모델이다.

챗GPT는 확장 프로그램과 플러그인(Plug-in)을 통해 다양한 방식으로 서비스되고 있다. 챗GPT는 외부 개발자가 특정 기능을 확장할 수 있도록 하기 위해 제한적으로 서드파티 플러그인 개발을 허용하고 있다. 사람들에게 익숙한 익스피디아, 카약, 오픈테이블, 쇼피파이, 슬랙 등을 통해 서비스되고 있다.

생성형 AI 기술의 보안 위협

챗GPT와 같은 대규모 언어모델 등 생성형 AI 기술(이하 ‘AI 모델’)의 보안 위협으로는 ▲잘못된 정보, ▲AI 모델 악용, ▲유사 AI 모델 서비스 빙자, ▲데이터 유출, ▲플러그인 취약점, ▲확장 프로그램 취약점, ▲API 취약점 등이 존재한다.

생성형 AI 기술의 보안 위협을 제공하는 주요 원인으로는 첫째 편향을 꼽는다. 학습 데이터의 불균형 또는 데이터 내의 직·간접적인 편향은 AI 모델의 편향으로 이어질 수 있으며, 이는 모델이 만들어내는 결과물에 영향을 미쳐 사용자에게 사실과 다른 정보를 제공할 수 있다. 예를 들어, AI 모델이 편향된 텍스트 데이터를 학습한다면, 해당 모델이 특정 그룹이나 주제에 대해 편견이 있는 결과를 생성할 수 있다.

둘째 최신 데이터에 대한 학습 부족이 꼽힌다. 특정 생성형 AI 모델은 최종 학습 데이터 시점까지의 정보만 가지고 있기 때문에 학습 이후에 발생한 사건이나 정보에 대해서는 알지 못하거나, 부정확한 정보를 제공할 수 있다. 특히 AI 모델은 현재 진행 중인 사건이나 빠르게 변화하는 정보에 대해서는 정확한 답변을 생성하는데 제한이 있을 수 있다.

셋째 환각 현상이다. 환각(Hallucination) 현상은 AI 모델의 결과물이 정확한 것처럼 생성되었으나 실제로는 거짓인 경우를 말한다. 즉, AI 모델은 새로운 콘텐츠를 생성할 수 있는 능력으로 인해 잘못된 정보나 존재하지 않는 정보를 생성할 수 있다는 특징을 가지고 있다. 이러한 환각 현상은 AI 모델의 신뢰성을 저하시키는 원인이 될 수 있다.

이와 같은 문제로 인한 대표적인 보안 위협은 아래와 같다.

1) 피싱 이메일 및 말투 도용

AI 모델은 사용자가 제공하는 텍스트 스타일을 흉내 내는 데 매우 효과적이며, 이를 통해 피싱 이메일을 생성하거나, 특정 개인이나 단체의 말투를 도용하는 데 악용될 수 있다. 이렇게 생성된 정교한 피싱 이메일은 기존의 보안 시스템을 속이고, 사람들이 이를 진짜로 인식하게 만들 수 있다.

2) 사이버 보안 위협 코드 작성

AI 모델은 소프트웨어 코드를 생성할 수 있다. 이는 AI 모델이 악성 코드 작성에 이용될 수 있음을 의미한다. 해커는 이를 통해 보안 시스템을 회피하는 데 필요한 복잡한 악성 코드를 작성할 수 있으며, 이로 인해 정보 보안 에 심각한 위협이 될 수 있다.

3) AI 모델을 악용한 사이버 범죄 커뮤니티 활성화

일부 사이버 범죄 커뮤니티는 AI 모델을 이용하여 악성 소프트웨어를 재현하거나, 범죄 행위에 대한 지침을 생성하고 있다. 이로 인해 이러한 커뮤니티의 활동이 활성화되고, 사이버 범죄의 위험성이 더욱 증가하게 된다.

4) 사회 공학적 영향

AI 모델은 사실적이고 믿기 쉬운 콘텐츠를 생성한다. 이를 통해 사용자는 다른 사람들을 조작하거나 사기를 칠 수 있는 잠재적인 도구를 얻을 수 있다. 이는 사회 공학적 공격을 더욱 쉽게 만들고, 사람들이 피해자가 될 위험성을 증가시킨다.

5) 가짜 뉴스 생성

생성형 AI 모델은 가짜 뉴스를 생성하는 데 사용될 수 있다. 특히, 챗GPT 등 대규모 언어모델은 인간이 생성하는 수준의 현실적이고 설득력 있는 결과물을 생성함으로써 허위 정보를 퍼뜨리는 데 악용이 가능하다.

국정원은 챗GPT 등 생성형 AI 활용 시 보안 수칙으로 몇 가지 사항을 공개했다. ▲민감한 정보(非공개 정보, 개인정보 등) 입력 금지. 설정에서 대화 이력&학습 기능 非활성화해야 ▲생성물에 대한 정확성·윤리성·적합성 등 再검증 ▲가짜뉴스 유포·불법물 제작·해킹 등 범죄에 악용 금지 ▲생성물 활용 시 지적 재산권·저작권 등 법률 침해·위반 여부 확인 ▲악의적으로 거짓 정보를 입력·학습 유도하는 등 非윤리적 활용 금지 ▲연계·확장프로그램 사용 시 보안 취약여부 등 안전성 확인 ▲로그인 계정에 대한 보안설정 강화 및 보안관리 철저. 다중 인증(Multi-Factor Authentication)’ 설정 등을 해야 한다고 강조했다.

해외 주요 국가들의 생성형 AI 규제 동향

유럽 연합(EU)은 2023년 5월 인공지능에 대한 세계 최초의 규제 프레임워크인 ‘인공지능 법(AI Act)’제정의 첫 단계로서 해당 법 초안을 유럽의회 상임위원회에서 통과시켰다. EU 인공지능 법에 따르면, 챗GPT 등 대규모 언어모델 및 생성 AI와 같은 이른바 ‘기초 모델(foundation models)' 제공업체 개발자는 모델을 공개하기 전에 안전 점검, 데이터 거버넌스 조치 및 위험 완화 조치를 적용해야 한다.

또 시스템을 훈련하는데 사용되는 학습 데이터 셋을 공개하고 생성 AI가 만든 콘텐츠는 인간이 생성한 것이 아님을 밝혀야 한다는 조항을 추가했다. 이와 관련해 미국과 유럽연합은 2023년 5월 31일 챗GPT와 같은 생성형 인공지능의 부작용을 줄이기 위한 ’자발적 행동강령‘을 마련하기로 했다.

미국은 백악관 과학 기술 정책실(Office of Science and Technology Policy)을 중심으로 2023년 8월 개최되는 데프콘(DEFCON)에서 챗GPT를 비롯한 생성형 인공지능 시스템을 공개 평가하여 잠재적인 취약점(potential harms)을 테스트할 계획이다. 여기서는, 대규모 언어모델을 포함한 다양한 생성 AI에 내재한 혼란(confabulations), 탈옥, 편견과 같은 위험을 발견하고, 기업 개발자가 발견된 문제를 해결하도록 장려하는 것을 목표로 한다.

캐나다 개인정보 보호 규제당국(Canada privacy regulators)은 2023년 5월 26일 챗GPT의 모기업인 OpenAI의 데이터 수집 및 사용에 관한 공동 조사를 시작했다. 연방 개인정보 보호 규제기관은 퀘벡, 브리티시 컬럼비아, 앨버타의 규제 기관과 함께 OpenAI가 챗GPT를 통해 사용자(residents)의 개인정보 수집, 사용 및 공개에 대한 동의를 얻었는지 여부를 조사할 것이라고 밝혔다.

이탈리아 개인정보 감독기구(Italian Data-Protection Authority; Italian DPA)는 3월 31일, 챗GPT의 개인정보 수집, 처리 및 사용자 연령 확인 부재로 인해 개인정보 보호 규정(GDPR) 위반 사유로 판단하여 챗GPT의 사용을 금지하는 조치를 취했다. 그러나 이후 4월 28일, OpenAI가 DPA의 요구사항을 이행함에 따라 이탈리아 정부는 챗GPT의 접속 차단을 해제했다.

일본 내각부는 2023년 4월 22일 OpenAI의 챗GPT와 유사한 생성형 인공지능 챗봇의 확산에 대응하기 위해 경제산업성, 총무성, 문부과학성, 디지털청 등 관계 부처가 참여하는 ‘AI 전략팀’ 신설 계획을 발표했다. 이 전략팀은 2023년 4월 24일 회의에서 AI의 업무 활용과 관련된 과제를 정리하고 부처 간 의사소통을 강화하는 방안을 논의한 바 있다.

<ansonny@reviewtimes.co.kr>

<저작권자 ⓒ리뷰타임스, 무단전재 및 재배포 금지〉