안녕하세요. 인텔렉추얼데이터입니다.

<터미네이터> 나 <2001 : 스페이스 오디세이> 같은 SF영화를 보면 인간을 위협하는 인공지능을 쉽게 만나볼 수 있습니다. 물론 현재의 인공지능(Artificial Intelligence, AI) 기술이 인류를 위협할 정도까지 발달한 것은 아니지만, 최근 빠르게 산업 곳곳에 생성형 AI가 적용되기 시작하면서 AI 시스템에 가해지는 공격, 그리고 AI 자체의 취약성이 조금씩 드러나고 있습니다. 

우리는 이런 위험에서 어떻게 스스로를 보호해야 할까요? 극도로 발달한 AI는 정말로 영화에서나 나오던 아포칼립스를 일으킬 수 있을까요? 기계 학습 모델은 완벽하게 안전한 것일까요? 오늘은 아주 밀접한 관계인 보안과 인공지능에 대해 알아볼까 합니다. 

인공 지능이란? 핵심적인 기본 개념 파헤치기 

AI는 일반적으로 학습 알고리즘과 데이터 세트의 결합체로 구성됩니다. 머신 러닝(Machine Learning) 혹은 딥 러닝이 적용되어 학습을 수행할 수 있는 AI 알고리즘은 데이터 세트를 기반으로 각종 입력 정보에 대한 예측 및 분류를 수행합니다.

이런 '지능'이라는 용어는 과거의 경험을 통해 추론하고, 발견하고, 일반화하고, 학습하는 인간의 특성을 모방하는 데서 사용되었는데요. 최근 발달하고 있는 AI 알고리즘은 이런 되먹임(Feedback) 역할을 갖도록 만들어져 있어 데이터를 통해 '학습'된 경험을 바탕으로 목표로 하는 작업에 대한 접근 방법을 개선하거나 변경, 목표 수행을 위해 더 합리적인 행동을 할 수 있도록 스스로를 개선할 수 있게 됩니다.

보안 시스템 관리를 돕는 AI의 역할

현대 IT 시스템에는 복잡한 다량의 모니터링 데이터와 로그 데이터가 실시간으로 누적됩니다. AI는 이런 데이터를 신속하게 처리하여 이상 징후를 찾아내고 보안 제어에 대한 권장 사항을 제시하거나 조정할 수 있습니다. 인간은 직관을 통해 새로운 패턴을 탐지할 수 있지만, 수많은 데이터 속에서 특정 패턴을 식별하는 것에는 약합니다. AI는 이러한 탐지의 정확도를 빠르게 향상하여 이상 데이터를 필터링, 인간에게 제공합니다.

이를 통해 보안 관제를 수행하는 인력은 보다 더 중요한 경고에 집중하여 공격에 대응할 수 있게 됩니다. 하지만 반대로 공격자 역시 인공 지능을 악용하여 시스템에 대한 악의적 접근을 할 수 있게 됩니다.

사이버 공격 고도화에 악용되는 AI

생성형 AI(Generative AI)는 텍스트, 이미지, 비디오, 음악을 창의적으로 생성하는 AI 모델입니다. 공격자측은 이 모델을 활용하여 맬웨어 코드, 피싱 이메일, 사기, 음성/영상 사칭 사기에 콘텐츠를 만들고 있습니다. AI 모델에 대한 수요가 증가하며 이런 서비스의 공급 및 품질이 대폭 개선되고 증가하고 있는데요. 그러면서 이러한 공격도 대폭 증가하게 되었습니다. 방어자가 효율적으로 방어할 수 있다는 것은, 공격자 역시 사람이 작업하던 시간을 대폭 줄여서 보다 '효율적'으로 공격에 필요한 도구를 생성하고 다양한 포트나 방식을 통해 자동화된 공격을 할 수 있다는 것입니다.

공격자는 AI 시스템에 이름, 주소, 생일, 비밀번호 , 결제 카드, 건강 정보, 전화번호 및 기타 형태의 민감한 개인 정보가 포함된 대규모 데이터세트를 학습시켜 시스템이 보유하고 있는 민감한 데이터를 공개하도록 프롬프트를 변경하여 민감한 정보를 공개하는 것을 목표로 합니다.

​AI를 대상으로 하는 사이버 공격의 위험성

또 다른 위협은 바로 AI 자체를 대상으로 하는 공격입니다. 대부분의 경우 기계 학습 모델은 알 수 없거나 새로운 데이터 대신 훈련 데이터가 제공될 때 더욱 강력한 신뢰도 응답을 출력하는데, MI(Membership Inference)라는 공격을 통해 공격자가 의도한대로 훈련 데이터를 재구성할 경우 AI는 제대로 된 응답을 할 수 없게 됩니다.

최근 공격자는 SMI(Strong Membership Inference)라는 공격을 수행하고 있는데, 이는 MI와 추론 공격의 결합을 통한 공격입니다. 이는 훈련 데이터 세트에 가까운 데이터를 입력 받으면 유사한 답을 출력하는 생성형 AI의 한계를 공격하는 것으로, 보다 완화된 AI 개념인 AAI(근사 속성 추론)을 통해 방어할 수 있습니다.

그 외에 정보를 변조하여 분류 오류에 대한 사각 지대를 생성하는 회피 공격과 머신러닝 모델을 표적으로 삼아 훈련 데이터를 추출하는 추론 공격 등이 있습니다.

AI를 대상으로 하는 공격, 효과적인 방어 방법은?

적응형 학습을 기반으로 구축된 모든 것에는 항상 잘못된 정보가 심어져 악용될 수 있습니다. 이는 인간 역시 마찬가지입니다. 물론 인간에게는 데이터를 더 자율적으로 해석할 수 있는 지능이 있지만 AI는 논리적으로 알고리즘에만 의해 작동하고 그 알고리즘은 일반적으로 블랙박스의 형태로 작동하기 때문에 알고리즘의 취약성이 공격당해서 오염되기 시작하면 이를 쉽게 확인하기 힘들다는 문제점이 있습니다.

모든 방어 메커니즘과 마찬가지로, 시스템을 공격으로부터 보호하는데는 다양한 제어 기능 구현을 포함한 복합적인 방어 정책을 수행하는 것이 가장 최선의 방법입니다.

그 방법 중 하나인 교육 및 원본 데이터에 대한 지속적인 검토 및 평가는 매우 중요한 영역입니다. 이는 모든 AI의 가장 중요한 약점 중 하나로, 모델에 사용된 정보가 손상된 경우 영향 평가 및 복구에 대한 작업을 신속하게 할 수 있도록 합니다.

또한 솔루션 라이프사이클 전반에 걸친 지속적인 데이터 보안 분석 및 개선을 통해 학습 데이터의 오염 가능성을 줄일 수 있습니다. AI 시스템이 산업에 점점 더 적용될 수록 새로운 공격, 취약점, 익스플로잇이 매일 등장합니다. 개발, 유지, 보수 등 솔루션의 전반적인 라이프사이클에 관여하는 사이버 보안 팀, 개발자 및 데이터 엔지니어 간의 유기적 협업은 매우 중요합니다.

또한 AI가 적용되는 인프라에도 적절한 보호가 필요합니다. 특히 거버넌스 및 도구를 개선하는 것이 가장 가시적이고 중요한 방법 중 하나일 것입니다.