인공 지능은 수십 년간 우리 삶은 많은 부분에 이미 영향을 미치고 있습니다. 좋은 방향이든 안 좋은 방향이든 이러한 추세는 계속 이어질 것입니다. AI가 더욱 강력해지고 우리의 일상에서 더 많이 활용되면서 조직에서는 유용한 도구이자 위협으로써 AI의 잠재성을 현실적으로 평가해야 합니다.
AI 덕분에 좋은 행위자든 악의적인 행위자든 대규모로 더 빠르게 작업할 수 있습니다
ѫ니스에서 기계 학습이 널리 사용되면서 기계 학습은 매력적인 도구이자 표적이 되었습니다.
AI에 관한 과대광고는 위험을 가릴 위험이 있습니다.
새롭게 대두되는 위협의 범위는 매우 광범위하고 다양합니다.
AI로 인해 발생하는 위협에 맞서기 위해서는 AI에 기반한 새로운 보안 접근 방식이 필요합니다.
생성형 AI 기술의 실제 영향을 예측하는 데 걸림돌이 되는 문제는 바로 이 기술을 둘러싼 떠들썩한 과대광고입니다. 심지어 AI라는 용어 자체도 상투적으로 느껴질 정도죠. 참가자로 북적이는 기술 이벤트를 주최하고 싶나요? 그렇다면 프레젠테이션 제목에 AI를 추가해 보세요. 소프트웨어에 채택한 기계 학습 기능에 이목을 집중시키고 싶나요? ‘AI’로 마케팅하세요. 이렇게 하면 AI 기술의 현실을 가리는 안타까운 결과를 가져옵니다. AI라는 주제에 많은 사람들을 현혹시키면서 AI가 가져다 주는 이점과 위험을 과장합니다.
특히, 기술 지식이 부족한 다수가 AI가 정확히 무엇인지 이해하지 못하는 점 때문에 상황은 악화되고 있습니다.
간단히 말해, 인공 지능은 컴퓨터 시스템을 사용하여 인간의 지능 프로세스를 시뮬레이션하는 것이라고 할 수 있습니다.
예: 어 처리, 음성 인식, 전문가 시스템, 머신 비전
데이터 세트로 훈련을 받은 후 자동으로 학습하고 적응하도록 하는 알고리즘이 제어하는 컴퓨터 시스템입니다.
예: 콘텐츠 추천 알고리즘, 예측 분석, 이미지 인식
인간 두뇌와 같은 신경망을 시뮬레이션하기 위해 여러 계층의 알고리즘과 컴퓨팅 유닛을 사용하는 기계 학습 기술입니다.
예: 대규모 어 모델, 번역, 얼굴 인식
Content authenticity
Identity manipulation
Phishing with dynamite
Prompt injection
Machine Hallucinations
Attack sophistication
Custom malware
Poisoned data
Privacy leaks
콘텐츠의 진위
생성형 AI에는 콘텐츠 원본의 매우 사실적인 사본을 만들어 낼 수 있는 능력이 있습니다. 따라서 AI를 사용하여 콘텐츠를 생산하는 조직에는 지적 재산권 위험을 초래할 뿐만 아니라 악의적인 행위자가 데이터를 훔쳐 마치 진짜인 것처럼 복사한 다음 원래 창작한 것처럼 행세하거나 다른 공격을 용이하게 만들 수도 있습니다.
신원 조작
생성형 AI는 몇 초 만에 초현실적인 이미지와 동영상을 만들 수 있으며 심지어 생성 중인 라이브 동영상도 변경할 수 있습니다. 이로 인해 얼굴 인식 소프트웨어부터 법률 시스템의 동영상 증거, 정치와 관련된 가짜 정보에 이르기까지 다양한 핵심 시스템에 대한 신뢰가 훼손되어 실제로 모든 형태의 시각적 신원 확인에 대한 신뢰도가 떨어질 수 있습니다.
다이너마이트 피싱
공격자가 생성형 AI를 사용하여 얼굴, 음성, 글씨체를 진짜인 것처럼 시뮬레이션하고 기업 또는 브랜드 정체성을 모방하여 매우 효과적이고 감지하기 어려운 피싱 공격에 활용할 수 있습니다.
프롬프트 주입
생성형 AI의 기성품 모델을 사용하는 조직이 많기 때문에 인스턴스에 프롬프트를 훈련하거나 제공하는 데 사용되는 정보가 널리 사용되는 모델을 표적으로 삼은 공격자가 수정한 주입 공격에 노출될 수 있습니다. 엄격한 보호 장치가 마련되어 있지 않고 자주 업데이트되지 않는다면 기본 AI 모델을 사용하는 조직이 해당 모델을 악용한 공격에 노출될 수 있습니다.
기계 환각
일반적으로 AI는 설득력 있는 음성이나 텍스트를 빠르게 생성할 수 있지만 항상 정확하지는 않습니다. 이는 특히, 사용자를 위한 정보용 콘텐츠나 짶원용 콘텐츠를 생성하는 데 AI를 활용하는 조직과 이상이 발견되면 많은 비용이 들 수 있는 위협을 감지하는 데 기계 학습을 사용하는 조직에 문제가 될 수 있습니다.
정교해진 공격
AI는 믿을 수 없는 속도로 기능 코드를 작성할 수 있기 때문에 전례 없는 속도와 복잡성으로 공격을 확장하는 데 사용될 수도 있습니다. 또한 AI는 손상된 코드 기반 취약성 감지에 활용될 수 있으며 진입 장벽을 낮춰 공격자의 범위를 확장할 수 있습니다.
맞춤형 맬웨어
널리 사용되는 LLM에는 악성 코드를 생성하는 사용자를 막기 위한 몇 가지 안전 장치가 있지만 정교한 공격자는 악용할 수 있는 허점을 찾을 수 있습니다. 도난당하거나 복제된 모델에서는 이러한 보호 장치를 제거할 수 있습니다. 따라서 악의적인 행위자가 거의 감지할 수 없으며 고도로 맞춤화된 익스플로잇을 빠르게 생성할 수 있습니다.
오염된 데이터
공격의 형태가 반드시 AI 자체를 악용하는 것일 필요는 없습니다. 대신, 기계 학습 모델을 훈련하는 데 사용되는 데이터를 표적으로 삼아 잘못된 결과를 출력하도록 할 수 있죠. 그런 다음 이러한 결과를 활용해 모델 자체 내에서 취약점을 공격하거나(예: 범죄자 데이터베이스 내에서 DNA 순서 위조) 표적 조직에 손해를 입힐 수 있는 결과를 생성할 수 있습니다.
개인정보 유출
민감한 데이터로 훈련을 받거나 해당 데이터를 처리하는 AI는 여러 가지 주요 상용 모델에서 발생했던 버그를 통해서 또는 표적 공격을 통해 민감한 데이터를 노출할 수 있습니다.
우리는 ChatGPT에게 생성형 AI로 인한 주요 위협을 나열해 달라고 요청했습니다. ChatGPT의 답변은 다음과 같았습니다.
생성형 AI는 혁신과 창의성을 위한 놀라운 가능성을 제공하는 동시에 사이버 보안 측면에서 고유한 문제와 위협도 불러옵니다. 다음은 주의가 필요한 몇 가지 요점입니다.
악의적인 행위자가 악용하는 AI의 유용한 기능은 반드시 사이버 보안 조치를 강화하는 데 사용되어야 합니다. 그러면 조직에서는 더욱 효율적인 애자일 사이버 보안 기술을 개발하고 인간으로 인한 취약성을 더 잘 해결할 수 있습니다.