TV

Artificial Intelligence and Digital Trust | TV Insights

인공 지능과 디지털 트러스트

AI와 사이버 보안이 교차하는 지점에 대한
최신 인사이트

GenAI: 새로운 위협과 기회를 생성하는 주체

인공 지능은 수십 년간 우리 삶은 많은 부분에 이미 영향을 미치고 있습니다. 좋은 방향이든 안 좋은 방향이든 이러한 추세는 계속 이어질 것입니다. AI가 더욱 강력해지고 우리의 일상에서 더 많이 활용되면서 조직에서는 유용한 도구이자 위협으로써 AI의 잠재성을 현실적으로 평가해야 합니다.

Generative AI | TV Insights

간단히 살펴보기: AI의 양면성

  • AI 덕분에 좋은 행위자든 악의적인 행위자든 대규모로 더 빠르게 작업할 수 있습니다

  • ѫ니스에서 기계 학습이 널리 사용되면서 기계 학습은 매력적인 도구이자 표적이 되었습니다.

  • AI에 관한 과대광고는 위험을 가릴 위험이 있습니다.

  • 새롭게 대두되는 위협의 범위는 매우 광범위하고 다양합니다.

  • AI로 인해 발생하는 위협에 맞서기 위해서는 AI에 기반한 새로운 보안 접근 방식이 필요합니다.

AI vs. AI | TV Insights

1952Ƅ

Arthur Samuel이 스스로 체커 게임을 학습하는 최초의 컴퓨터 프로그램을 개발했습니다.

97%

ChatGPT가 비즈니스에 도움이 될 것이라고 응답한 비즈니스 소유자 비율

춵Ӳ:

75%

AI를 사용한 비즈니스에 관심을 가지고 있는 소비자의 비율

춵Ӳ:

3/4

CSO의 온라인 설문조사에 따르면 12개월 동안 사이버 공격의 증가를 경험한 조직의 비율. 여기에는 생성형 AI를 활용하는 악의적인 행위자의 증가가 크게 기여함

춵Ӳ:

46%

생성형 AI로 인해 공격에 더욱 취약해질 것이라고 응답한 조직의 비율

춵Ӳ:  

4,070억 달러(USD)

2027년 예측되는 AI 시장의 규모(2022년 869억 달러)

버즈워드 빙고

생성형 AI 기술의 실제 영향을 예측하는 데 걸림돌이 되는 문제는 바로 이 기술을 둘러싼 떠들썩한 과대광고입니다. 심지어 AI라는 용어 자체도 상투적으로 느껴질 정도죠. 참가자로 북적이는 기술 이벤트를 주최하고 싶나요? 그렇다면 프레젠테이션 제목에 AI를 추가해 보세요. 소프트웨어에 채택한 기계 학습 기능에 이목을 집중시키고 싶나요? ‘AI’로 마케팅하세요. 이렇게 하면 AI 기술의 현실을 가리는 안타까운 결과를 가져옵니다. AI라는 주제에 많은 사람들을 현혹시키면서 AI가 가져다 주는 이점과 위험을 과장합니다.

특히, 기술 지식이 부족한 다수가 AI가 정확히 무엇인지 이해하지 못하는 점 때문에 상황은 악화되고 있습니다.

AI Chip | TV Insights
인공 지능 - 생각하는 기계

간단히 말해, 인공 지능은 컴퓨터 시스템을 사용하여 인간의 지능 프로세스를 시뮬레이션하는 것이라고 할 수 있습니다.

예: 어 처리, 음성 인식, 전문가 시스템, 머신 비전

Machine Learning | TV Insights
기계 학습 - 스스로 생각하는 기계

데이터 세트로 훈련을 받은 후 자동으로 학습하고 적응하도록 하는 알고리즘이 제어하는 컴퓨터 시스템입니다.

예: 콘텐츠 추천 알고리즘, 예측 분석, 이미지 인식

Deep Learning | TV Insights
딥 러닝 - 사람처럼 생각하는 기계

인간 두뇌와 같은 신경망을 시뮬레이션하기 위해 여러 계층의 알고리즘과 컴퓨팅 유닛을 사용하는 기계 학습 기술입니다.

예: 대규모 어 모델, 번역, 얼굴 인식

지능적 공격

Content authenticity

Identity manipulation

Phishing with dynamite

Prompt injection

Machine Hallucinations

Attack sophistication

Custom malware

Poisoned data

Privacy leaks

콘텐츠의 진위

생성형 AI에는 콘텐츠 원본의 매우 사실적인 사본을 만들어 낼 수 있는 능력이 있습니다. 따라서 AI를 사용하여 콘텐츠를 생산하는 조직에는 지적 재산권 위험을 초래할 뿐만 아니라 악의적인 행위자가 데이터를 훔쳐 마치 진짜인 것처럼 복사한 다음 원래 창작한 것처럼 행세하거나 다른 공격을 용이하게 만들 수도 있습니다.

신원 조작

생성형 AI는 몇 초 만에 초현실적인 이미지와 동영상을 만들 수 있으며 심지어 생성 중인 라이브 동영상도 변경할 수 있습니다. 이로 인해 얼굴 인식 소프트웨어부터 법률 시스템의 동영상 증거, 정치와 관련된 가짜 정보에 이르기까지 다양한 핵심 시스템에 대한 신뢰가 훼손되어 실제로 모든 형태의 시각적 신원 확인에 대한 신뢰도가 떨어질 수 있습니다.

다이너마이트 피싱

공격자가 생성형 AI를 사용하여 얼굴, 음성, 글씨체를 진짜인 것처럼 시뮬레이션하고 기업 또는 브랜드 정체성을 모방하여 매우 효과적이고 감지하기 어려운 피싱 공격에 활용할 수 있습니다.

프롬프트 주입

생성형 AI의 기성품 모델을 사용하는 조직이 많기 때문에 인스턴스에 프롬프트를 훈련하거나 제공하는 데 사용되는 정보가 널리 사용되는 모델을 표적으로 삼은 공격자가 수정한 주입 공격에 노출될 수 있습니다. 엄격한 보호 장치가 마련되어 있지 않고 자주 업데이트되지 않는다면 기본 AI 모델을 사용하는 조직이 해당 모델을 악용한 공격에 노출될 수 있습니다.

기계 환각

일반적으로 AI는 설득력 있는 음성이나 텍스트를 빠르게 생성할 수 있지만 항상 정확하지는 않습니다. 이는 특히, 사용자를 위한 정보용 콘텐츠나 짶원용 콘텐츠를 생성하는 데 AI를 활용하는 조직과 이상이 발견되면 많은 비용이 들 수 있는 위협을 감지하는 데 기계 학습을 사용하는 조직에 문제가 될 수 있습니다.

정교해진 공격

AI는 믿을 수 없는 속도로 기능 코드를 작성할 수 있기 때문에 전례 없는 속도와 복잡성으로 공격을 확장하는 데 사용될 수도 있습니다. 또한 AI는 손상된 코드 기반 취약성 감지에 활용될 수 있으며 진입 장벽을 낮춰 공격자의 범위를 확장할 수 있습니다.

맞춤형 맬웨어

널리 사용되는 LLM에는 악성 코드를 생성하는 사용자를 막기 위한 몇 가지 안전 장치가 있지만 정교한 공격자는 악용할 수 있는 허점을 찾을 수 있습니다. 도난당하거나 복제된 모델에서는 이러한 보호 장치를 제거할 수 있습니다. 따라서 악의적인 행위자가 거의 감지할 수 없으며 고도로 맞춤화된 익스플로잇을 빠르게 생성할 수 있습니다.

오염된 데이터

공격의 형태가 반드시 AI 자체를 악용하는 것일 필요는 없습니다. 대신, 기계 학습 모델을 훈련하는 데 사용되는 데이터를 표적으로 삼아 잘못된 결과를 출력하도록 할 수 있죠. 그런 다음 이러한 결과를 활용해 모델 자체 내에서 취약점을 공격하거나(예: 범죄자 데이터베이스 내에서 DNA 순서 위조) 표적 조직에 손해를 입힐 수 있는 결과를 생성할 수 있습니다.

개인정보 유출

민감한 데이터로 훈련을 받거나 해당 데이터를 처리하는 AI는 여러 가지 주요 상용 모델에서 발생했던 버그를 통해서 또는 표적 공격을 통해 민감한 데이터를 노출할 수 있습니다.

AI가 스스로 예상하는 위협

우리는 ChatGPT에게 생성형 AI로 인한 주요 위협을 나열해 달라고 요청했습니다. ChatGPT의 답변은 다음과 같았습니다.

생성형 AI는 혁신과 창의성을 위한 놀라운 가능성을 제공하는 동시에 사이버 보안 측면에서 고유한 문제와 위협도 불러옵니다. 다음은 주의가 필요한 몇 가지 요점입니다.

  1. 정교하게 생성된 가짜 콘텐츠
  2. 자동화된 사이버 공격
  3. 전통적인 보안 조치를 회피하는 문제
  4. AI의 무기화
  5. 개인정보에 관한 우려
  6. 디지털 증거 조작
  7. AI를 활용한 사이버 위협 행위자의 등장
ChatGPT Reply | TV Insights

지능형 보안

악의적인 행위자가 악용하는 AI의 유용한 기능은 반드시 사이버 보안 조치를 강화하는 데 사용되어야 합니다. 그러면 조직에서는 더욱 효율적인 애자일 사이버 보안 기술을 개발하고 인간으로 인한 취약성을 더 잘 해결할 수 있습니다.

Artificial Intelligence and Digital Trust
더 빠르고 정확한 감지

AI는 사람이 놓칠 수 있는 패턴을 인식할 수 있습니다. 기계 학습은 시스템 및 사람 행동에 대해 더 정교하고 포괄적인 기준을 생성함으로써 조직에서는 가장 미묘한 이상까지 감지할 수 있습니다.

Artificial Intelligence and Digital Trust
신속한 평가 및 적응

AI는 다른 곳에서 감지한 위협 등과 같은 외부 정보를 분석하고 사람보다 더 빠르게 보안 조치를 채택함으로써 조직이 매우 짧은 시간 내에 회복력이 매우 뛰어나고 자체적인 개선이 가능한 보안 정책을 구축할 수 있습니다.

Artificial Intelligence and Digital Trust
인적 오류 감소

사람은 모든 사이버 보안 프로그램에서 가장 취약한 요소일 수 있습니다. 특정한 작업을 자동화하여 매우 정화하고 빠르게 수행하여 AI는 인적 오류를 줄이고 더 중요한 작업에 투입할 리소스를 더 많이 확보할 수 있습니다.

Artificial Intelligence and Digital Trust
교육 및 효율성

조직에서는 AI 도구를 사용하여 더욱 현실적인 시뮬레이션 및 교육을 진행하고, 팀에서 고급 사이버 보안 기법과 기술을 더 빠르게 배우도록 짶원하고, 더욱 효율적으로 작업하도록 전문가의 역량을 강화하고, 혁신을 증진하고, 새로운 사이버 도구를 더 빠르게 개발할 수 있습니다.

Artificial Intelligence and Digital Trust
네트워크 보안

AI의 즉각적인 패턴 인식 기능을 활용하면 취약한 서버에서 발생하는 트래픽을 라우팅하여 자동으로 위협에 대응하고, 수많은 기기를 더 빠르게 더 자주 스캔하고, 공격이 확산되기 전에 격리하고, 민감한 데이터의 노출을 최소화할 수 있습니다.

Artificial Intelligence and Digital Trust
위협에 대한 대응

AI는 광범위한 시스템과 연결 전반에서 즉각적으로 대응하면서 막대한 양의 데이터를 동시에 처리할 수 있기 때문에 조직에서는 기존 수단에서 감지하기 훨씬 전에 매우 정교한 공격 위험을 완화할 수 있습니다.

Artificial Intelligence and Digital Trust
자동화된 관리

인증서 만료부터 패치 관리까지 AI는 지루한 작업을 처리하고 조직이 일상적인 보안 위생을 가장 우선시하도록 짶원할 수 있습니다.

Artificial Intelligence and Digital Trust
범위와 속도

AI는 사람으로 구성된 팀이 관리하는 것보다 훨씬 더 빠른 속도로 전 세계에서 정책과 솔루션을 출시하고 업데이트할 수 있습니다.

Artificial Intelligence and Digital Trust
피싱, 신원 및 IP 보호

AI 생성 콘텐츠를 인식하도록 AI를 훈련시켜 악의적이거나, 오해의 소지가 있는 콘텐츠, 사기성 콘텐츠에 빠르게 태그를 지정해 사용자가 해당 콘텐츠에 속기 전에 제거할 수 있습니다. 따라서 강력한 피싱 방지 프로그램을 구현할 수 있을 뿐만 아니라 다른 형태의 신원 위장을 방지하고 원본 콘텐츠 및 IP를 보호할 수 있습니다.

관련 리소스

웨비나
포스트 양자 환경에 대비하기
Post Quantum Computing Insights
블로그
PQC 대비를 위한 암호화 자산 식별하기
Preparing for the Quantum World with Crypto-Agility
보고서
2022 Gartner PQC 보고서