오늘부터 모두연 AI뉴스는 모두의연구소 블로그에서도 만나보실 수 있습니다!
오늘 주제는 LLM으로 가짜뉴스를 잡는 모델과 LLM의 취약점을 파악하고 대비하는 논문에 대한 이야기입니다.

최근 대규모 언어 모델(LLM)의 급속한 발전으로 모델 보안에 대한 우려가 증가하고 있습니다.
특히 백도어 공격은 LLM의 심각한 취약점으로 지적되며, 이는 모델이 특정 트리거에 노출될 때 의도된 오류 출력을 생성하도록 합니다.
이러한 공격은 모델의 신뢰성과 안전성을 크게 저해할 수 있어 효과적인 방어 메커니즘 개발이 시급한 상황입니다.

LLM의 눈으로 가짜 뉴스를 잡아라! 시간의 장벽을 넘어선 탐지 기술

LLM이 진행하는 가짜뉴스 판별 아키텍쳐

논문링크
이 연구는 대규모 언어 모델(LLM)을 이용한 가짜 뉴스 탐지의 현재 평가 방식에 중요한 문제를 제기합니다.
연구진은 PolitiFact와 같은 fact-checking 웹사이트의 기존 데이터셋으로는 LLM 기반 탐지기의 성능을 정확히 평가하기 어렵다는 점을 밝혔습니다.
특히 주목할 만한 점은 LLM의 학습 데이터 기준일 이후의 정치적 주장에 대해서도 탐지 정확도가 지속적으로 향상되는 현상을 발견했다는 것입니다.
이는 모델이 최신 사실관계를 실제로 이해해서가 아니라, 최근 정치적 주장의 표면적 패턴을 학습했을 가능성이 높습니다.
따라서 연구진은 LLM의 진정한 사실 추론 능력을 평가하기 위해 관련 증거를 검색하고 해석하는 능력을 테스트할 수 있는 새로운 데이터셋이 필요하다고 주장합니다.
이는 단순히 과거의 패턴을 인식하는 것이 아니라, 현재 세계에 대해 사실적으로 추론할 수 있는 모델의 능력을 평가하는 것이 중요하다는 점을 강조합니다.

이러한 문제를 해결하기 위해 연구진은 검색 증강 생성(RAG) 기반 탐지기의 자연어 피드백을 활용해 실시간 뉴스를 기만적인 가짜 뉴스로 반복적으로 수정하는 혁신적인 파이프라인을 개발했습니다.
이 접근법은 강력한 RAG 기반 GPT-4 탐지기의 이진 분류 AUC를 17.5% 감소시키는 데 성공했습니다.
실험 결과는 가짜 뉴스 탐지와 생성 모두에서 RAG의 중요한 역할을 명확히 보여줍니다.
먼저, 연구진은 다양한 분야의 실시간 뉴스 기사를 소스로 활용했는데, 이는 LLM의 지식 범위를 벗어나는 내용으로 사실 확인을 위해 외부 검색이 필수적입니다.
둘째, 최신 외부 지식을 활용한 RAG 기반 탐지가 기계 생성 가짜 뉴스에 대한 강력한 방어책이 될 수 있음을 입증합니다.
마지막으로, 반복적인 적대적 과정을 통해 RAG 기반 탐지기의 피드백을 활용할 때 더욱 정교한 가짜 뉴스가 생성됨을 확인했습니다.
이 연구는 실시간 정보에 대한 LLM의 사실 추론 능력을 평가하는 새로운 방법론을 제시하며, 시간에 따른 분포 변화에 강건한 모델 개발의 중요성을 강조합니다.

LLM의 숨겨진 백도어를 찾아라! W2SDefense로 안전하게 지키는 AI 보안

W2SDefence 모델

논문링크
이 연구는 대규모 언어 모델(LLM)에 대한 백도어 공격을 방어하기 위한 혁신적인 방법을 제안합니다.
연구진은 파라미터 효율적 미세조정(PEFT) 방식이 백도어 공격에 취약하다는 점에 주목하고, 이를 해결하기 위해 ‘W2SDefense’라는 새로운 언러닝 알고리즘을 개발했습니다.
이 방법은 소규모의 깨끗한 교사 모델을 활용하여 대규모의 오염된 학생 모델이 백도어를 언러닝하도록 유도합니다.
구체적으로, 특징 정렬 지식 증류(feature alignment knowledge distillation) 기법을 통해 학생 모델이 교사 모델의 행동을 모방하도록 합니다.
이 과정에서 PEFT를 사용하여 모델 파라미터의 일부만 업데이트함으로써 계산 효율성을 극대화합니다.

연구진은 세 가지 데이터셋과 다양한 공격 알고리즘을 사용하여 W2SDefense의 효과를 철저히 검증했습니다.
실험 결과, 이 방법은 기존의 방어 기법들과 비교하여 모델의 정상 성능을 유지하면서도 최적의 방어 결과를 달성했습니다.
특히, 백도어 공격 성공률을 현저히 낮추는 동시에 깨끗한 샘플에 대한 모델 정확도를 유지하거나 심지어 향상시키는 것으로 나타났습니다.
또한, W2SDefense는 다양한 PEFT 방법과 LLM 아키텍처에 대해 강력한 일반화 성능을 보여주었습니다.
이 연구는 지식 증류를 활용한 백도어 방어의 새로운 패러다임을 제시하며, NLP 커뮤니티에서 포괄적인 백도어 언러닝 메커니즘 구축의 중요성을 강조합니다.

마치며

이러한 첨단 연구들은 LLM의 안전성과 신뢰성 향상을 위한 중요한 이정표를 제시하고 있으며, 향후 더욱 강력하고 안전한 AI 시스템 개발에 크게 기여할 것으로 기대됩니다.
동시에 이는 AI 윤리와 보안 분야에서 지속적인 연구와 혁신의 필요성을 더욱 부각시키고 있습니다.