중국 과학기술대학교와 Tencent YouTu Lab의 과학자 팀이 인공지능(AI) 모델의 ‘환각’을 퇴치하는 도구를 개발했습니다.
환각은 AI 모델이 훈련 데이터에 존재하는 정보를 기반으로 나타나지 않는 높은 수준의 신뢰도로 출력을 생성하는 경향입니다. 이 문제는 LLM(대형 언어 모델) 연구에 스며들어 있으며 OpenAI의 ChatGPT 및 Anthropic의 Claude와 같은 모델에서 그 영향을 볼 수 있습니다.
USTC/Tencent 팀은 다중 모드 대형 언어 모델(MLLM)에서 환각을 수정할 수 있다고 주장하는 “딱따구리”라는 도구를 개발했습니다.
AI의 이러한 하위 집합에는 GPT-4(특히 시각적 변형인 GPT-4V)와 같은 모델과 텍스트 기반 언어 모델링과 함께 비전 및/또는 기타 처리를 생성 AI 양식으로 통합하는 기타 시스템이 포함됩니다.
팀의 사전 인쇄 연구 논문에 따르면 Woodpecker 용도 환각 교정을 수행하는 MLLM을 제외하고 세 가지 별도의 AI 모델이 환각 교정을 수행합니다.
여기에는 GPT-3.5 터보, 접지 DINO 및 BLIP-2-FlanT5가 포함됩니다. 이러한 모델은 환각을 식별하고 데이터에 따라 출력을 재생성하도록 수정 중인 모델에 지시하는 평가자 역할을 합니다.
환각을 수정하기 위해 Woodpecker를 지원하는 AI 모델은 “핵심 개념 추출, 질문 공식화, 시각적 지식 검증, 시각적 주장 생성 및 환각 수정”을 포함하는 5단계 프로세스를 사용합니다.
연구원들은 이러한 기술이 추가적인 투명성을 제공하고 “기본 MiniGPT-4/mPLUG-Owl에 비해 정확도가 30.66%/24.33% 향상”되었다고 주장합니다. 그들은 자신의 방법을 사용하여 수많은 “기성” MLLM을 평가한 후 Woodpecker가 “다른 MLLM에 쉽게 통합”될 수 있다는 결론을 내렸습니다.