시카고 대학의 연구원들은 개발자가 작업에 인공 지능(AI) 시스템을 훈련시키는 것을 막기 위해 아티스트가 디지털 아트를 “중독”할 수 있는 기능을 제공하는 도구를 개발했습니다.
식물군(일부는 유독한 열매로 알려져 있음)의 이름을 딴 “Nightshade”라고 불리는 이 도구는 AI를 훈련시키는 데 사용되는 데이터 세트를 잘못된 정보로 오염시키는 방식으로 이미지를 수정합니다.
MIT Technology Review의 보고서에 따르면 Nightshade는 변화 AI 시스템이 이미지를 잘못 해석하도록 속이기 위해 디지털 이미지의 픽셀을 수집합니다. 예를 들어 Tech Review에서는 고양이 이미지가 개이고 그 반대의 경우도 마찬가지라고 AI를 설득하는 방법을 언급합니다.
그렇게 하면 이론적으로 정확하고 감각적인 출력을 생성하는 AI의 능력이 손상됩니다. 위의 예를 사용하여 사용자가 오염된 AI에서 “고양이” 이미지를 요청한 경우 대신 고양이로 라벨이 지정된 개를 얻거나 AI 훈련 세트에 있는 모든 “고양이”의 집합을 얻을 수 있습니다. 실제로는 Nightshade 도구로 수정된 개 이미지입니다.
이 연구를 본 전문가 중 한 명인 코넬 대학의 Vitaly Shmatikov 교수는 연구원들이 “아직 이러한 공격에 대한 강력한 방어 수단을 알지 못한다”고 말했습니다. 이는 OpenAI의 ChatGPT와 같은 강력한 모델조차도 위험에 처할 수 있음을 의미합니다.
Nightshade의 연구팀은 시카고 대학의 Ben Zhao 교수가 이끌고 있습니다. 새로운 도구는 실제로 Glaze라는 기존 아티스트 보호 소프트웨어를 확장한 것입니다. 이전 작업에서 그들은 예술가가 자신의 작품 스타일을 난독화하거나 “유약화”할 수 있는 방법을 고안했습니다.
예를 들어, 목탄 초상화를 그린 예술가는 AI 시스템에 현대 미술로 나타나도록 유약 처리될 수 있습니다.
기술 검토에 따르면 Nightshade는 궁극적으로 Glaze에 구현될 예정이며 현재 무료로 웹에서 사용하거나 다운로드할 수 있습니다.