ChatGPT를 지원하는 인공 지능(AI) 연구 및 배포 회사인 OpenAI는 AI와 관련된 광범위한 위험을 평가하기 위한 새로운 이니셔티브를 시작합니다.
OpenAI는 AI로 인해 발생할 수 있는 잠재적인 재앙적 위험을 추적, 평가, 예측 및 보호하는 전담 팀을 구성하고 있습니다. 발표 10월 25일에.
“준비”라고 불리는 OpenAI의 새로운 부서는 특히 화학적, 생물학적, 방사선학적, 핵 위협, 개별화된 설득, 사이버 보안, 자율 복제 및 적응과 관련된 잠재적인 AI 위협에 중점을 둘 것입니다.
Aleksander Madry가 이끄는 준비 팀은 악의적인 행위자가 훔친 AI 모델 가중치를 배포할 수 있는지 여부뿐만 아니라 오용 시 개척 AI 시스템이 얼마나 위험한지와 같은 질문에 답하려고 노력할 것입니다.
OpenAI는 “우리는 현재 가장 발전된 기존 모델에 존재하는 기능을 뛰어넘는 최첨단 AI 모델이 모든 인류에게 이익을 줄 수 있는 잠재력을 가지고 있다고 믿습니다.”라고 썼으며 AI 모델도 “점점 더 심각한 위험”을 내포하고 있음을 인정했습니다. 회사는 다음과 같이 덧붙였습니다.
“우리는 현재 보유하고 있는 시스템부터 가장 먼 초지능에 이르기까지 AI와 관련된 모든 안전 위험을 심각하게 받아들입니다. (…) 고성능 AI 시스템의 안전을 지원하기 위해 우리는 재앙적 위험 대비에 대한 접근 방식을 개발하고 있습니다.”
블로그 게시물에 따르면 OpenAI는 이제 새로운 대비 팀을 위해 다양한 기술적 배경을 가진 인재를 찾고 있습니다. 또한 회사는 심각한 오용 방지를 위한 AI 대비 챌린지를 시작하여 상위 10개 제출물에 25,000달러의 API 크레딧을 제공할 예정입니다.
OpenAI는 이전에 2023년 7월에 잠재적인 AI 위협을 해결하기 위한 전담팀을 구성할 계획이라고 밝힌 바 있습니다.
인공지능과 잠재적으로 관련된 위험은 인공지능이 어떤 인간보다 더 똑똑해질 가능성이 있다는 두려움과 함께 자주 강조되었습니다. 이러한 위험을 인식하고 있음에도 불구하고 OpenAI와 같은 기업은 최근 몇 년 동안 새로운 AI 기술을 적극적으로 개발해 왔으며 이로 인해 더 많은 우려가 촉발되었습니다.
2023년 5월 AI안전센터 비영리단체 출시된 AI 위험에 대한 공개 서한을 통해 전염병 및 핵전쟁과 같은 다른 사회적 규모의 위험과 함께 AI로 인한 멸종 위험을 글로벌 우선순위로 완화할 것을 지역사회에 촉구했습니다.