OpenAI, 100만 달러 보조금 프로그램에서 배운 교훈 공개

OpenAI는 미래의 AI 모델이 인류의 가치와 일치하도록 보장하는 방법에 대한 대중의 아이디어를 구현하고 싶다고 말합니다.

 

OpenAI는 AI가 모델을 인류의 가치에 더 잘 맞추기 위해 어떻게 행동해야 하는지 결정하는 데 대중을 참여시키기 위해 100만 달러 보조금 프로그램에서 배운 5가지 중요한 교훈을 강조했습니다.

2023년 5월, 회사는 AI 시스템이 따라야 할 규칙을 결정하기 위한 민주적 프로세스인 "개념 증명"을 설정하는 실험에 각각 10만 달러 상당의 보조금 10개를 수여할 준비를 하고 있다고 밝혔습니다.

인공지능 회사는 1월 16일 블로그 게시물에서 10개 팀의 보조금 수령자가 어떻게 민주적 기술을 혁신했는지, 보조금 프로그램에서 얻은 주요 학습 내용과 새로운 민주적 기술에 대한 OpenAI의 구현 계획을 설명했습니다.

게시물에 따르면 팀은 다양한 방법으로 참가자의 견해를 포착했으며 대중의 견해가 자주 바뀌어 입력 프로세스가 발생하는 빈도에 잠재적으로 영향을 미친다는 사실을 발견했습니다. OpenAI는 집단 프로세스가 근본적인 가치를 효율적으로 포착해야 하며 시간이 지남에 따라 관점의 의미 있는 변화를 감지할 수 있을 만큼 민감해야 한다는 것을 배웠습니다.

또한 일부 팀에서는 디지털 격차를 해소하는 것이 여전히 까다로워 결과가 왜곡될 수 있다는 사실을 발견했습니다. 플랫폼 제한과 현지 언어 또는 맥락 이해 문제로 인해 디지털 격차에서 참가자를 모집하는 것이 어려웠습니다.

 

그러나 일부 팀은 특히 소규모 하위 그룹이 특정 문제에 대해 강한 의견을 가질 때 양극화된 그룹 내에서 동의하는 것이 어렵다는 것을 알았습니다. Collective Dialogues 팀은 AI 보조원이 각 세션에서 특정 질문에 답변하는 것을 제한하는 것을 강력히 반대하는 소규모 그룹이 다수의 투표 결과에 동의하지 않음을 발견했습니다.

OpenAI에 따르면, 합의의 균형을 맞추고 다양한 의견을 대변하는 것은 단일 결과를 얻는 데 어려운 일입니다. Inclusive.AI 팀은 투표 메커니즘을 조사하여 사람들의 강한 감정을 반영하고 동등한 참여를 보장하는 방법이 더 민주적이고 공정한 것으로 보인다는 사실을 발견했습니다.

보고서는 거버넌스에서 AI의 미래에 대한 두려움과 관련하여 일부 참가자가 정책 작성에서 AI에 대해 긴장하고 사용의 투명성을 원한다고 밝혔습니다. 그러나 심의 끝에 팀은 AI를 안내하는 대중의 능력에 대한 희망이 커졌다는 사실을 지적했습니다.

OpenAI는 대중 참가자의 아이디어를 구현하고 이를 위해 AI 스타트업이 연구원과 엔지니어로 구성된 새로운 집단 정렬 팀을 구성하여 모델 행동에 대한 대중 의견을 수집하고 이를 "인코딩"하는 시스템을 만들고 있다고 밝혔습니다. OpenAI 제품 및 서비스.