Anthropic is working on a system to prove AI models' identity

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Anthropic은 모델 가중치를 공개하지 않고 AI 출력의 생성 모델을 암호학적으로 검증하는 오픈소스 시스템 FlashProve를 연구 중이며, 현재 배포 계획은 없다.

📌 핵심 요약

• FlashProve는 특정 출력이 특정 AI 모델에서 나왔다는 암호학적 증명인 ‘증명 가능한 추론’을 제공해, 사용자가 실제로 이용한 모델을 확인하도록 설계됐다.
• 연구진은 모델을 개발·운영하는 기업까지 포함한 사칭에 대응하고, 비용 절감을 위한 저렴한 모델 대체나 성능 결과를 부풀리기 위한 더 비싼 모델 사용을 검증할 수 있다고 설명한다.
• 제3자가 소프트웨어 라이브러리의 취약점 검사나 사업계획 검토에 특정 모델을 사용했다고 주장할 때도 FlashProve를 활용해 확인할 수 있다.
• 시스템이 작동하려면 AI 연구소가 출시 모델마다 ‘지문’을 공개해야 한다. 지문은 모델 가중치를 드러내지 않으며, 검증은 로컬 기기에서도 가능하도록 경량으로 설계됐다.
• 연구진은 상세 기술 명세와 시스템의 여러 구성 요소에 대한 작동 코드를 GitHub에 오픈소스 라이선스로 공개했다. 연구는 진행 중이며 Anthropic이나 다른 연구소에 배포할 계획은 없다.

🧩 주요 포인트

1. 운영 기업의 모델 대체까지 검증 대상으로 포함 → 모델 출처를 기업의 설명에만 의존하지 않고 확인하는 수단을 지향한다.
2. 모델별 지문 공개와 가중치 비공개를 결합 → 상용 모델의 핵심 자산을 공개하지 않고도 출처 검증을 지원하려는 접근이다.
3. 기술 명세와 일부 구성 요소의 코드는 공개됐지만 배포 계획은 없음 → 현재 성과는 실제 서비스 도입보다 외부 검토와 후속 개선을 위한 중간 연구 결과로 해석해야 한다.

🧠 상세 정리

1. FlashProve가 증명하려는 모델의 정체

Anthropic은 주어진 출력을 어떤 AI 모델이 생성했는지 확인하는 오픈소스 시스템 FlashProve를 연구하고 있다. 연구진이 ‘증명 가능한 추론’이라고 부르는 이 방식은 특정 출력이 특정 모델에서 나왔다는 암호학적 증명, 즉 수학적 보장을 제공하는 것을 목표로 한다. 사용자는 이를 통해 자신이 이용한다고 생각한 모델이 실제로 답변을 생성했는지 확인할 수 있게 된다. 기사에서는 수신자가 메시지의 발신자를 확인할 수 있는 암호학적 이메일 서명에 비유해 이 기능을 설명한다. 핵심은 출력의 생성 주체를 검증하는 것이며, 연구진은 이를 위한 시스템을 개발 중인 단계로 소개했다.

2. 운영 기업의 모델 바꿔치기도 검증 대상

FlashProve는 한 모델을 다른 모델처럼 위장하려는 사칭에 견디도록 설계됐으며, 사칭 주체에는 모델을 직접 개발하고 운영하는 연구소도 포함된다. 연구진은 AI 기업이 비용을 줄이기 위해 사용자에게 알리지 않고 더 저렴한 모델로 교체하는 상황을 활용 사례로 제시했다. 반대 방향으로는 성능 결과를 부풀리기 위해 더 비싼 모델을 사용하는 경우도 언급했다. 두 사례 모두 실제 출력을 생성한 모델과 외부에 제시한 모델이 다르다는 공통점이 있다. 연구진의 설명에 따르면 모델 출처에 대한 암호학적 증명은 이러한 교체를 막는 데 쓰일 수 있지만, 기사에서 이 사례들은 특정 기업의 실제 행위가 아니라 시스템의 잠재적 용도로 제시됐다.

3. 제3자의 특정 모델 사용 주장 확인

모델 출처 검증의 적용 대상은 AI 서비스를 직접 제공하는 기업에 한정되지 않는다. 연구진은 개발자가 자신의 소프트웨어 라이브러리를 최첨단 사이버보안 모델로 취약점 검사했다고 주장하는 상황을 예로 들었다. 또 어떤 기업이 적절한 모델로부터 사업계획에 대한 승인을 받았다고 주장하는 경우도 제시했다. 이때 사용자가 확인하려는 것은 해당 작업에 주장된 모델이 실제로 사용됐는지 여부다. FlashProve는 특정 작업을 고도화된 모델이 수행했다는 제3자의 설명을 검증하는 데도 활용될 수 있다는 것이다. 연구진은 사용자가 이런 주장을 어떻게 확인할 수 있는지를 질문하며 모델 출처 증명의 필요성을 설명했다.

4. 모델 지문과 가중치 비공개의 결합

시스템이 작동하려면 AI 연구소가 출시하는 각 모델의 ‘지문’을 공개해야 한다. 공개된 지문은 이후 특정 출력과 대조해 암호학적으로 검증하는 데 사용된다. 중요한 설계 조건은 이 지문이 모델의 행동을 규정하는 내부 수치인 가중치를 드러내지 않는다는 점이다. Anthropic과 OpenAI 같은 비공개 모델 개발사는 가중치를 공개하지 않는데, 연구진은 지문을 통해 이러한 핵심 자산을 내놓지 않고도 검증에 참여할 수 있다고 설명한다. 이 특성은 상용 모델에도 시스템을 적용할 수 있도록 하며, 검증 자체는 로컬 기기에서도 수행할 수 있도록 경량으로 설계됐다.

5. 공개된 중간 성과와 배포 계획의 부재

연구진은 발표와 함께 상세 기술 명세와 시스템의 여러 구성 요소에 대한 작동 코드를 공개했다. 해당 자료는 GitHub에서 오픈소스 라이선스로 제공되지만, 기사에서는 연구가 여전히 진행 중이라고 명시한다. 현재 Anthropic이나 다른 연구소에 이 시스템을 배포할 계획도 없다. 연구진은 이번 발표가 완성된 연구 의제를 제시하는 것이 아니라 중간 진척을 공유하기 위한 것이라고 설명했다. 다른 사람들이 지금까지의 작업을 살펴보고 가져가 개선하도록 하는 것이 공개의 명시적인 목적이다. 따라서 공개된 명세와 코드의 존재, 전체 시스템의 연구 상태, 실제 배포 여부를 구분해 이해할 필요가 있다.

🧾 핵심 주장 / 시사점

• FlashProve의 신뢰 모델은 서비스 운영자의 설명을 넘어, 운영자 자신이 모델을 바꿔 사용하는 경우까지 검증 대상으로 삼는다는 데 특징이 있다.
• 가중치를 숨긴 채 모델별 지문을 공개하는 방식은 상용 모델의 비공개 자산 유지와 사용자의 출처 확인을 함께 지원하려는 설계다.
• GitHub 공개는 외부 개선을 유도하는 연구 단계의 조치이며, 실제 도입이나 배포가 예정됐다는 의미로 확대해서는 안 된다.

✅ 액션 아이템

• FlashProve 검토 시 모델 출처 검증의 목적과 현재 배포 계획이 없다는 제약을 함께 반영.
• 상용 모델 적용 가능성 검토 시 모델별 지문 공개 요건과 가중치 비공개 특성을 함께 확인.
• GitHub의 상세 기술 명세와 공개 코드를 검토해 FlashProve의 구현 범위와 진행 중인 연구 상태를 확인.

❓ 열린 질문

• FlashProve를 활용하려는 AI 연구소는 출시 모델별 지문을 실제로 공개할 것인가?
• 로컬 기기에서 수행하는 FlashProve 검증의 구체적인 처리 부담은 어느 정도인가?
• 현재 배포 계획이 없는 FlashProve가 실제 서비스에 적용되려면 어떤 연구 과제가 남아 있는가?