🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

여섯 가지 에이전트 스킬을 활용해 자연어 정책을 형식 논리로 변환하고, 검토·시험·디버깅·배포·실시간 검증까지 자동 추론 정책의 전체 수명주기를 코드로 운영하는 방법을 설명한다.

📌 핵심 요약

• 자동 추론 검사는 기초 모델이 질문과 답변을 정책 변수에 대응하는 형식 논리로 변환한 뒤, SMT 솔버가 이를 규칙과 대조해 판정을 내리는 2단계 구조로 작동한다.
• 정책 작성, 검토, 시험, 디버깅, 배포, 검증을 각각 담당하는 여섯 가지 에이전트 스킬이 단계별 API 사용법과 판단 기준, 반복 가능한 실행 스크립트를 제공한다.
• 인사 휴가 정책 예제에서는 짧은 원문으로 정책을 빌드한 뒤 추출된 규칙과 변수를 감사하고, 실제 사용자 질문과 예상 답변을 이용해 판정 결과를 시험했다.
• 시험을 통과한 정책은 변경 불가능한 번호 버전으로 저장되어 가드레일에 연결되며, 검증기는 실시간 답변과 함께 해당 판정을 뒷받침하거나 반박하는 규칙을 반환한다.
• 실행 결과는 자연어 번역의 정확성이 핵심이라는 점, SATISFIABLE이 반드시 실패를 뜻하지 않는다는 점, 규칙 추출과 동시 빌드 작업에 실무적 제약이 있다는 점을 보여준다.

🧩 주요 포인트

1. 자연어를 형식 논리로 옮기는 단계와 논리식을 검증하는 단계가 분리되어 있으므로, 수학적으로 건전한 판정을 얻으려면 먼저 변수 설명과 입력 번역의 충실도를 확보해야 한다.
2. 여섯 단계의 전문 스킬과 독립 실행형 스크립트는 복잡한 정책 수명주기를 반복 가능하고 검토 가능한 코드 작업으로 바꾸며, 일반 지식에 의존한 그럴듯한 API 호출을 줄인다.
3. 판정마다 관련 규칙을 함께 반환하고 VALID·INVALID·SATISFIABLE을 구분함으로써, 운영자는 실패 원인을 추적하고 위반 규칙을 이용한 답변 재작성 절차를 구성할 수 있다.

🧠 상세 정리

1. 코드 기반 정책 수명주기가 필요한 이유

자동 추론 검사를 도입한 팀은 정책 작성부터 시험과 배포까지의 수명주기를 코드로 실행함으로써 작업을 반복 가능하고 검토 가능한 형태로 유지할 수 있다. 그러나 정책 규칙은 자동 정리 증명기의 표준 입력 형식인 SMT-LIB의 일부로 작성해야 하며, 실제 사용자의 표현이 올바른 정책 변수로 번역되도록 변수 설명도 지속적으로 조정해야 한다. 정책은 별도의 API와 제약을 가진 빌드·시험·개선 순환을 거치므로, 단순히 규칙 파일 하나를 작성하는 것보다 학습해야 할 내용이 많다. 그럼에도 통계적 표본 추출이 아니라 형식 논리에 따라 답변을 검증한다는 점에서 가치가 있으며, 자연어 번역이 충실하다는 조건 아래 솔버의 판정은 수학적으로 건전하다. 콘솔은 처음 개념을 익히고 분야 전문가와 협업하기에 적합하지만, 반복 운영에는 코딩 에이전트가 수행할 수 있는 체계적인 절차가 필요하다.

2. 에이전트 스킬의 역할과 개방형 구조

에이전트 스킬은 앤트로픽이 제안한 가벼운 개방형 형식으로, 코딩 에이전트에 특정 서비스나 업무 영역의 전문 지식과 작업 절차를 추가한다. 각 스킬은 검증된 사용 패턴, 흔히 발생하는 실수, 단계별 실행 흐름을 구조화된 문맥 묶음으로 제공하므로 에이전트가 불완전하거나 오래된 일반 학습 데이터에만 의존하지 않게 한다. 이를 통해 에이전트는 API 형태를 추측해 그럴듯한 호출을 만드는 대신, 현재 작업에 맞는 올바른 호출과 판단 절차를 선택할 수 있다. 개방형 형식을 지원하는 키로, 클로드 코드, 커서, 코덱스 등에 설치할 수 있으며, 정책 생성이나 실패한 시험의 디버깅처럼 담당 범위에 해당하는 요청이 들어오면 자동으로 활성화된다. 따라서 동일한 전문 절차를 여러 코딩 에이전트 환경에서 재사용할 수 있다.

3. 자동 추론 검사의 2단계 작동 원리

자동 추론 검사는 자연어 번역과 논리 검증이라는 두 단계로 나뉜다. 먼저 여러 기초 모델이 사용자의 질문과 모델의 답변을 정책에 정의된 변수와 연결해 형식 논리로 변환하고, 이어서 SMT 솔버가 변환된 논리식을 정책 규칙 및 제약과 대조해 판정을 반환한다. 솔버의 검증은 수학적으로 건전하지만, 최종 결과의 정확성은 앞선 자연어 번역이 원래 의미를 충실하게 반영했다는 조건에 달려 있다. 이 구조 때문에 예상과 다른 판정이 나왔을 때 규칙 자체만 고치기보다 질문과 답변이 어떤 변수와 조건으로 번역되었는지를 먼저 살펴봐야 한다. 각 판정에는 이를 지지하거나 반박한 구체적인 규칙도 포함되므로 결과의 이유를 추적하고 설명할 수 있다.

4. 정책 수명주기를 담당하는 여섯 가지 스킬

스킬 모음은 정책 작성자, 검토자, 시험자, 디버거, 배포자, 검증자의 여섯 단계로 구성된다. 작성자 스킬은 원문 문서에서 정책 리소스를 만들고 규칙과 변수 스키마를 추출하며, 검토자 스킬은 빌드가 생성한 품질 및 충실도 보고서를 읽어 충돌하는 규칙, 사용되지 않는 변수, 근거 없이 단독으로 놓인 주장 등을 표시한다. 시험자 스킬은 실제 사용자의 질문 방식을 반영한 시나리오와 질문·답변 시험을 만들고, 예상 판정과 실제 판정이 일치하는지 확인한다. 디버거 스킬은 잘못된 판정이 대체로 규칙보다 자연어 번역 문제에서 비롯된다는 원칙에 따라 실패 원인을 진단하고 정책을 수정한다. 운영 단계에서는 배포자 스킬이 번호가 붙은 정책 버전을 생성해 가드레일에 연결하고, 검증자 스킬이 실시간 답변을 검사하거나 위반 규칙을 활용한 재작성 순환을 실행한다.

5. 스킬 파일과 실행 스크립트의 구성

각 스킬은 표준 에이전트 스킬 레이아웃을 따르며, 핵심 지침은 SKILL.md 파일에 저장된다. 이 파일에는 해당 스킬이 언제 적용되는지와 각 단계에서 필요한 판단 기준이 기록되고, 더 상세한 판정 유형이나 규칙 문법은 references 폴더에 분리되어 필요할 때만 불러온다. scripts 폴더에는 자동 추론 API를 호출하는 독립 실행형 파이썬 프로그램이 있으며, 각 프로그램은 도움말 옵션과 실제 요청을 보내지 않는 시험 실행 옵션을 지원한다. 사용자는 작업을 실행하기 전에 어떤 연산이 수행되는지와 서비스에 전달될 정확한 요청 내용을 직접 확인할 수 있다. 여섯 스킬 아래의 공용 라이브러리는 클라이언트 생성, 빌드 완료 대기, 판정 결과 해석, 제한된 빌드 작업 슬롯 관리처럼 여러 단계에서 반복되는 기능을 담당한다.

6. 문서에서 정책을 만들고 추출 결과를 검토하는 과정

전체 절차는 정규직 여부와 근속 개월 수에 따른 육아휴직 자격을 설명하는 짧은 인사 정책을 예제로 사용한다. 작성자 스킬은 정책 리소스를 생성한 뒤 원문에서 형식 규칙과 변수 스키마를 추출하는 빌드를 시작하며, 한 실행에서는 원문 세 문장으로부터 규칙 여섯 개, 변수 네 개, 사용자 정의 유형 한 개가 만들어졌다. 이 결과에는 근속 기간이 음수가 되지 않도록 하는 경계 규칙도 포함되었다. 다만 규칙 추출은 결정론적이지 않으므로 시험 전에 품질 보고서와 정책 정의를 반드시 검토해야 한다. 예제 감사에서는 사용되지 않는 변수 하나와 서로 분리된 규칙 집합 하나가 낮은 심각도의 검토 항목으로 표시되었고, 일반 콘텐츠 빌드는 충실도 보고서를 만들지 않으므로 원문 근거를 분야 전문가가 확인하려면 별도의 빌드 유형을 요청해야 했다.

7. 시험, 버전 생성, 가드레일 배포와 실시간 검증

시험자 스킬은 사용자가 제기할 법한 질문, 모델이 생성할 법한 답변, 기대하는 판정을 한 시험 사례로 구성한다. 예제에서는 정규직으로 18개월 근무한 사람이 육아휴직 대상인지 묻고 자격이 있다는 답변을 제시했으며, 실행 결과는 기대값과 동일한 VALID로 판정되었다. 정책이 시험을 통과하면 배포자 스킬이 현재 상태를 변경 불가능한 번호 버전으로 저장하고 이를 가드레일에 연결한다. 이후 검증자 스킬은 질문과 실제 답변을 가드레일의 실행 API에 전달해 검사가 수행되었는지와 판정 결과를 확인한다. 같은 예제 답변은 실시간 검증에서도 VALID로 반환되었고, 그 판정을 뒷받침한 규칙이 함께 제공되어 검증된 응답의 감사 기록으로 남길 수 있었다.

8. 실행에서 확인된 판정 해석과 운영상의 교훈

전체 수명주기를 실행한 결과, 설명 가능성이 기능의 중심에 있다는 점이 확인되었다. VALID 판정에는 답변을 지지한 규칙이, INVALID 판정에는 답변과 충돌한 규칙이 반환되므로 검증자는 이를 기록하고 실패한 답변의 재작성 근거로 활용한다. 재작성 순환에서는 비정상 판정과 위반 규칙을 모델에 다시 제공해 답변을 고친 뒤 검사를 반복하며, 규칙에 부합하는 답변이 될 때까지 같은 구조를 적용할 수 있다. 또한 SATISFIABLE은 정책과 모순되지 않지만 정책만으로 참이라고 증명되지는 않은 상태이므로, 이를 실패로 간주해 올바른 규칙을 불필요하게 변경해서는 안 된다. 정책마다 동시에 실행할 수 있는 빌드 작업 수에도 제한이 있어 긴 개선 과정에서 한도에 도달할 수 있으며, 공용 라이브러리는 이러한 빌드 슬롯 제약을 관리하도록 설계되었다.

🧾 핵심 주장 / 시사점

• 자동 추론의 수학적 건전성은 솔버 단계에 적용되며, 실제 품질을 좌우하는 핵심 변수는 자연어 질문과 답변이 정책 변수 및 논리식으로 얼마나 충실하게 번역되는지이다.
• 규칙 추출은 결정론적이지 않고 일반 콘텐츠 빌드에는 충실도 보고서가 포함되지 않으므로, 자동 생성 결과에 대한 구조 감사와 별도의 원문 근거 검토 절차가 필요하다.
• SATISFIABLE을 INVALID와 구분하고 판정에 첨부된 지지·반박 규칙을 활용하면, 정상 결과를 오진해 규칙을 훼손하는 일을 줄이고 근거 기반의 답변 재작성 과정을 운영할 수 있다.

✅ 액션 아이템

• 정책 빌드 직후 추출 규칙·변수와 원문 대응을 대조해 자연어→형식논리 번역 충실도를 먼저 확보한다.
• 실제 질문·예상 답변으로 판정을 시험하고 VALID·INVALID·SATISFIABLE과 반환 규칙을 구분해 실패 원인을 추적한다.
• 시험 통과 정책을 변경 불가 번호 버전으로 저장해 가드레일에 연결하고, 실시간 검증이 판정 근거 규칙을 함께 반환하는지 확인한다.

❓ 열린 질문

• 변수 설명과 입력 번역의 충실도를 어떤 기준으로 합격 판정할 것인가?
• SATISFIABLE 결과를 허용·답변 재작성·재시험 중 어디에 둘 것인가?
• 규칙 추출과 동시 빌드 제약 아래에서 작성·검토·시험·배포 단계를 어떤 순서로 직렬화할 것인가?