Introducing the Legal Retrieval Benchmark

🖼️ 인포그래픽

🖼️ 4컷 인포그래픽

💡 한 줄 요약

Firecrawl이 실제 고객 검색을 바탕으로 만든 581개 요청의 Legal Retrieval Benchmark를 공개했으며, 자사 Government & Legal Index는 공식 문서를 첫 결과로 반환하는 비율 76.2%, 상위 10개 안에서 찾는 비율 96.6%를 기록했다.

📌 핵심 요약

• 2026년 11월 4일 소개된 Legal Retrieval Benchmark는 법률·규제 관련 요청 581개로 구성되며, 정답과 채점 코드를 공개한 290개와 비공개 291개로 나뉜다. 각 요청의 정답은 공식 출처의 문서 하나이며, 공식 별칭 주소도 인정한다.
• 2026년 11월 3일 실행에서 Firecrawl Government & Legal Index의 gold@1은 76.2%로 Exa 59.6%, Parallel 54.2%보다 높았고, gold@10도 96.6%로 Exa 89.5%, Parallel 90.5%를 앞섰다. 공식 문서와 모순되는 페이지가 상위 10개에 포함된 bad@10은 Firecrawl 9.6%, Exa 9.6%, Parallel 9.3%로 통계적으로 동등했다.
• 벤치마크는 최근 고객 검색을 다른 공식 문서를 찾는 유사 요청인 twin으로 바꾸고, 공식 출처로 만든 정답표를 고정한 뒤 표준화한 URL의 정확한 일치로 채점한다. 모델은 요청 생성과 사전 라벨링에 쓰이지만 공개 점수 자체를 판정하지 않으며, 고객 팀당 최대 한 건을 표본으로 삼고 데이터 보존이 없는 조직은 제외한다.
• Firecrawl은 평가에서 드러난 누락·순위·링크 문제를 수정하고 새로운 고객 검색으로 다음 버전을 평가하는 순환을 내부에서 여덟 차례 진행했다. 매주 새 요청을 수집하고 다음 버전의 최초 평가를 수정 전에 수행하며, 각 점수에는 95% Wilson 구간을 제시하고 엔진 간 차이는 요청별 대응 부트스트랩으로 검정한다.
• Government & Legal Index 검색은 크레딧과 API 키 없이 무료이며, 581개 요청의 실행 비용은 Exa $4.07, Parallel $2.91이다. Claude Code의 Sonnet 5.5 참고 실행은 내장 검색 사용 시 gold@1 71.4%, 도구 미사용 시 47.8%였지만, 최종 주소 한두 개를 반환하므로 gold@10과 bad@10을 검색 API의 상위 10개 결과와 직접 비교하지 않는다.

🧩 주요 포인트

1. 공식 문서 하나와 고정 URL 정답표를 기준으로 평가 → 관련 내용을 찾는 능력과 권위 있는 원문을 우선 제시하는 능력을 구분한다.
2. Firecrawl Government & Legal Index는 gold@1·gold@10에서 우세하지만 bad@10은 Exa·Parallel과 통계적으로 동등 → 검색 성공률의 우위를 모순 정보 억제의 우위로 확대 해석할 수 없다.
3. 새 고객 검색으로 매주 평가를 갱신하고 수정 전 최초 점수를 확인 → 공개된 고정 문제에 대한 개선이 새로운 요청에도 이어지는지 판단하는 구조다.

🧠 상세 정리

1. 공식 문서를 찾는 검색을 평가하는 기준

Rafael Miller가 2026년 11월 4일 소개한 Legal Retrieval Benchmark는 검색 API가 법률 조사 요청 뒤에 있는 공식 문서를 찾고 첫 결과에 배치하는지 평가한다. 총 581개 요청은 Firecrawl 고객의 실제 검색 수요를 바탕으로 하며, 법률·규정·판결·기관 지침처럼 공식 발행처의 문서 하나를 요구한다. 글은 유용한 정부 검색 벤치마크의 조건으로 실제 수요, 공식 문서만을 정답으로 삼는 기준, 결정론적 채점, 지속적인 갱신을 제시한다. 블로그에 실린 법률 사본을 찾는 것과 권위 있는 공식 원문을 찾는 것을 구분해야 한다는 것이 평가의 출발점이다. Firecrawl은 고객 요청에서 드러난 자사 색인의 부족한 부분을 보완하는 순환을 이미 내부에서 여덟 차례 진행했으며, 이번 benchmark-legal-retrieval을 외부에서 검토하고 이의를 제기할 수 있는 첫 공개 버전으로 설명한다.

2. 고정 문제의 노후화와 실제 수요 기반 요청 생성

글은 고정된 벤치마크가 해당 문제에서의 성능만 보여 주며, 시간이 지나면 검색 엔진이 그 문제에 맞춰지거나 평가 내용 자체가 검색 대상에 섞일 수 있다고 지적한다. 에이전트가 실제 검색을 실행하면 문제와 유출된 정답, 에이전트가 만든 검색어까지 웹페이지에 올라 이후 실행에서 발견될 수 있다는 설명이다. 이를 줄이기 위해 각 버전은 지난주 Government & Legal Index 검색에서 고객 팀당 최대 한 건을 표본으로 뽑고, 데이터 보존이 없는 조직의 검색은 사용하지 않는다. 모델은 관할권·문서 유형·작업·표현 방식을 유지하면서 다른 공식 문서를 찾도록 원래 검색을 twin으로 다시 작성한다. 어떤 엔진의 성적을 이유로 요청을 유지하거나 삭제하거나 고쳐 쓰지 않으며, 평가 대상 엔진은 데이터셋 구성에 참여하지 않는다고 밝힌다.

3. 공식 정답표 구축과 모델의 제한된 역할

각 요청의 정답은 공식 발행처 사이트에 있는 문서 하나이며, 같은 문서의 다른 공식 주소도 함께 기록한다. 정답표를 만드는 과정에서는 일곱 출처의 상위 10개 검색 결과를 모아 모델이 라벨을 붙이고, 다른 사이트의 동일 본문 사본과 공식 문서에 모순되는 페이지를 구분한다. 따라서 모델을 전혀 사용하지 않는 평가가 아니라, 모델이 요청 생성과 사전 분류에 참여하되 공개 점수 계산에서는 심판으로 작동하지 않는 구조다. 실제 채점은 고정된 정답표와 표준화한 URL의 정확한 일치로 자동 수행하므로 같은 결과 목록에는 항상 같은 점수가 부여된다. 버전이 공개된 뒤에는 문제와 정답표를 변경하지 않고 수정 사항을 다음 버전에 반영해, 같은 버전을 사용하는 동안 점수의 비교 가능성을 유지한다.

4. 평가 결과를 수정과 다음 평가로 연결하는 순환

Firecrawl Government & Legal Index, Exa, Parallel은 동일한 요청에 답하고, Claude Code도 참고 대상으로 내장 웹 검색 사용과 도구 미사용 조건에서 각각 실행된다. 자사 색인이 놓친 요청은 정답 페이지가 색인에 없는지, 순위가 너무 낮은지, 연결된 링크가 열리지 않는지 확인한 뒤 검색팀의 수정 대상으로 전달한다. 다음 버전은 더 최근의 고객 검색으로 만들고, 그 버전의 실패 사례가 검색팀에 전달되기 전에 먼저 점수를 매겨 앞선 수정의 효과가 새 요청에도 이어지는지 살핀다. 앞으로도 매주 금요일 지난주 검색을 표본으로 수집해 절반은 수정에 활용하고 나머지 절반은 성능 측정에만 사용한다고 설명한다. 새로운 Government & Legal Index 릴리스마다 새 공개 벤치마크 버전을 함께 내놓으며, 글은 특히 해당 버전의 수정 전 최초 점수를 주목해야 한다고 강조한다.

5. 581개 요청의 구성과 근접 정답 처리

공개된 데이터셋은 실제 법률 조사 요청을 바탕으로 만든 twin 581개로, 공개 290개와 비공개 291개로 나뉜다. 요청 범위에는 법률·규정·판결·기관 지침 외에도 세무 결정, 법안, 지방 조례가 포함되며, 각 검색 엔진은 요청마다 상위 10개 결과를 반환한다. 각 항목에는 공식 정답과 공식 별칭 주소뿐 아니라 알려진 근접 결과도 기록하며, Cornell LII나 Justia의 동일 본문 사본, 상위 조항, 해당 규정에 관한 기관 설명 페이지 등이 그 예다. 근접 결과는 공식 정답으로 인정하지 않고 hit@10에서만 대체 적중으로 인정하며, recall@10은 공식 문서와 근접 결과를 얼마나 찾았는지 별도로 계산한다. 글은 올바른 내용에 도달했는지와 공식 사본에 도달했는지를 구분하려는 설계라고 설명하며, twin·별칭·근접 결과 라벨은 모두 엔진 채점 전에 고정됐다고 밝힌다.

6. 평가 지표와 통계적 우위의 판단

핵심 지표 gold@1은 공식 문서가 첫 결과인지, gold@10은 공식 문서가 상위 10개 안에 있는지를 측정하며, 사람과 에이전트가 첫 결과를 바탕으로 행동하는 경우가 많다는 이유로 gold@1을 대표 지표로 삼는다. bad@10은 공식 문서와 모순된다고 라벨링된 페이지가 상위 10개에 포함된 요청의 비율로, 낮을수록 좋고 어떤 엔진에서도 모순 페이지가 첫 결과였던 요청은 581개 중 최대 네 건이었다. 릴리스는 hit@10과 recall@10도 제공하지만, 공식 출처만 다루는 Government & Legal Index가 목표로 삼지 않는 미러 사이트의 포함 범위에 크게 좌우되므로 본문 차트에서는 제외한다. 모든 점수에는 581개 요청에 대한 95% Wilson 구간을 붙이고, 엔진 간 차이는 요청별 대응 부트스트랩 구간이 0을 제외할 때만 우위라고 주장한다. 지연시간은 같은 실행에서 한 클라이언트 위치를 기준으로 요청당 실제 경과시간의 중앙값과 95백분위수를 측정하며, 검색 비용도 별도로 보고한다.

7. 검색 API 결과와 우위의 범위

2026년 11월 3일 실행에서 Firecrawl Government & Legal Index의 gold@1은 76.2%로 95% 구간 72.6~79.5%, gold@10은 96.6%로 94.7~97.8%, bad@10은 9.6%로 7.5~12.3%였다. Exa는 같은 순서로 59.6%와 55.5~63.5%, 89.5%와 86.7~91.7%, 9.6%와 7.5~12.3%를 기록했다. Parallel은 gold@1 54.2%와 50.2~58.2%, gold@10 90.5%와 87.9~92.7%, bad@10 9.3%와 7.2~11.9%였다. Firecrawl의 gold@1 우위는 Exa 대비 16.6%포인트, Parallel 대비 22.0%포인트이며, 요청별 비교에서 각각 95% 신뢰수준으로 유지됐다고 설명한다. 다만 bad@10에서는 세 엔진이 통계적으로 동등하므로, 공식 문서를 더 잘 찾는다는 결과가 모순 페이지를 더 잘 배제한다는 결론까지 뒷받침하지는 않는다.

8. Claude Code 참고 실행의 결과와 비교 제약

Claude Code는 Sonnet 5.5로 같은 요청에 답하되, 자체 웹 검색을 쓰는 조건과 도구를 전혀 쓰지 않는 조건을 참고 행으로 제시한다. 내장 검색 사용 시 gold@1은 71.4%로 95% 구간 67.6~75.0%, gold@10은 74.4%로 70.7~77.7%, bad@10은 0.2%로 0.0~1.0%였다. 도구 미사용 시 gold@1은 47.8%로 43.8~51.9%, gold@10은 48.2%로 44.2~52.3%, bad@10은 0.0%로 0.0~0.7%였다. Claude Code는 최종적으로 선택한 주소 한두 개를 반환하므로 gold@10이 gold@1과 비슷하고 bad@10도 0에 가깝게 나타난다고 글은 설명한다. 따라서 이 두 참고 실행의 gold@10과 bad@10은 검색 API가 반환하는 상위 10개 전체의 결과와 직접 비교하지 않으며, 낮은 bad@10을 같은 조건에서의 우위로 해석하지 않는다.

9. 비용과 실행 시점, 제공된 결과의 한계

Government & Legal Index 검색은 무료이며 크레딧과 API 키가 필요 없고, 공시된 검색 한 건 가격은 Parallel $0.005, Exa $0.007이다. 581개 요청을 한 번씩 실행하면 글에 제시된 비용은 Exa $4.07, Parallel $2.91, Government & Legal Index는 무료이며, Claude Code 참고 실행은 모델 토큰과 검색 수수료를 합친 실제 요청당 지출을 비용으로 사용한다. 첫 번째 그림은 gold@1의 95% 구간을 비용 및 지연시간과 함께 보여 주지만, 점수는 2026년 11월 3일 실행에서, 지연시간은 10월 31일 실행에서 가져왔다고 구분한다. 자사 색인을 몇 시간 간격으로 두 번 실행했을 때 상위 10개 적중 점수는 변하지 않았다는 설명도 포함된다. 다만 제공된 원문은 1.4~2.3시간 뒤 두 번째 실행의 변화를 설명하는 문장 중간에서 끊기므로, 그 이후의 세부 결과나 추가 주장은 확인할 수 없다.

🧾 핵심 주장 / 시사점

• 공식 URL을 정답으로 고정하면 권위 있는 원문을 찾는 성능을 일관되게 측정할 수 있지만, 동일 본문 사본을 찾는 성능과는 평가 목적이 달라진다.
• Firecrawl의 gold@1·gold@10 우위와 bad@10의 통계적 동등성은 별개의 결과다. 공식 문서 발견률과 모순 정보 노출률을 함께 봐야 성능의 범위를 정확히 해석할 수 있다.
• 매주 새 요청을 사용하고 수정 전에 최초 점수를 기록하는 방식은 이전 수정의 효과가 새로운 수요에도 이어지는지 확인하려는 장치다. 공개 버전의 성과와 후속 버전의 최초 성과를 연결해 보는 것이 중요하다.

✅ 액션 아이템

• Firecrawl Government & Legal Index의 gold@1 76.2%·gold@10 96.6%와 bad@10 9.6%를 함께 검토해 검색 성공률과 모순 정보 노출을 구분해 판단.
• 공개 290개의 정답과 채점 코드를 검토해 공식 URL 일치 기준과 점수 재현 가능성을 확인.
• 매주 새 고객 검색으로 갱신되는 평가에서 수정 전 최초 점수를 살펴 개선 효과가 새로운 요청에도 이어지는지 확인.

❓ 열린 질문

• 공개 290개와 비공개 291개에서 Firecrawl Government & Legal Index의 gold@1·gold@10 우위는 각각 어떻게 나타나는가?
• Firecrawl Government & Legal Index의 gold@1·gold@10 우위는 매주 새 고객 검색으로 구성한 다음 버전의 수정 전 최초 평가에서도 유지되는가?
• Firecrawl Government & Legal Index의 bad@10 9.6%를 낮추면서 gold@1 76.2%와 gold@10 96.6%를 유지할 수 있는가?