콘텐츠로 이동

벤치마크

읽기 전용 grafana/grafana TypeScript·Go 저장소에서 gpt-6.1-sol(medium)으로 다단계 아키텍처 질문 3개를 세 클라이언트 환경마다 도구별로 3회씩 풀고, 블라인드 채점기가 답변당 필수 사실 12개(Core 7 + Extended 5) 충족 여부를 채점했습니다.

  • git-sync-job-dispatch
    • 질문: “메시지 버스 패턴 중 Git 저장소 동기화 작업이 그 작업을 실행하는 처리기까지 전달되는 구간 다 확인해줘.”
    • 정답 범위 (Core 7 · Extended 5): 화면·컨트롤러·웹훅의 동기화 요청이 메모리 큐가 아니라 API 서버의 작업 리소스 생성으로 저장되고, KV 백엔드 커밋 뒤 NATS 변경 알림이 발행되어 작업 인포머 큐 그룹 구독과 드라이버 큐를 거쳐 선점(claim) 후 동기화 처리기로 이어지는 경로입니다. 확장 항목은 구독 실패 시 재조회 단독 시작, 두 실행 호스트 조립, 갱신 알림 중복 적재 방지, 발행 실패 시 쓰기 유지, 선점 재시도·쿨다운을 확인합니다.
  • alertmanager-config-autosync
    • 질문: “Kubernetes 방식 API 중 외부 Alertmanager 설정을 가져오는 자동 동기화와 연결되는 구간 다 확인해줘.”
    • 정답 범위 (Core 7 · Extended 5): 설정 화면이 싱글턴 설정 리소스를 조회·패치하면 어드미션 검증기가 대상 데이터소스를 확인하고, 주기적 폴링 선처리가 데이터소스 프록시 HTTP로 외부 Alertmanager 설정을 가져와 저장한 뒤 리소스 상태에 동기화 결과를 기록해 화면에 반영하는 경로입니다. 확장 항목은 해시 비교를 통한 변경 시 저장, 해제 시 정리, 동기화 활성 중 수동 가져오기 차단(409), 관리 주체 분기, 실패 사유·응답(404) 구분을 확인합니다.
  • scope-annotation-filter
    • 질문: “스코프 필터 중 대시보드 주석 저장·조회와 연결되는 구간 다 확인해줘.”
    • 정답 범위 (Core 7 · Extended 5): 스코프 필터 토글과 대시보드 변수에서 추출한 스코프 이름 목록이 데이터소스 조회, 패널 컨텍스트 생성·수정, 주석 목록 패널 세 진입점을 거쳐 Kubernetes 방식 주석 클라이언트의 조회 쿼리와 요청 본문으로 전달되고, 주석 앱 검색 라우트와 저장소 백엔드별 스코프 필터링까지 이어지는 경로입니다. 확장 항목은 레거시 REST 경로 미전달과 백엔드별 미지원 거부·무시 처리를 확인합니다.
도구·버전 공식 프로젝트·패키지 고정 커밋 사용 도구
codemap-search 0.14.2 buYoung/mcp (codemap-search) e727d20c6 codemap-search 도구만 사용 (Jev 필터 비활성)
Graphify 0.9.95 Graphify-Labs/graphify (PyPI graphifyy) 92741d16 Graphify + 추가 도구(read, grep, find, ls, shell) 사용
zvec-grep 0.2.2 zvec-ai/zvec-grep (npm @zvec/zvec-grep) b1a9148e zvec-grep + 추가 도구(read, grep, find, ls, shell) 사용
codebase-memory-mcp 0.12.1 DeusData/codebase-memory-mcp a7158ac2 codebase-memory-mcp + 추가 도구(read, shell) 사용
rg 15.2.0 (기준군) BurntSushi/ripgrep e89fff89 기본 도구(rg, read, grep, find, ls, shell)만 사용 (MCP 없음)
CodeGraph 1.6.2 colbymchenry/codegraph (npm @colbymchenry/codegraph) 6560052a CodeGraph + 추가 도구(grep, read, find, ls, shell) 사용
Serena 2.1.0 (제외) oraios/serena (PyPI serena-agent) 5e4f5cd1 Go/TypeScript LSP MCP (사전 제외)

Serena 2.1.0은 Grafana의 Go·TypeScript LSP 초기 색인에 1회당 약 34–70분이 걸려 본 측정에서 제외했습니다.

에이전트 클라이언트, 모델, 실행 환경

섹션 제목: “에이전트 클라이언트, 모델, 실행 환경”
구성 요소 / 실행 환경 고정 버전 및 조건
평가 코드베이스 grafana/grafana 커밋 c0a598f5a49abf2014f67e806075d8ad267c9efb, 2026-10-26, TypeScript/Go 추적 파일 24,115개
풀이 모델 gpt-6.1-sol (medium), 환경·도구·문항당 독립 3회 실행
블라인드 채점 모델 gpt-6-astra (high), 도구·저장소 접근 없이 문항당 필수 사실 12개 채점
pi direct pi 1.4.0 + @buyong/pi-mcp-adapter 0.1.2; 턴마다 MCP 도구를 직접 호출하며 저장소 내 read, grep, find, ls만 병행(bash 없음)
pi codemode pi 1.4.0 + @buyong/pi-mcp-adapter 0.1.2 + QuickJS codemode; JS로 호출을 묶고 출력을 추려 반환(호출당 출력 상한 10k토큰)
Codex code mode Codex CLI 0.164.0; JS exec·wait 셀에서 MCP 도구와 저장소 내 읽기 전용 셸 실행(호출당 출력 상한 기본 10k토큰, codemap-search 0.14.2는 100k토큰)
도구 색인 파일·그래프 엔티티 수 색인 디스크 크기 색인 구축 시간 (pi 두 환경 / Codex code mode 준비)
codemap-search 0.14.2 19,757개 파일 136.5–138.3 MiB 12.96 s / 16.18 s
codebase-memory-mcp 0.12.1 21,430개 추적 파일 (525,952개 노드; pi 1,562,241 / Codex 1,562,181개 엣지) 1,915.9–1,916.9 MiB 34.35 s / 56.95 s
CodeGraph 1.6.2 17,094개 파일 (314,436개 노드, 1,035,428개 엣지) 1,194.3 MiB (+ 1.9 MiB 상태) 88.82 s / 101.00 s
zvec-grep 0.2.2 22,642개 파일 (175,403개 엔티티) 961.9 MiB (+ 32.0 MiB 모델 캐시) 147.68 s / 154.22 s
Graphify 0.9.95 AST 스캔 코드 19,823개 파일 (160,008개 노드, 867,900개 엣지) 626.8 MiB 311.73 s / 366.08 s
rg 15.2.0 (기준군) 없음 (실시간 디스크 검색) 0 MiB 0 s
Serena 2.1.0 (제외) Go + TypeScript LSP — ~34–70 min (사전 제외)

정답 충족률 (%)

답변당 평균 총 토큰 (k)

도구 pi direct pi codemode Codex code mode Core 완결 (7/7) 답변 (3개 환경) 답변당 평균 총 토큰 답변당 평균 비캐시 합계 답변당 평균 호출 답변당 기본·보조 도구 호출 테스트·생성 인용
codemap-search 0.14.2 96/108 97/108 98/108 5/9 · 6/9 · 6/9 946k · 829k · 1,333k 98k · 101k · 133k 45.1 · 39.2 · 50.4 0.0 · 0.0 · 0.0 0 · 0 · 0
Graphify 0.9.95 93/108 88/108 94/108 3/9 · 2/9 · 5/9 1,008k · 746k · 1,183k 93k · 93k · 108k 55.8 · 66.0 · 70.6 16.8 · 22.9 · 11.2 8 · 9 · 8
zvec-grep 0.2.2 89/108 71/84 (답변 7개) 87/108 3/9 · 3/7 · 4/9 784k · 608k · 869k 77k · 79k · 96k 45.6 · 55.6 · 20.9 38.6 · 48.4 · 15.7 4 · 2 · 4
codebase-memory-mcp 0.12.1 87/108 84/108 85/108 3/9 · 3/9 · 2/9 1,331k · 1,190k · 1,827k 89k · 113k · 144k 73.9 · 94.1 · 103.1 5.0 · 6.3 · 2.1 7 · 9 · 6
rg 15.2.0 86/108 87/108 89/108 3/9 · 1/9 · 5/9 555k · 505k · 866k 68k · 76k · 104k 63.7 · 66.6 · 20.3 63.7 · 66.6 · 20.3 6 · 6 · 5
CodeGraph 1.6.2 78/108 85/108 86/108 2/9 · 3/9 · 3/9 1,727k · 1,724k · 3,309k 132k · 142k · 194k 24.7 · 26.3 · 36.3 2.8 · 4.6 · 3.4 5 · 5 · 4
  • · 구분 순서: 세 값은 pi direct · pi codemode · Codex code mode 순서입니다.
  • 통계적 유의성 (p < 0.05, 문항 층화 순열 검정):
    • codemap-search 0.14.2는 3개 환경 모두에서 rg 15.2.0, CodeGraph 1.6.2, codebase-memory-mcp 0.12.1보다 충족 건수가 유의하게 높았습니다.
    • Graphify 0.9.95 대비로는 pi codemode에서, zvec-grep 0.2.2 대비로는 Codex code mode에서 유의하게 높았습니다.
    • 나머지 오픈소스 MCP 서버 4종은 어느 환경에서도 rg 15.2.0을 유의하게 앞서지 못했습니다(p >= 0.05).
  • 실행 특이사항:
    • codemap-search 0.14.2만 모든 환경에서 기본·보조 도구 호출(0.0)과 테스트·생성 파일 인용 답변(0) 없이 자체 MCP 도구만으로 응답했습니다.
    • * pi codemode의 zvec-grep 0.2.2는 한 문항에서 서버 SIGSEGV 중단이 두 번 발생해 9회 중 7회(71/84, 84.5%)만 완료했습니다.

환경별 토큰 분포(중앙값·최소–최대), 쌍별 p 값, 문항·세부 항목별 채점표, 하위 도구 호출 상세는 상세 결과에서 확인할 수 있습니다.