벤치마크
측정 조건
섹션 제목: “측정 조건”읽기 전용 grafana/grafana TypeScript·Go 저장소에서 gpt-6.1-sol(medium)으로 다단계 아키텍처 질문 3개를 세 클라이언트 환경마다 도구별로 3회씩 풀고, 블라인드 채점기가 답변당 필수 사실 12개(Core 7 + Extended 5) 충족 여부를 채점했습니다.
평가 질문과 정답 범위
섹션 제목: “평가 질문과 정답 범위”git-sync-job-dispatch- 질문: “메시지 버스 패턴 중 Git 저장소 동기화 작업이 그 작업을 실행하는 처리기까지 전달되는 구간 다 확인해줘.”
- 정답 범위 (
Core7·Extended5): 화면·컨트롤러·웹훅의 동기화 요청이 메모리 큐가 아니라 API 서버의 작업 리소스 생성으로 저장되고, KV 백엔드 커밋 뒤 NATS 변경 알림이 발행되어 작업 인포머 큐 그룹 구독과 드라이버 큐를 거쳐 선점(claim) 후 동기화 처리기로 이어지는 경로입니다. 확장 항목은 구독 실패 시 재조회 단독 시작, 두 실행 호스트 조립, 갱신 알림 중복 적재 방지, 발행 실패 시 쓰기 유지, 선점 재시도·쿨다운을 확인합니다.
alertmanager-config-autosync- 질문: “Kubernetes 방식 API 중 외부 Alertmanager 설정을 가져오는 자동 동기화와 연결되는 구간 다 확인해줘.”
- 정답 범위 (
Core7·Extended5): 설정 화면이 싱글턴 설정 리소스를 조회·패치하면 어드미션 검증기가 대상 데이터소스를 확인하고, 주기적 폴링 선처리가 데이터소스 프록시 HTTP로 외부 Alertmanager 설정을 가져와 저장한 뒤 리소스 상태에 동기화 결과를 기록해 화면에 반영하는 경로입니다. 확장 항목은 해시 비교를 통한 변경 시 저장, 해제 시 정리, 동기화 활성 중 수동 가져오기 차단(409), 관리 주체 분기, 실패 사유·응답(404) 구분을 확인합니다.
scope-annotation-filter- 질문: “스코프 필터 중 대시보드 주석 저장·조회와 연결되는 구간 다 확인해줘.”
- 정답 범위 (
Core7·Extended5): 스코프 필터 토글과 대시보드 변수에서 추출한 스코프 이름 목록이 데이터소스 조회, 패널 컨텍스트 생성·수정, 주석 목록 패널 세 진입점을 거쳐 Kubernetes 방식 주석 클라이언트의 조회 쿼리와 요청 본문으로 전달되고, 주석 앱 검색 라우트와 저장소 백엔드별 스코프 필터링까지 이어지는 경로입니다. 확장 항목은 레거시 REST 경로 미전달과 백엔드별 미지원 거부·무시 처리를 확인합니다.
비교 도구와 고정 버전
섹션 제목: “비교 도구와 고정 버전”| 도구·버전 | 공식 프로젝트·패키지 | 고정 커밋 | 사용 도구 |
|---|---|---|---|
codemap-search 0.14.2 |
buYoung/mcp (codemap-search) |
e727d20c6 |
codemap-search 도구만 사용 (Jev 필터 비활성) |
Graphify 0.9.95 |
Graphify-Labs/graphify (PyPI graphifyy) |
92741d16 |
Graphify + 추가 도구(read, grep, find, ls, shell) 사용 |
zvec-grep 0.2.2 |
zvec-ai/zvec-grep (npm @zvec/zvec-grep) |
b1a9148e |
zvec-grep + 추가 도구(read, grep, find, ls, shell) 사용 |
codebase-memory-mcp 0.12.1 |
DeusData/codebase-memory-mcp | a7158ac2 |
codebase-memory-mcp + 추가 도구(read, shell) 사용 |
rg 15.2.0 (기준군) |
BurntSushi/ripgrep | e89fff89 |
기본 도구(rg, read, grep, find, ls, shell)만 사용 (MCP 없음) |
CodeGraph 1.6.2 |
colbymchenry/codegraph (npm @colbymchenry/codegraph) |
6560052a |
CodeGraph + 추가 도구(grep, read, find, ls, shell) 사용 |
Serena 2.1.0 (제외) |
oraios/serena (PyPI serena-agent) |
5e4f5cd1 |
Go/TypeScript LSP MCP (사전 제외) |
Serena 2.1.0은 Grafana의 Go·TypeScript LSP 초기 색인에 1회당 약 34–70분이 걸려 본 측정에서 제외했습니다.
에이전트 클라이언트, 모델, 실행 환경
섹션 제목: “에이전트 클라이언트, 모델, 실행 환경”| 구성 요소 / 실행 환경 | 고정 버전 및 조건 |
|---|---|
| 평가 코드베이스 | grafana/grafana 커밋 c0a598f5a49abf2014f67e806075d8ad267c9efb, 2026-10-26, TypeScript/Go 추적 파일 24,115개 |
| 풀이 모델 | gpt-6.1-sol (medium), 환경·도구·문항당 독립 3회 실행 |
| 블라인드 채점 모델 | gpt-6-astra (high), 도구·저장소 접근 없이 문항당 필수 사실 12개 채점 |
pi direct |
pi 1.4.0 + @buyong/pi-mcp-adapter 0.1.2; 턴마다 MCP 도구를 직접 호출하며 저장소 내 read, grep, find, ls만 병행(bash 없음) |
pi codemode |
pi 1.4.0 + @buyong/pi-mcp-adapter 0.1.2 + QuickJS codemode; JS로 호출을 묶고 출력을 추려 반환(호출당 출력 상한 10k토큰) |
Codex code mode |
Codex CLI 0.164.0; JS exec·wait 셀에서 MCP 도구와 저장소 내 읽기 전용 셸 실행(호출당 출력 상한 기본 10k토큰, codemap-search 0.14.2는 100k토큰) |
Grafana 색인 규모와 구축 시간
섹션 제목: “Grafana 색인 규모와 구축 시간”| 도구 | 색인 파일·그래프 엔티티 수 | 색인 디스크 크기 | 색인 구축 시간 (pi 두 환경 / Codex code mode 준비) |
|---|---|---|---|
codemap-search 0.14.2 |
19,757개 파일 |
136.5–138.3 MiB |
12.96 s / 16.18 s |
codebase-memory-mcp 0.12.1 |
21,430개 추적 파일 (525,952개 노드; pi 1,562,241 / Codex 1,562,181개 엣지) |
1,915.9–1,916.9 MiB |
34.35 s / 56.95 s |
CodeGraph 1.6.2 |
17,094개 파일 (314,436개 노드, 1,035,428개 엣지) |
1,194.3 MiB (+ 1.9 MiB 상태) |
88.82 s / 101.00 s |
zvec-grep 0.2.2 |
22,642개 파일 (175,403개 엔티티) |
961.9 MiB (+ 32.0 MiB 모델 캐시) |
147.68 s / 154.22 s |
Graphify 0.9.95 |
AST 스캔 코드 19,823개 파일 (160,008개 노드, 867,900개 엣지) |
626.8 MiB |
311.73 s / 366.08 s |
rg 15.2.0 (기준군) |
없음 (실시간 디스크 검색) | 0 MiB |
0 s |
Serena 2.1.0 (제외) |
Go + TypeScript LSP | — | ~34–70 min (사전 제외) |
요약 결과
섹션 제목: “요약 결과”정답 충족률 (%)
답변당 평균 총 토큰 (k)
| 도구 | pi direct |
pi codemode |
Codex code mode |
Core 완결 (7/7) 답변 (3개 환경) | 답변당 평균 총 토큰 | 답변당 평균 비캐시 합계 | 답변당 평균 호출 | 답변당 기본·보조 도구 호출 | 테스트·생성 인용 |
|---|---|---|---|---|---|---|---|---|---|
codemap-search 0.14.2 |
96/108 | 97/108 | 98/108 | 5/9 · 6/9 · 6/9 | 946k · 829k · 1,333k | 98k · 101k · 133k | 45.1 · 39.2 · 50.4 | 0.0 · 0.0 · 0.0 | 0 · 0 · 0 |
Graphify 0.9.95 |
93/108 | 88/108 | 94/108 | 3/9 · 2/9 · 5/9 | 1,008k · 746k · 1,183k | 93k · 93k · 108k | 55.8 · 66.0 · 70.6 | 16.8 · 22.9 · 11.2 | 8 · 9 · 8 |
zvec-grep 0.2.2 |
89/108 | 71/84 (답변 7개) | 87/108 | 3/9 · 3/7 · 4/9 | 784k · 608k · 869k | 77k · 79k · 96k | 45.6 · 55.6 · 20.9 | 38.6 · 48.4 · 15.7 | 4 · 2 · 4 |
codebase-memory-mcp 0.12.1 |
87/108 | 84/108 | 85/108 | 3/9 · 3/9 · 2/9 | 1,331k · 1,190k · 1,827k | 89k · 113k · 144k | 73.9 · 94.1 · 103.1 | 5.0 · 6.3 · 2.1 | 7 · 9 · 6 |
rg 15.2.0 |
86/108 | 87/108 | 89/108 | 3/9 · 1/9 · 5/9 | 555k · 505k · 866k | 68k · 76k · 104k | 63.7 · 66.6 · 20.3 | 63.7 · 66.6 · 20.3 | 6 · 6 · 5 |
CodeGraph 1.6.2 |
78/108 | 85/108 | 86/108 | 2/9 · 3/9 · 3/9 | 1,727k · 1,724k · 3,309k | 132k · 142k · 194k | 24.7 · 26.3 · 36.3 | 2.8 · 4.6 · 3.4 | 5 · 5 · 4 |
·구분 순서: 세 값은pi direct·pi codemode·Codex code mode순서입니다.- 통계적 유의성 (
p < 0.05, 문항 층화 순열 검정):codemap-search 0.14.2는3개 환경 모두에서rg 15.2.0,CodeGraph 1.6.2,codebase-memory-mcp 0.12.1보다 충족 건수가 유의하게 높았습니다.Graphify 0.9.95대비로는pi codemode에서,zvec-grep 0.2.2대비로는Codex code mode에서 유의하게 높았습니다.- 나머지 오픈소스 MCP 서버
4종은 어느 환경에서도rg 15.2.0을 유의하게 앞서지 못했습니다(p >= 0.05).
- 실행 특이사항:
codemap-search 0.14.2만 모든 환경에서 기본·보조 도구 호출(0.0)과 테스트·생성 파일 인용 답변(0) 없이 자체 MCP 도구만으로 응답했습니다.*pi codemode의zvec-grep 0.2.2는 한 문항에서 서버SIGSEGV중단이 두 번 발생해9회 중7회(71/84,84.5%)만 완료했습니다.
환경별 토큰 분포(중앙값·최소–최대), 쌍별 p 값, 문항·세부 항목별 채점표, 하위 도구 호출 상세는 상세 결과에서 확인할 수 있습니다.