ks.dgoon.lee log

SWE 벤치마크만 믿으면 안된다. 직접 테스트를 해봐야지.

결론 먼저:

1. 평소 나의 작업 환경

tailnet or intranet 으로만 연결되도록 + 구글로그인 붙인 브라우저 페이지를 하나 만들고 그 안에서 내 개발용 서버의 tmux 세션 돌림. 아이패드에서도 쾌적하다. 이거 한 뒤로 jupyter notebook 머리속에서 영원히 지워버림. 맥북도 안가지고 다님. 아이패드에 키보드만 있으면 됨.

2. 비개발자 동료에게

브라우저에서 터미널 대신 웹 컴포넌트로 claude code 를 연결했다. 그리고 비 개발자 동료에게 넘겨줌. 푸시하면 바로 도메인 붙어서 뜨도록 + 프로젝트마다 postgresql 컨테이너 하나씩 가지고 가도록 세팅. 프로젝트 생성하면 1-2분 뒤에 바로 도메인 붙은 뼈대(기본 관리자 로그인만 있는 페이지)가 뜨고, 거기에서 이제 시키는대로 만드는것. 꼭 웹만 되는건 아니다. 헬스체크를 웹으로 하니까 웹 페이지가 있긴 있어야겠지만, 관리페이지가 있는 크롤러, FastAPI 기반 API 서버등 뭐든 만들 수 있다. docker 컨테이너 30개짜리 시스템도 만들 수 있음(30개 제한). Postgresql 만 있으면 사실 상상할 수 있는 대부분의 것을 다 만들 수 있긴 하다. API 서버, 크롤러, 대시보드, 게시판 등등... 자체 컨테이너를 돌리는거니까 vercel 로 못하는것들 가능. -> 노코드 개발환경 완성.

제일 처음 시켜본거라 확실히 말 할 수 있는데, 네이버 부동산 크롤러 정도는 누구나 10~20분이면 만들수 있다. 대충 아래같은 모양.

-> 동료가 좀 써보더니 바로 cursor 구독 종료. ㅋㅋㅋ

3. 일반화

구글로그인 붙이고 서비스화 시켜봄 해봄. 돌아는 간다. 유료서비스로 운영할 수 있을진 모르겠지만... 처음에는 claude code 연결하기를 넣었는데, 모두가 claude code max 요금제(200달러!) 를 쓸 수는 없고 여기 작업실에 그런 크레덴셜을 넣는것도 불안할테고 하여 구조를 바꾸기로 했다. 기본은 어느정도 일 잘하면서 무료(자체호스팅) 가성비 모델 붙여 쓰게 하고, 원하는 사람은 비싼 모델 혹은 구독을 쓸 수 있게 하면 되지 않을까?

4. 코딩 에이전트와 모델을 분리

Claude code 자체는 모델이랑 분리되어 있다. 내가 원하는 모델을 붙여 쓸 수 있는 것. 이를테면 claude code 에 gemini 를 붙이거나, qwen 을 붙여 쓸 수도 있다. codex, opencode 등도 마찬가지. Opus 같은건 버전이 좀 낮아도 너무 비싸다. Kimi K3 같은것도 너무 비쌈. 가볍게 프로토타이핑을 마구 해볼 수 있을 정도의 가격이 필요하다. 어차피 프로덕션 퀄리티로 만들어야 하면 이런 도구를 쓰지 않는다.

• 코딩 에이전트: Claude code, Codex CLI, Opencode
• 모델: 적당히 저렴한 가격대의 여러 모델들 선정 - deepseek v4 flash/pro, solar pro 4, gpt 5.6 luna/luna pro/terra/terra pro, qwen3.6-35b(자체서빙), qwen3.8-flash, glm-5.3-flash(Ox Alpha로 알려진), gemini-3.7-flash (아래 있지만 minimax m3, sonnet 5 도 나중에 추가)
• 테스트는 간단한 코드 수정, 디버깅, 함수 만들기 등 + 웹앱 하나 바닥부터 통째로 만들기(스택 선정부터 지켜야 할 가이드라인이 많음)

요새 qwen3.6 이 쓸만하다길래 싸게 날먹 되진 않을까 기대를 해보기도 했다. 위 조합으로 내가 작업하면서 만났던 버그수정들, 앱 빌딩 등을 실제 예시로 넣고 돌려봤다.

5. 실수

처음 8시간 동안 뺑뺑이를 돌리며 시켜봤는데 solar pro 4 를 제외한 나머지 모델들(심지어 qwen3.6-35b조차) 모두다 만점이었다. 20개 정도의 가이드라인을 준수하면서 앱 만드는 테스트조차 너무 완벽하게 만점. 요새 모델들 너무 좋은거 아니야? 라고 생각하면서 결과를 보고 있었는데...

채점 코드를 테스트 컨테이너에 넣어두고 돌렸었다

흑... 답안지를 쥐어주고 하니까 그렇지... 역으로 생각해보면 solar pro 4 는 답지가 포함되어 있었는데도 계속 삑살났던거네? 항상 틀린걸 또 틀리고 하더라. 일단 다시 돌려야 하지만, solar pro 4 는 목록에서 빼버렸다.

그리고 실수를 했지만 알게 된게, opencode 는 결과를 못 내고 뻗어버리는 경우가 너무 많아서 제외, codex cli 는 claude code 대비 돈을 너무 많이 써서 제외. 그냥 claude code 쓰는게 나아보인다.

6. 다시 돌리기

6.1 있는 코드 고치기 테스트

qwen3.6-35b 가 값이 0인 것은 자체서버로 돌렸기 때문이다. 파일 하나 수정, 여러 버그가 있는데 하나만 언급했을때, 매우 긴 컨텍스트, 여러 파일 동시 수정 등 몇몇 시나리오를 줬지만 이런 수정은 대체로 다 잘함.

유일하게 여기서 만점 못 받은 모델이 glm-5.3-flash (OxAlpha 로 난리났던 바로 그!) ㅋㅋㅋ

6.2 한번에 동작하는 앱 빌딩

db 사용 규칙, 프로젝트 컨벤션, 사용할 기술 스택, 하면 안 되는 것 등의 가이드라인이 많이 있음. 동작하더라도 가이드라인을 어기면 감점. 배포가 안 되는 상황이면 감점.

AI 의 평가:

만점 둘의 값이 15배 차이납니다. gemini-3.7-flash $0.0502 대 terra-pro $0.7509. 시간도 104초 대 309초로 3배입니다. 같은 4/4 를 받는 데 드는 것이 이만큼 다릅니다.
턴 수가 완성도를 그대로 보여줍니다. gemini-3.7-flash 는 16·17턴으로 끝냈습니다. 두 번째로 적은 gpt-5.6-luna 가 26·29턴, glm-5.3-flash 는 102·115턴, qwen3.6-35b 2회차는 327턴입니다. 턴이 많다는 건 고치고 또 고쳤다는 뜻인데, 그러고도 점수는 낮습니다.
glm-5.3-flash 는 값이 아니라 시간이 문제입니다. 회당 $0.023 으로 싼 편이지만 37분이 걸립니다. gemini-3.7-flash 의 21배입니다. 사람이 화면 앞에서 기다릴 시간이 아닙니다.
qwen3.6-35b 는 공짜지만 공짜가 아닙니다. 회당 입력 614만 토큰, 2회차는 327턴에 46분입니다. 그동안 spark3 를 혼자 씁니다.
gpt-5.6-luna 가 가성비로는 눈에 띕니다. 98초·$0.0153 에 3/4 입니다. 놓친 건 한번만·필수값·변경유지 뿐이라, 그 요구를 프롬프트에서 더 눈에 띄게 하면 달라질 여지가 있습니다.

opus, fable, kimi k3 이런 것들은 너무 비싸서 노노.

요약: gemini-3.7-flash, terra-pro 두개만 모두 통과. 그런데 gemini 가 더 싸고, 더 빠르다.

7. 기본값: gemini-3.7-flash

가성비 좋은데???

8. WebSearch

WebFetch 는 claude code 가 알아서 하지만 WebSearch 는 anthropic 서버쪽에서 제공하는 기능이다. 자체 모델 붙여서 쓰면 검색을 못 하게 되는 것. 어차피 자체 게이트웨이를 만들어서 붙였기 때문에 거기에 Jina(https://jina.ai/) API Key 가져다가 WebSearch 도구를 만들어 붙였다. 이제 claude code 가 검색요청하는걸 jina 를 통해서 검색결과 내려보냄. 검색 퀄리티를 검증하긴 어렵지만 일단 돌아감.

다른 도구들도 검토해서 중요하고 자주 쓰는것 같은건 자체 게이트웨이에 그냥 구현해두면 될듯.

9. Sonnet 5, minimax m3 도 같은 테스트 돌려본다

• Minimax M3 는 만점 못 받음. 고치는건 역시 다 잘 했는데, 앱 만들기에서 빵꾸났다.
• sonnet 5, gemini-3.7-flash, gpt-5.6-terra-pro 3개만 자체 테스트 모든 항목 통과했음

-> 여전히 기본값은 gemini-3.7-flash 로 유지.

10. 모델들마다 개성?

• gemini-3.7-flash: 많이 읽는데, 출력은 항상 컴팩트하다. 코딩할때도 글 쓸때도. 3.6 보다 더 과묵해진듯.
• glm: 하고픈 말은 많은데, 어버버 하면서 너무 굼뜨다.
• sonnet 5: 얜 뭘 읽지도 않고 그냥 막 고쳐. gemini 랑 반대 느낌. 그리고 할때마다 편차가 좀 있음.
• qwen: context 가 작아서 그런가? 읽고 또 읽고 또 읽고, 또 고치고 또 고치고...