교육하고 책 쓰는 개발자 생존코딩 오준석입니다. 원래 내부적으로 활용하려고 작성한 문서를 공개합니다.
교육을 하면서 여러 AI 모델을 비교하기 위해 Kimi K3 모델을 사용해 보며 느꼈던 부분을 리포트로 작성합니다.
제가 테스트 하는 시점에 이미 유튜브에 K3가 잘 하는 부분에 대한 많은 유튜브 영상이 올라온 상태였음.
완성된 모습보다 실제 코드 품질 자체를 평가하려고 했음. 그리고 최대한 단점을 찾으려고 했음.
사용 시나리오는 네이티브 Android, iOS, 웹을 모두 지원하는 게임 개발 (React expo), 기존 웹서비스 보안 이슈 점검, 기존 네이티브 Android 앱(100만 다운로드) 레거시 코드 점검과 ANR 이슈 분석 개선 방안 검토. Flutter 와 네이티브 Android로 신규 앱 개발시 원프롬프트로 어느정도까지 좋은 코드를 생성하는지 코드 품질 측정을 테스트 했습니다.
작성자 : 생존코딩 오준석 ([email protected])
평가 요약
| 분야 | 평가 | 요약 |
|---|---|---|
| 디자인 및 UI | 우수 | 주요 모델과 비교해도 손색없는 완성도 높고 세부적인 인터페이스를 구현했다. |
| 코드 품질 및 아키텍처 | 구체적인 지시가 있을 때 우수 | 요구사항이 구체적일 때 유지보수 가능한 구조를 생성했다. |
| 테스트 | 우수 | 단위 테스트, 위젯 테스트, UI 테스트를 일관되게 포함했다. |
| 장시간 작업 | 우수 | 컨텍스트를 효율적으로 사용하면서 복잡한 구현 작업을 완료했다. |
| 보안 및 레거시 분석 | 복합적 | 유용한 이슈를 발견했지만 일부 결론은 전문가의 검증이 필요했다. |
| 한국어 문서 | 개선 필요 | 반복되는 오타로 토큰 사용량이 증가했다. |
| 코드 변경 과정의 가시성 | 개선 필요 | Kimi Code는 진행 중인 코드 변경 내용을 명확히 보여주지 않았다. |
| 종합 평가 | 매우 뛰어남 | 정확한 아키텍처 및 구현 요구사항을 제시할 수 있는 개발자에게 가장 적합하다. |