AI Agent · RAG · Python Backend

Python／Rust 工程師，專注於將 AI prototype 推進為可測試、可觀測、可擴充的正式運行系統。

Contact

Email：[email protected]

TEL：+886-905-323-397

GitHub：https://github.com/coseto6125

Taiwan · Remote-friendly

Profile

近 7 年軟體工程相關經驗，其中約 6 年以 Python 為主要開發語言。專長涵蓋 AI Agent harness、RAG 檢索、高併發後端系統與 production 可觀測性，能從資料 ingestion、tool calling、模型抽象與檢索策略，一路做到部署、效能分析、成本控制與回歸防護。

目前最具代表性的工作，是將多租戶 AI 對話平台從單一 prototype 演進成可支援差異化 bot、工具與 SOP 的正式運行系統；平時也以 Rust、PyO3、SIMD 與 CI／CD 建立高效能周邊元件，將工程決策落在可量測的延遲、成本、規模與可靠性上。

Selected Impact

Production 平均回應時間

21.0 秒 → 9.4 秒（縮短 55%）

兩階段架構與模型組合優化後的正式環境平均回應時間。

每請求 LLM 成本

US$0.06 → US$0.01（降低 83%）

兩階段合計，Langfuse 全流量月平均；以成本量測期間每月 15 萬次請求估算，月成本約減少 US$7.5K。

可配置的 bot 與情境流程

200+ 個 bot

由共用 base 配合多層 override，支援多租戶差異化流程。

部署拓撲

3 個環境 × 2 個區域

以 Terraform 管理跨環境、跨區域部署。

雲端月費

US$5.3K 到 $6.9K → 約 US$1.3K（降低約 75%）

AWS Lambda 遷移至 ECS Fargate（全線 ARM64 Graviton、依負載 autoscaling）

Hybrid retrieval 平均延遲

88 ms

單一租戶、5 萬+ 筆知識庫、warm index；為 vector／BM25 並行融合，不含 rerank、tool call 與 LLM generation。

重複索引上傳

省下 64%

寫入端以滑動視窗 debounce 合併連發 upsert 後再上傳索引，為正式環境實測結果。

Experience

AI Fullstack Development · Zendesk Global Partner

JTCG／詹姆斯科技顧問／Raccoon AI · 2025/04 – 2026/06

負責多租戶 SaaS 對話平台的 AI Agent 核心架構與正式環境開發，服務上百個品牌客戶。

• 設計並實作 agent harness，包含 ReAct executor、tool registry、LLM provider abstraction，以及 global tool／scenario／resource override 三層結構，由一份 base 支援多租戶 bot 的差異化流程。
• 透過 executor、prompt、retrieval 與模型組合重構，同時降低正式環境延遲與 LLM 成本；成本下降的主因是移除不需要推理的 LLM 呼叫，而非換便宜模型：每則對話呼叫數 29.7 → 2.0 次。
• 語系偵測改為自寫規則（字元系統校正、繁簡比例判斷）加自行量化的 FastText，模型 125 MB 到 18 MB、準確率不變；7,208 筆驗證正確率 98.77%，高於 LLM 判定，這類判斷不再呼叫 LLM。
• 文件載入改用 mmap、按需解碼加 LRU 預算，單 bot 常駐 Python heap 由 500 MB 到 2 GB 降到接近 0，高頻併發下單機可服務的 bot 數由 1 到 6 個提高到 50 個以上。
• 建置 hybrid search 與 retrieval pipeline：Tantivy BM25 與向量檢索並行，RSF 融合後以 BGE cross-encoder rerank；pgvector 僅在向量檢索失敗時作為 fallback。
• 建立多格式 ingestion 流程，以 magic bytes 辨識檔案格式；主導向量索引由 Faiss 遷至 LanceDB，依資料量分 numpy mmap 暴力搜尋與 IVF_PQ 兩級。
• 將 Lambda 架構遷移至 ECS Fargate，導入 ARM64 Graviton、連線池、tokenizer 預熱與 Terraform 多環境管理，並收斂 5+ 個 repository 的 GitHub Actions／Docker 流程。
• 主導 Langfuse SDK v2 → v3 → v4 升級與 trace 結構重構，補齊跨 service trace、即時監控與 regression guard。