蒸餾路徑 3 選項評估（fine-tune / prompt distillation / character system）

蒸餾路徑技術選項

3 條路徑

Path A: Prompt Distillation + RAG（dot-skill 預設路徑）

• system prompt 寫好風格紀律 + 禁區 + 5 階段 framework
• corpus (4 本書 / FB / YT 字幕) 進 vector DB (pgvector)
• retrieval 抓相關 chunks 餵 LLM
• LLM 用 Claude Opus 4.7 / Sonnet 4.6（本地副本機）或 Gemini

優點：

• 起飛速度快（24 hr 可看雛形）
• 老師校正 immediate（改 prompt / 補 corpus）
• 不需 GPU
• dot-skill celebrity family 即用

缺點：

• 風格深度依賴 system prompt 質量
• 長對話 context 容易跑掉

Path B: Fine-tune base model（LoRA on Llama 3 / Mistral）

• 用 4 本書 + FB + YT 字幕 train LoRA adapter
• 蒸餾解老師「expression DNA」進權重
• 自架 GPU server 或 RunPod

優點：

• 風格深度入權重，難漂移
• 長對話風格一致性高

缺點：

• 訓練成本高（H100 hr）
• 老師校正延遲（要重 train）
• 出問題 debug 難

Path C: Character.ai-style personality system

• 中庸方案：profile + memory + retrieval 混合
• 第三方 platform 託管（如 character.ai / Replika）

優點：

• 平台處理大部分基建
• 用戶體驗成熟

缺點：

• 資料主權外洩（解老師心法被平台 access）
• 對位 dot-skill「本地優先 資料主權」紀律違背
• 客製化能力差

Lyra 推薦：Path A（先做，2.0+ 階段再評估升級 B）

理由

1. Joey 報告強調「疊代式開發 Weekly Sprint」+「底層精神重於資料總量」 → Path A 最 fit
2. dot-skill celebrity workflow 預設 Path A
3. 起飛快 + 老師可即時校正 → 對位非同步 RLHF
4. 4 本書 + 業問 100 (~100 集 transcript) + FB 貼文 corpus 以 RAG 規模剛好
5. 升級 Path B 是後話（5.0+ 階段，當 corpus > 10 萬字 + 預算到位再評估）

對位 ENSCON V3 brain

V3 brain (pgvector + zhparser + BGE-M3 1024d + Reranker) infra 直接是 Path A 升級版基建。

tags

technical-decision distillation-path path-a-recommended joey-report-alignment