背景與挑戰
RoomPilot 是七個人的專題,辨識與生成不在我手上。這個專案把整條路單人重做一次,而且走得更遠:平面圖辨識自己寫,家具對到有貨號的實際商品。最難的地方是沒有 ground truth:3D 場景不對時,怎麼知道錯在辨識還是錯在生成。
我負責的部分
獨力完成,16 個 commit 全部本人。辨識、幾何求解、3D 場景、問卷、商品對應與測試都自己寫。
Python · OpenCV · FastAPI · three.js · Vite · 本機 Ollama
成果與驗證
20 / 20張別人畫的平面圖端到端零違規,約 35 秒跑完
763件有貨號的實際商品可被配置
2,453筆量測、181 個測試案例
16 / 16commit 全部本人
以上為專案在 2026-09-01 至 09-07 整理的成果;測試集與實際使用情境不同,個別量測範圍見各項說明。
實作過程
展開技術選擇、遇到的問題與解法
- 兩條線互證。A 線先反推一份現成 GLB 得到 331 個物件的 ground truth,用參數化程式重寫到逐節點 1e-3 m 一致,把生成器釘死;B 線才換成 CV 自動辨識,所以 3D 不對時能確定問題在辨識。
- 用量測決定問卷門檻。11 種用途 × 21 張圖 × 92 個房間跑真的求解器;16 組量得出門檻只寫下 6 組,其餘不寫的理由逐條留檔;量出「面積不是真正的變數」就停手。
- 本機模型選型。0.8b/4b/9b 三檔跑 14 題基準,決定預設模型;7B 級距實測沒有理由存在。
延伸閱讀:這個專案的工程筆記
- 量出來才知道,面積不是真正的變數 問卷門檻可以拍腦袋寫幾個數字,我寫了一支掃描器跑 2,453 筆。16 組量得出來,只寫下 6 組。
