怎麼知道 AI 好不好用：建立自己的測試題庫

評估 AI 工具時，最常見的做法是試問幾個問題，覺得回答不錯就決定採用。這種「感覺」很容易受到運氣影響：剛好問到它擅長的題目，就覺得很厲害；剛好碰到它的弱點，又覺得不能用。更可靠的方法，是建立一份屬於自己公司的測試題庫，用同一把尺衡量每一個選項。

測試題庫是什麼

簡單說，就是一組代表你實際工作的題目，加上你認為正確或理想的答案。例如客服 AI 的題庫，可以收集過去最常被問的五十個問題與標準回答；文件擷取的題庫，可以是二十份真實的單據與正確的欄位值。題目要來自實際的工作，而不是自己想像的情境。

有了題庫，比較不同工具、不同設定時，就能看到具體的結果：五十題答對幾題、哪幾類題目常出錯、錯的時候錯在哪裡。決策不再依賴印象，而是依據數字與實例。

題庫也要包含「應該答不出來」的題目，例如超出公司資料範圍的問題。一個好的 AI 應該誠實地說不知道，而不是編一個聽起來合理的答案。

建立與使用題庫的要點

題庫不需要很大，但要有代表性：

• 涵蓋常見與困難的情況：除了最常見的題目，也放入容易混淆、資料不完整、有例外的題目。
• 答案由熟悉業務的人訂：什麼才算正確，要由實際負責這項工作的同仁判斷。
• 每次調整都重跑一次：換模型、改指示、更新資料之後，用同一份題庫重測，確認沒有變差。
• 持續補充新題目：上線後遇到答錯的實際案例，就加進題庫，讓它越來越貼近真實情況。

評分的方式也要事先講好：完全正確、部分正確、錯誤各怎麼算，關鍵錯誤（例如報錯價格）是否要特別標示。標準一致，結果才能比較。

沒有題庫的 AI 評估，比的是運氣；有了題庫，比的才是實力。

這對你的生意意味著什麼

測試題庫讓 AI 的導入從「試試看」變成可管理的工程：選工具時有依據，上線前知道它的表現，日後模型更新或流程調整時，也能快速確認品質有沒有退步。它是 AI 長期穩定運作的品質保證。

建立題庫需要業務同仁投入一些時間，但這份投入會在每一次評估與調整時反覆回收。創智苑在規劃 AI 落地時，會和你的團隊一起建立測試題庫，並在每次調整後用它驗證成效。