判準不是問題難不難,是有沒有標準化的驗收方式
要判斷一個問題能不能交給 LLM,看的不是它難不難、也不是模型強不強,而是:這個問題有沒有一個標準化的驗收方式,讓我事後能自己確認答案對不對。
兩個真實的對照
可以驗收的:
「C++ 的
string跟char差在哪?char可以用+來擴充嗎?」
C++ 是行之有年的語言設計,這題有絕對正確的答案。我現在不知道,但我問完之後如果懷疑,我可以自己去 search 查證。
不能驗收的:
「15 坪的房子對兩人一狗兩貓的生活空間會不會太小?」
這題沒有絕對正確的答案,我們沒有一個驗證標準。 它回答「不夠」,很可能是從大量資料裡歸納出「絕大部分人覺得不夠」——這不能說它錯,但也沒有任何東西能拿來對照。
兩個容易搞混的東西
- 驗證不必是當下的。 只要「我事後有辦法自己去查」就算可驗收。C++ 那題我當下不知道,但查得到;15 坪那題我查了也不會有答案。
- 可驗收 ≠ 簡單。 一個很難的數學證明是可驗收的,一個很簡單的「我該選哪個」不是。難度和可驗收性是兩個獨立的軸。
分出這兩類之後該怎麼做,是另一個決定——見 不可驗證的 AI 答案照問,但只當方向不當答案。
(C++ 那題的答案本身:C++ 的 char 本質是小整數。)