LLMs Usage FAQ in Mandarin: Difference between revisions
Tag: wikieditor |
Tag: wikieditor |
||
| (22 intermediate revisions by the same user not shown) | |||
| Line 47: | Line 47: | ||
LLMs 模型受到上下文窗口(context window)長度的限制,以翻譯長文章為例,由於無法一次處理全部內容,我們需要將文章分段進行處理。 | LLMs 模型受到上下文窗口(context window)長度的限制,以翻譯長文章為例,由於無法一次處理全部內容,我們需要將文章分段進行處理。 | ||
💬 | 💬 處理方式: | ||
方法1:改成支援更長上下文窗口(context window)長度的模型,例如:Google Gemini 等: | |||
# GPT-4o: "16,384 max output tokens"<ref>[https://platform.openai.com/docs/models/gpt-4o Model - OpenAI API]</ref> 相當於 16,384/3 約 5,461 中文字 | |||
# gemini-2.5-pro: "65,536 max output tokens"<ref>[https://ai.google.dev/gemini-api/docs/models#gemini-2.5-pro Gemini 2.5 Pro]</ref> 相當於 65,536/3 約 21,845 中文字 | |||
# GPT-5: "128,000 max output tokens"<ref>[https://platform.openai.com/docs/models/gpt-5 Model - OpenAI API]</ref> 相當於 128,000/3 約 42,666 中文字 | |||
方法2:開啟新的對話,將對話內容轉移至新的對話中。針對舊有對話,可以嘗試使用這個提示: | |||
<pre> | |||
作為新對話的第一個 prompt,請將我們先前的對話整理成: | |||
1. 清楚的操作步驟 | |||
2. 用來驗證每個前置步驟成功的指令 | |||
</pre> | |||
方法3:分塊處理與保持上下文連貫的策略 | |||
處理長文時需要採用分段切塊(Chunking)的技術策略<ref>[https://ihower.tw/blog/archives/12373 使用繁體中文評測 RAG 的 Chunking 切塊策略 – ihower { blogging }]</ref>。為了讓模型在處理後續段落時能夠理解前面章節的脈絡,一個有效的方法是'''將前面文章摘要的切塊策略''': | 處理長文時需要採用分段切塊(Chunking)的技術策略<ref>[https://ihower.tw/blog/archives/12373 使用繁體中文評測 RAG 的 Chunking 切塊策略 – ihower { blogging }]</ref>。為了讓模型在處理後續段落時能夠理解前面章節的脈絡,一個有效的方法是'''將前面文章摘要的切塊策略''': | ||
| Line 132: | Line 148: | ||
== | == 如何解決:AI模型產生錯誤網站連結? == | ||
📝 詢問內容:目前運用Grok、ChatGPT、Perplexity等AI工具,搜集全球特定行業前10大企業的財務數據與資本狀況,並整理成表格形式。同時,還需要附上數據的原始網站連結作為參考依據。然而,這三種AI工具產生的網站連結全部都有錯誤。請問大家是否有解決方案,能夠避免這類語言模型持續產出不正確的參考連結? | 📝 詢問內容:目前運用Grok、ChatGPT、Perplexity等AI工具,搜集全球特定行業前10大企業的財務數據與資本狀況,並整理成表格形式。同時,還需要附上數據的原始網站連結作為參考依據。然而,這三種AI工具產生的網站連結全部都有錯誤。請問大家是否有解決方案,能夠避免這類語言模型持續產出不正確的參考連結? | ||
💬 | 💬 回覆內容:如果要使用原本的模型,而不是更聰明的推理模型,可以要求AI在給結論前,增加一個前置步驟:「請將問題答案的相關網頁段落文字,擷取摘要並編號,再根據這些段落回答問題。」就可以讓比較笨的模型減少幻覺的機率。<ref>[https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/reduce-hallucinations Reduce hallucinations - Anthropic]</ref><ref>[https://the-learning-agency.com/the-cutting-ed/article/hallucination-techniques/ Improving AI-Generated Responses: Techniques for Reducing Hallucinations - The Learning Agency]</ref><ref>[https://www.godofprompt.ai/blog/9-prompt-engineering-methods-to-reduce-hallucinations-proven-tips 9 Prompt Engineering Methods to Reduce Hallucinations (Proven Tips) - Workflows] "Step-Back Prompting is a technique where you ask the AI to review its previous response and make sure it is accurate. " </ref> | ||
== 如何解決:使用 AI 工具將故事轉換為視覺內容 == | |||
📝 問題: | |||
我有一段用文字撰寫的故事,希望將它轉換成多張連貫的圖片(非漫畫風格的插圖)。有哪些 AI 工具可以協助我達成這個目標? | |||
同樣地,哪些 AI 平台最適合用來將相同的敘事內容轉換成一系列短影片? | |||
💬 處理方法: | |||
我使用的方法比較間接,因為圖片生成非常耗時,但生成單純圖片的文字描述相對快速許多。 | |||
所以我會使用 Claude 或 ChatGPT 來生成具有連續情節的圖片文字描述。 | |||
修改完成後,再使用具有角色一致性的 AI 模型來生成圖片。 | |||
== AI能否自我驗證其推理錯誤? == | |||
📝 詢問內容:一個值得深思的哲學問題持續困擾著我:人工智慧系統是否具備自我檢測並揭露自身局限性的能力?換句話說,我們能否運用AI工具來識別並證明AI推理過程中的缺陷與不準確性? | |||
💬 回覆內容:目前有幾種可行的解決策略: | |||
'''方法一:多模型交叉驗證機制''' | |||
運用不同的AI模型進行交叉比對,透過多重角度來驗證資訊的準確性,藉由模型間的差異性來識別潛在錯誤。 | |||
'''方法二:結構化推理步驟提示''' | |||
當使用同一模型而非更先進的推理模型時,可以要求AI在得出結論前,先執行關鍵步驟:「請在做出結論前,將所有支持結論的證據完整列出,並按相關性從高到低排序。接著基於這些證據段落來回答問題。」。不適合使用在「推理模型」(reasoning models)<ref>[https://sophiehundertmark.medium.com/new-prompting-rules-when-using-reasoning-models-deep-research-3810ea97bef3 New prompting rules when using reasoning models (Deep Research) | by Sophie Hundertmark | Medium] "Avoid chain-of-thought (CoT) prompting"</ref> {{exclaim}} 。 | |||
'''方法三:網路資料查核結合結構化推理''' | |||
要求模型主動搜尋網路資料進行事實查核,並同時結合方法二的結構化推理步驟,形成雙重驗證機制。 | |||
== 使用者的聊天紀錄是否可能被用來改進 AI 模型? == | |||
請看 [[Data privacy in Large Language Models in Mandarin | 大型語言模型的資料隱私政策]] | |||
== 解決 ChatGPT 產生的檔案找不到的問題 == | |||
📝 詢問內容:奇怪,ChatGPT產生的檔案都下載失敗,顯示檔案不存在。這是什麼問題? | |||
💬 回覆內容: | |||
1. 模型切換使用程式分析工具 (Code Interpreter) 時,對話過程會跳出 Python 程式碼。它的虛擬執行環境是有執行時間限制<ref>[https://guides.ai/chatgpt-code-interpreter-session-expired/ Answered: ChatGPT "Code interpreter session expired" (2025)]</ref>。雖然 OpenAI Help Cente「提到產生的下載檔案連結很快過期」<ref>[https://help.openai.com/en/articles/7996703-troubleshooting-chatgpt-error-messages Troubleshooting ChatGPT Error Messages | OpenAI Help Center] "Ensure that the file is recently generated, files generated by ChatGPT expire quickly"</ref>,官方網頁沒有提到明確的時間限制。有使用者提到約一小時<ref>[https://community.openai.com/t/code-interpreter-maintaining-files-uploaded-to-session-and-session-state/669626 Code Interpreter - maintaining files uploaded to session and session state - ChatGPT - OpenAI Developer Community]</ref>。超過時間限制,就會導致產生的檔案不見。 | |||
如果在同樣對話一直鬼打牆,解決方法只能開啟新對話,重來一次 | |||
2. 替代方案是不要直接生成檔案,而是將檔案內容顯示在對話裡。 | |||
如果一直無法生成檔案,可以試著改成把檔案內容直接顯示在對話裡。這比較適合文字類型的檔案。 | |||
3. 有些網路教學文章提到檔案名稱必須改成英文才能正常下載,但根據網友測試心得,改成英文檔案名稱,並不保證一定可以下載檔案。 | |||
測試可以下載繁體中文的檔案名稱的模型: | |||
# ChatGPT 5 | |||
# ChatGPT 4o | |||
提示詞: | |||
<pre> | |||
產生範例 CSV 檔案,欄位包含:商品名稱、數量、銷售日期、總金額。 | |||
請提供使用繁體中文檔名的 CSV 檔案。 | |||
</pre> | |||
== 如何使用 AI 程式工具快速了解程式碼專案 == | |||
1. 下載 Visual Studio Code | |||
https://code.visualstudio.com/ | |||
2. 選單 -> 開啟資料夾:選擇專案的資料夾 | |||
3. 聊天預設是「Ask」改成「Agent」模式,就會自動看整個專案結構。你再輸入想要問的專案問題 ([https://hackmd.io/@LWS9lwHlSHK5Qb8Aia1L2g/HyzPQHz4-g 操作教學]) | |||
== 是否有不需連網的AI軟體 == | |||
📝 問題:是否有不需連網的AI軟體? | |||
💬 回答:離線AI軟體選項 | |||
其實可以離線運行AI模型的軟體還不少 ([[Run_LLMs_locally | 可以離線運行AI模型的軟體清單]]),我建議可以試試 Ollama 或 LM Studio | |||
使用本地端模型的考量 | |||
(1) 調整對本地端模型的期待 | |||
如果你習慣使用雲端 AI 模型,會比較難習慣本地端模型的表現,需要降低對本地端模型的期待。 | |||
(2) 模型選擇與實際應用 | |||
目前我最常使用的本地端模型是 gpt-oss:120b。亞太智能的 Jerry 在生成式 AI 小聚曾經分享,它缺乏台灣在地主題的知識。我實際測試在基礎標籤任務上表現還不錯。 | |||
實際工作應用:會指派相對簡單的任務,例如: | |||
(1) 使用雲端模型搜尋與彙整資料,再由本地端模型進行二次確認 | |||
(2) 特別注重隱私的資料,必須由本地端模型處理 | |||
== 同一個模型,API 跟網頁介面(月費訂閱制)用起來有差嗎? == | |||
📝 問題:同一個模型,API 跟網頁介面(月費訂閱制)用起來有差嗎? | |||
💬 回答: | |||
# 額度差別: 月費訂閱版本的網頁版每天有額度限制,用完當日額度後需要等待約數小時才能恢復;API 則是看你的「鈔能力」取決於你的預算,使用上更有彈性,例如可以發送更多請求、更高的頻率。就像包裝好、限定份量的套餐 vs. 自助餐——只要有錢可以一直吃。 | |||
# 特有參數: 有些參數只有 API 才能調整,網頁版不一定會提供。以 Gemini 為例,同樣是免費或基本方案,網頁版的可調參數就比 Google AI Studio(接近 API 的介面)少很多。 | |||
# 使用對象差異: 月費制的網頁版設計比較針對一般使用者,以容易操作為主,並且已經串好實用工具,像畫圖、程式碼開發、數據報表分析、搜尋網路等;如果需要進階功能,則可以查閱 API 文件,看有哪些功能符合自己需求——但這些工具通通需要開發者自行串接搞定。 | |||
# 對話記憶: 若是純文字對話,網頁版與 API 的主要差異在於:網頁版的上下文(對話記憶)由廠商處理,API 則需要開發者自行管理。 | |||
# 系統提示詞: 網頁版(如 Claude.ai)的系統提示詞由 Anthropic 維護並定期更新 <ref>[https://platform.claude.com/docs/en/release-notes/system-prompts System Prompts - Claude API Docs]</ref>;而 API 的系統提示詞由開發者自行決定。 | |||
# 潛在風險: API 彈性雖大,但也需要自行負責安全性。網路上常會看到金鑰外流或流量爆掉的案例,導致收到好幾百甚至上千美金的帳單,使用時務必做好存取控管。 | |||
== 導入 AI 輔助開發工具對舊有程式碼進行重構,如何切入? == | |||
📝 問題:由於負責維護一套運行超過十年的老系統,上司說:需要導入 AI 輔助開發工具對舊有程式碼進行重構。 | |||
身為團隊中對 agentic AI 工具的資淺負責人,需要帶領其他資淺成員推動這項任務,且在沒有外部專業顧問支援的情況下,應如何有效切入並推進? | |||
💬 回答: | |||
[https://webconf.tw/ WebConf] 有兩場演講很值得參考: | |||
第一場直接切題,講者分享了一個跨越數十年的老系統重構實戰經驗,有共筆和簡報可以參考。雖然有用到 AI coding 工具,但強調重構本質還是基礎的軟體工程。 | |||
第二場主題雖然寫是商業思維,但場景跟你很像——老闆交辦重構任務。講者的切入角度很務實:開發時間與資源有限,與其一比一完整改寫,不如先在舊系統埋 log,收集哪些功能實際上有人在用,再拿這份使用數據去說服老闆和各利害關係人,證明不需要全部重寫。 | |||
這兩場加起來,剛好涵蓋你面對的兩個核心問題:先思考商業思維、然後在怎麼動手做。 | |||
# AI 時代的 Legacy Code 營救術 https://webconf.tw/speakers/39 | |||
# 活在科技工作者最好的年代,用商業思維優化你的人生選擇 https://webconf.tw/speakers/18 | |||
== 相關文章 == | == 相關文章 == | ||
* [[Troubleshooting of OpenAI API in Mandarin|OpenAI API 技術問題疑難排解]] | * [[Troubleshooting of OpenAI API in Mandarin|OpenAI API 技術問題疑難排解]] | ||
* [https://arxiv.org/html/2502.11959 STRIVE: Structured Reasoning for Self-Improvement in Claim Verification] | |||
== 參考資料 == | == 參考資料 == | ||