Claude 提示快取:讓 AI 對話更快更省
Anthropic 推出全新的 Claude 提示快取功能，可大幅提升 AI 對話效率與成本表現。本文深入探討這項新功能的應用場景、效益與定價策略，助您充分運用 Claude 的強大潛力。
什麼是提示快取?
提示快取(Prompt caching)是 Anthropic API 的最新功能，讓開發者能夠在多次 API 呼叫之間快取常用的上下文內容。透過這項技術，用戶可以為 Claude 提供更豐富的背景知識和範例輸出，同時大幅降低長提示的成本(最多90%)和延遲(最多85%)。
目前這項功能已在 Claude 3.5 Sonnet 和 Claude 3 Haiku 上公開測試，未來也將支援 Claude 3 Opus。
提示快取的適用場景
提示快取在以下情境特別有效:
-
對話代理:降低長時間對話的成本和延遲，尤其是涉及冗長指令或上傳文件的情況。
-
程式碼助手:通過在提示中保留程式碼庫的摘要版本，改善自動完成和程式碼問答功能。
-
大型文件處理:在提示中納入完整的長篇資料(包括圖片)，而不增加回應延遲。
-
詳細指令集:分享大量指令、程序和範例，以微調 Claude 的回應。開發者現在可以包含數十個多樣化的高品質輸出範例，進一步提升性能。
-
代理搜尋和工具使用:增強多輪工具呼叫和迭代變更的效能，每個步驟通常需要新的 API 呼叫。
-
與書籍、論文等長篇內容對話:將整個文件嵌入提示中，讓用戶能夠與任何知識庫互動。
效益數據
早期用戶在各種應用場景中都看到了顯著的速度和成本改善:
| 使用場景 | 未快取延遲(首字輸出時間) | 快取後延遲(首字輸出時間) | 成本降低 |
|---|---|---|---|
| 與書籍對話(10萬字快取提示) | 11.5秒 | 2.4秒 (-79%) | -90% |
| 多範例提示(1萬字提示) | 1.6秒 | 1.1秒 (-31%) | -86% |
| 多輪對話(10輪對話含長系統提示) | 約10秒 | 約2.5秒 (-75%) | -53% |
快取提示的定價策略
快取提示的定價基於您快取的輸入字數和使用頻率:
- 寫入快取:比該模型基本輸入字價格高25%
- 使用快取內容:僅為基本輸入字價格的10%
Claude 3.5 Sonnet 定價
- 輸入:$3/百萬字
- 快取寫入:$3.75/百萬字
- 快取讀取:$0.30/百萬字
- 輸出:$15/百萬字
Claude 3 Haiku 定價
- 輸入:$0.25/百萬字
- 快取寫入:$0.30/百萬字
- 快取讀取:$0.03/百萬字
- 輸出:$1.25/百萬字
[Claude 3 Opus 的快取功能即將推出]
客戶案例:Notion
Notion 正將提示快取功能添加到其 AI 助手 Notion AI 的 Claude 驅動功能中。通過降低成本和提高速度，Notion 能夠優化內部運營，為客戶創造更高級、更靈敏的用戶體驗。
Notion 聯合創始人 Simon Last 表示:”我們很高興使用提示快取來使 Notion AI 更快、更便宜，同時保持最先進的品質。”
開始使用
要開始使用 Anthropic API 上的提示快取公測版，請瀏覽我們的文件和定價頁面。
常見問題
-
Q: 提示快取如何影響 API 的使用成本? A: 提示快取可以顯著降低 API 使用成本，尤其是對於需要大量上下文的應用。根據使用情況，成本可降低高達90%。
-
Q: 提示快取適用於哪些 Claude 模型? A: 目前提示快取適用於 Claude 3.5 Sonnet 和 Claude 3 Haiku，Claude 3 Opus 的支援即將推出。
-
Q: 如何在我的應用中實施提示快取? A: 您可以通過 Anthropic API 使用提示快取。詳細的實施指南可在 Anthropic 的官方文件中找到。
-
Q: 提示快取對隱私和安全有何影響? A: Anthropic 對快取的內容採取嚴格的安全措施。快取的資料僅用於提高效能，不會用於其他目的。
-
Q: 提示快取能提高多少效能? A: 效能提升因使用情況而異，但一些用戶報告延遲減少高達85%，特別是對於長提示和多輪對話。
