API / SDK / developer guide
CompiledModel quickstart
| 目標讀者 TA | 機器學習應用工程師 |
|---|---|
| 官方文件能力 | 準備模型並使用裝置端執行環境。 |
| 輸入 → 輸出 | 相容模型與輸入張量 → 輸出張量。 |
| 執行環境 | 選定 LiteRT 執行環境與支援的目標硬體 |
| 本站選型評估 | 輸出意義由模型定義，非執行環境自動提供。 |
| 本站建議驗證 | 驗證形狀、型別與模型特定後處理。 |
Edge AI／模型服務 · SDK
LiteRT
在支援的裝置上執行機器學習推論。
GOOGLE LITERT / DEVELOPER FIELD GUIDE
選對接口，定義可驗證的結果。
公司／專案背景、十個技術入口，以及每份引用的實作分析。
2026-10-08 · 串接尚未實測
公司／專案背景全貌
依官方公司或專案自述撰寫的原創概要；完整原文請見來源。
| 專案 | LiteRT 是 Google 建構於 TensorFlow Lite 基礎的裝置端模型部署框架。 |
|---|---|
| 範圍 | 涵蓋支援邊緣平台上的模型轉換、最佳化與執行。 |
| 執行選擇 | 現行文件區分 CompiledModel 與著重相容性的 Interpreter 路徑。 |
| 相鄰產品 | LiteRT-LM 提供語言模型協調；其整合選擇與此張量推論範例不同。 |
| 適用角色 | 進行 AI 供應商初選的採購、合作夥伴與產品負責人。 |
|---|---|
| 本站評估 | 用定位與公司背景判斷初步適配度；另行取得專案部署、支援與商務條件。 |
已核對官方專案與開發來源；沒有呼叫供應商 API。下方預期輸出是本站示意契約，不是實測結果。
十項技術入口比較
依任務選出的十個有文件技術入口；不是十套獨立 SDK 或官方排名。
| 接口 | 用途與 TA |
|---|---|
| 01 · CompiledModel quickstartAPI / SDK / developer guide | 準備模型並使用裝置端執行環境。機器學習應用工程師 |
| 02 · Android integrationAPI / SDK / developer guide | 選擇 Android 執行環境整合路徑。Android 應用團隊 |
| 03 · NPU accelerationAPI / SDK / developer guide | 設定支援的 NPU 執行。硬體最佳化團隊 |
| 04 · Model conversionAPI / SDK / developer guide | 轉換支援的來源模型供 LiteRT 使用。模型匯出工程師 |
| 05 · TensorFlow Lite migrationAPI / SDK / developer guide | 檢視轉移至 LiteRT 的支援路徑。既有 TFLite 維護者 |
| 06 · Model optimizationAPI / SDK / developer guide | 檢視包含訓練後量化的最佳化方法。模型效能工程師 |
| 07 · LiteRT CLI installationAPI / SDK / developer guide | 安裝命令列模型工具。建置與工具團隊 |
| 08 · Microcontroller runtimeAPI / SDK / developer guide | 在資源有限環境執行適合的小模型。嵌入式韌體團隊 |
| 09 · Prebuilt C++ SDKAPI / SDK / developer guide | 透過 CMake 整合預編譯執行函式庫。原生應用工程師 |
| 10 · Source and release repositoryAPI / SDK / developer guide | 檢視原始碼、發行與專案建置入口。執行環境維護者 |
逐份文件分析
能力摘要依據官方文件；限制與建議測試為本站工程評估。
API / SDK / developer guide
Android integration
| 目標讀者 TA | Android 應用團隊 |
|---|---|
| 官方文件能力 | 選擇 Android 執行環境整合路徑。 |
| 輸入 → 輸出 | 模型、應用與 SDK 設定 → 裝置推論。 |
| 執行環境 | 選定 LiteRT 執行環境與支援的目標硬體 |
| 本站選型評估 | API 可用性取決於套件發行與裝置。 |
| 本站建議驗證 | 在最低目標裝置測試生命週期與記憶體。 |
API / SDK / developer guide
NPU acceleration
| 目標讀者 TA | 硬體最佳化團隊 |
|---|---|
| 官方文件能力 | 設定支援的 NPU 執行。 |
| 輸入 → 輸出 | 相容運算圖與硬體 → 加速執行。 |
| 執行環境 | 選定 LiteRT 執行環境與支援的目標硬體 |
| 本站選型評估 | 並非每個運算子或晶片支援相同路徑。 |
| 本站建議驗證 | 記錄實際後端並與基準比對數值。 |
API / SDK / developer guide
Model conversion
| 目標讀者 TA | 模型匯出工程師 |
|---|---|
| 官方文件能力 | 轉換支援的來源模型供 LiteRT 使用。 |
| 輸入 → 輸出 | 來源模型 → .tflite 產物。 |
| 執行環境 | 選定 LiteRT 執行環境與支援的目標硬體 |
| 本站選型評估 | 匯出成功不代表任務品質合格。 |
| 本站建議驗證 | 使用保留輸入比對來源與匯出模型。 |
API / SDK / developer guide
TensorFlow Lite migration
| 目標讀者 TA | 既有 TFLite 維護者 |
|---|---|
| 官方文件能力 | 檢視轉移至 LiteRT 的支援路徑。 |
| 輸入 → 輸出 | 既有整合 → 選定更新後執行路徑。 |
| 執行環境 | 選定 LiteRT 執行環境與支援的目標硬體 |
| 本站選型評估 | Interpreter 相容與採用 CompiledModel 是不同變更。 |
| 本站建議驗證 | 固定新舊相依版本並回放同一樣本。 |
API / SDK / developer guide
Model optimization
| 目標讀者 TA | 模型效能工程師 |
|---|---|
| 官方文件能力 | 檢視包含訓練後量化的最佳化方法。 |
| 輸入 → 輸出 | 模型與可能需要的代表資料 → 最佳化產物。 |
| 執行環境 | 選定 LiteRT 執行環境與支援的目標硬體 |
| 本站選型評估 | 量化可能改變準確率與張量型別。 |
| 本站建議驗證 | 接受體積或速度改善前量測品質漂移。 |
API / SDK / developer guide
LiteRT CLI installation
| 目標讀者 TA | 建置與工具團隊 |
|---|---|
| 官方文件能力 | 安裝命令列模型工具。 |
| 輸入 → 輸出 | 支援環境與套件 → 可用 CLI。 |
| 執行環境 | 選定 LiteRT 執行環境與支援的目標硬體 |
| 本站選型評估 | 固定工具版本；安裝完成不等於部署完成。 |
| 本站建議驗證 | 記錄版本並以樣本驗證選定命令。 |
API / SDK / developer guide
Microcontroller runtime
| 目標讀者 TA | 嵌入式韌體團隊 |
|---|---|
| 官方文件能力 | 在資源有限環境執行適合的小模型。 |
| 輸入 → 輸出 | 支援模型與韌體張量 → 推論輸出。 |
| 執行環境 | 選定 LiteRT 執行環境與支援的目標硬體 |
| 本站選型評估 | 記憶體與支援運算不同於桌面環境。 |
| 本站建議驗證 | 檢查張量記憶體預算與目標板輸出。 |
API / SDK / developer guide
Prebuilt C++ SDK
| 目標讀者 TA | 原生應用工程師 |
|---|---|
| 官方文件能力 | 透過 CMake 整合預編譯執行函式庫。 |
| 輸入 → 輸出 | 標頭、函式庫與模型 → 原生整合。 |
| 執行環境 | 選定 LiteRT 執行環境與支援的目標硬體 |
| 本站選型評估 | 執行環境與加速二進位檔須符合平台與版本。 |
| 本站建議驗證 | 在乾淨目標環境驗證載入與相依套件。 |
API / SDK / developer guide
Source and release repository
| 目標讀者 TA | 執行環境維護者 |
|---|---|
| 官方文件能力 | 檢視原始碼、發行與專案建置入口。 |
| 輸入 → 輸出 | 固定來源修訂 → 可重現建置輸入。 |
| 執行環境 | 選定 LiteRT 執行環境與支援的目標硬體 |
| 本站選型評估 | 儲存庫最新版本可能不同於已安裝穩定套件。 |
| 本站建議驗證 | 記錄精確標籤或提交與建置選項。 |
Official documentation overview
| TA | 選擇支援技術路徑的工程師與產品負責人。 |
|---|---|
| 本站驗證建議 | 安排實作前先選定操作、支援版本與執行環境。 |
04 / INPUT · EXPECTED OUTPUT · ACCEPTANCE
實作前先看懂預期結果
張量推論示意契約。張量形狀、型別、正規化與標籤須依實際模型定義；未執行推論或效能測試。
示意契約 · 未呼叫 API 或執行模型 · 不是供應商實測輸出
有效推論契約
| 輸入 | 固定模型；張量形狀與型別符合簽章。 |
|---|---|
| 預期結果 | ok；輸出張量資訊與示意數值。 |
| 驗收條件 | 使用約定誤差範圍與可信模型樣本比對。 |
應用空結果
| 輸入 | 有效推論，模型特定後處理未找到物件。 |
|---|---|
| 預期結果 | ok 與空偵測清單；原始張量仍須符合模型。 |
| 驗收條件 | 不可把全零張量一律視為沒有偵測。 |
張量不相符
| 輸入 | 型別、形狀錯誤或不支援的運算。 |
|---|---|
| 預期結果 | error；沒有可用輸出；提供有限範圍診斷。 |
| 驗收條件 | 拒絕輸入，不得靜默改變資料意義。 |
加速器不可用
| 輸入 | 要求的 GPU／NPU 無法執行選定模型。 |
|---|---|
| 預期結果 | 明確失敗，或依設定改用 CPU 並揭露實際後端。 |
| 驗收條件 | 無證據不得宣稱 GPU／NPU 加速或實測延遲。 |
將預期結果對應至你的應用
先審閱下方情境，再將實際 SDK 回應對應至此內部契約。此處不含憑證、API 呼叫或真實輸出，示意資料須在自行串接測試後替換。
預期輸出 JSON — 示意，非實測 · LiteRT-expected-results.json
{
"schema_version": "1.0.0",
"example": true,
"provider": "Google LiteRT",
"status": "ok",
"input_id": "sample-001",
"data": {
"model_id": "example-model",
"backend": "example-cpu",
"outputs": [
{
"name": "example_scores",
"shape": [
1,
3
],
"dtype": "float32",
"values": [
[
0.1,
0.7,
0.2
]
]
}
],
"latency_ms": null
},
"error": null,
"verification": "illustrative-only;not-provider-response"
}| 結果狀態 | ok 表示所選操作回傳有效結構；有效空結果與 error 不同。未完成工作保持 pending 直到終態。API 成功不代表現實判斷必然正確。 |
|---|---|
| 可重現性 | 記錄輸入識別、函式庫／模型版本、設定、執行環境及座標／分數慣例。範例數值為示意。 |
| 建議驗收 | 使用授權代表樣本，加上空結果、格式錯誤與環境不可用案例。測試前先約定品質與延遲目標；不宣稱已量測準確率、成本或速度。 |
| 操作範圍 | 張量推論示意契約。張量形狀、型別、正規化與標籤須依實際模型定義；未執行推論或效能測試。 |
可一併評估的路線： ONNX Runtime
開發評估
手機端推論基準測試
開發構想規格・串接尚未實測
接口能力依據官方文件或程式庫；以下產品方向、輸入、交付與驗收條件則是我們的開發評估。
需整合驗證
估算可交付產品前，需共同驗證執行環境、資料結構或硬體。
- 原型輸入規劃
- 一個鎖定版本的模型、代表性輸入、目標環境與工作量。
- 原型交付規劃
- 附模型版本、延遲與資源量測的預測或部署證據。
- 驗收條件
- 用已知樣本驗證輸出，並在選定環境量測延遲、記憶體與失敗呼叫。
- 依賴條件
- 模型使用權、支援的算子、記憶體預算與硬體或服務環境。
開發順序
- 確認 LiteRT 的存取、授權與支援版本。
- 準備上述樣本，針對「手機端推論基準測試」先實作一個有官方文件的操作。
- 整理輸出時保留來源、時間與錯誤狀態，並保留供應商回應供審核。
- 通過驗收條件後，再估算擴展投入與客戶交付。
如何驗證需求
記錄產品瀏覽、官方文件點擊、規格下載與技術 Hub 點擊。這些是事件次數，不等於獨立人數或已完成串接。
本次可行性評估依實作條件判斷；尚未給定流量排名或交期承諾。