API / SDK / developer guide
Build first engine
| 目標讀者 TA | 初次部署工程師 |
|---|---|
| 官方文件能力 | 依文件 CLI 流程建立引擎。 |
| 輸入 → 輸出 | 支援模型與 trtexec → 引擎產物。 |
| 執行環境 | 支援 NVIDIA GPU、CUDA 軟體堆疊與固定 TensorRT 版本 |
| 本站選型評估 | pip 綁定套件不包含 trtexec。 |
| 本站建議驗證 | 確認安裝套件類型並驗證引擎。 |
Edge AI／模型服務 · SDK
TensorRT
NVIDIA
針對支援的 NVIDIA 硬體最佳化推論執行。
NVIDIA TENSORRT / DEVELOPER FIELD GUIDE
選對接口，定義可驗證的結果。
公司／專案背景、十個技術入口，以及每份引用的實作分析。
2026-10-08 · 串接尚未實測
公司／專案背景全貌
依官方公司或專案自述撰寫的原創概要；完整原文請見來源。
| 產品 | TensorRT 提供 NVIDIA GPU 模型編譯與推論執行工具。 |
|---|---|
| 生態系 | NVIDIA 另列 TensorRT-LLM、Model Optimizer 與 TensorRT for RTX 等相關選擇。 |
| 指南範圍 | 本指南涵蓋推論函式庫，不代表自動取得 TensorRT Cloud 或代管端點。 |
| 適用角色 | 進行 AI 供應商初選的採購、合作夥伴與產品負責人。 |
|---|---|
| 本站評估 | 用定位與公司背景判斷初步適配度；另行取得專案部署、支援與商務條件。 |
已核對官方來源。未呼叫供應商 API 或執行推論；結果為內部契約示意。
十項技術入口比較
依實作決策選出的十個技術文件入口，非十套獨立 SDK 或官方排名。
| 接口 | 用途與 TA |
|---|---|
| 01 · Build first engineAPI / SDK / developer guide | 依文件 CLI 流程建立引擎。初次部署工程師 |
| 02 · Python APIAPI / SDK / developer guide | 解析 ONNX、建置並執行引擎。Python 工程師 |
| 03 · C++ APIAPI / SDK / developer guide | 整合原生引擎建置與執行。原生推論團隊 |
| 04 · How TensorRT worksAPI / SDK / developer guide | 區分引擎建置與執行階段。系統架構師 |
| 05 · Engine compatibilityAPI / SDK / developer guide | 評估引擎可攜性與相容選項。版本工程師 |
| 06 · Quantized typesAPI / SDK / developer guide | 以降低精度表示支援運算。模型壓縮團隊 |
| 07 · Accuracy considerationsAPI / SDK / developer guide | 評估推論精度的數值影響。模型驗證團隊 |
| 08 · Custom layersAPI / SDK / developer guide | 透過外掛介面擴充網路支援。自訂運算子工程師 |
| 09 · Best practicesAPI / SDK / developer guide | 選擇有意義的效能測試與調校程序。效能團隊 |
| 10 · Support matrixAPI / SDK / developer guide | 匹配支援軟體與 GPU 組合。平台負責人 |
逐份文件分析
能力摘要依據官方文件；限制與建議測試為本站工程評估。
API / SDK / developer guide
Python API
| 目標讀者 TA | Python 工程師 |
|---|---|
| 官方文件能力 | 解析 ONNX、建置並執行引擎。 |
| 輸入 → 輸出 | ONNX 圖與張量 → PLAN 與輸出張量。 |
| 執行環境 | 支援 NVIDIA GPU、CUDA 軟體堆疊與固定 TensorRT 版本 |
| 本站選型評估 | 解析失敗須停止建置；API 隨主版本改變。 |
| 本站建議驗證 | 保留解析診斷並比對輸出樣本。 |
API / SDK / developer guide
C++ API
| 目標讀者 TA | 原生推論團隊 |
|---|---|
| 官方文件能力 | 整合原生引擎建置與執行。 |
| 輸入 → 輸出 | 引擎、裝置緩衝與執行上下文 → 輸出。 |
| 執行環境 | 支援 NVIDIA GPU、CUDA 軟體堆疊與固定 TensorRT 版本 |
| 本站選型評估 | 物件與緩衝生命週期須涵蓋非同步工作。 |
| 本站建議驗證 | 重用前驗證完成狀態與緩衝所有權。 |
API / SDK / developer guide
How TensorRT works
| 目標讀者 TA | 系統架構師 |
|---|---|
| 官方文件能力 | 區分引擎建置與執行階段。 |
| 輸入 → 輸出 | 訓練網路 → 最佳化引擎 → 推論。 |
| 執行環境 | 支援 NVIDIA GPU、CUDA 軟體堆疊與固定 TensorRT 版本 |
| 本站選型評估 | 建置最佳化不等於模型訓練。 |
| 本站建議驗證 | 一起追蹤來源模型與引擎設定。 |
API / SDK / developer guide
Engine compatibility
| 目標讀者 TA | 版本工程師 |
|---|---|
| 官方文件能力 | 評估引擎可攜性與相容選項。 |
| 輸入 → 輸出 | 引擎建置資訊與目標 → 可載入決策。 |
| 執行環境 | 支援 NVIDIA GPU、CUDA 軟體堆疊與固定 TensorRT 版本 |
| 本站選型評估 | 不可假設序列化引擎適用任意硬體或版本。 |
| 本站建議驗證 | 測試實際部署矩陣，必要時重建。 |
API / SDK / developer guide
Quantized types
| 目標讀者 TA | 模型壓縮團隊 |
|---|---|
| 官方文件能力 | 以降低精度表示支援運算。 |
| 輸入 → 輸出 | 量化圖與尺度 → 相容引擎。 |
| 執行環境 | 支援 NVIDIA GPU、CUDA 軟體堆疊與固定 TensorRT 版本 |
| 本站選型評估 | 精度支援取決於運算與硬體。 |
| 本站建議驗證 | 與較高精度參考比對保留樣本。 |
API / SDK / developer guide
Accuracy considerations
| 目標讀者 TA | 模型驗證團隊 |
|---|---|
| 官方文件能力 | 評估推論精度的數值影響。 |
| 輸入 → 輸出 | 參考與最佳化輸出 → 誤差評估。 |
| 執行環境 | 支援 NVIDIA GPU、CUDA 軟體堆疊與固定 TensorRT 版本 |
| 本站選型評估 | 引擎成功執行不代表任務準確率合格。 |
| 本站建議驗證 | 檢查敏感運算與任務指標。 |
API / SDK / developer guide
Custom layers
| 目標讀者 TA | 自訂運算子工程師 |
|---|---|
| 官方文件能力 | 透過外掛介面擴充網路支援。 |
| 輸入 → 輸出 | 自訂運算實作 → 已註冊外掛。 |
| 執行環境 | 支援 NVIDIA GPU、CUDA 軟體堆疊與固定 TensorRT 版本 |
| 本站選型評估 | 外掛二進位與 API 版本須符合部署。 |
| 本站建議驗證 | 測試支援形狀、型別與序列化。 |
API / SDK / developer guide
Best practices
| 目標讀者 TA | 效能團隊 |
|---|---|
| 官方文件能力 | 選擇有意義的效能測試與調校程序。 |
| 輸入 → 輸出 | 引擎與負載 → 實測延遲與吞吐量。 |
| 執行環境 | 支援 NVIDIA GPU、CUDA 軟體堆疊與固定 TensorRT 版本 |
| 本站選型評估 | 供應商測試增益不保證適用你的模型。 |
| 本站建議驗證 | 納入傳輸、前處理與佇列成本。 |
API / SDK / developer guide
Support matrix
| 目標讀者 TA | 平台負責人 |
|---|---|
| 官方文件能力 | 匹配支援軟體與 GPU 組合。 |
| 輸入 → 輸出 | 版本、CUDA 與平台 → 支援設定。 |
| 執行環境 | 支援 NVIDIA GPU、CUDA 軟體堆疊與固定 TensorRT 版本 |
| 本站選型評估 | 支援依版本而異。 |
| 本站建議驗證 | 固定相依套件並驗證實際目標硬體。 |
Official documentation
| TA | 工程師與技術產品負責人 |
|---|---|
| 本站驗證建議 | 實作前固定版本並依目標環境核對支援條件。 |
04 / INPUT · EXPECTED OUTPUT · ACCEPTANCE
實作前先看懂預期結果
引擎推論示意契約。建置、載入與推論為不同階段；此處皆未執行。
示意契約 · 未呼叫 API 或執行模型 · 不是供應商實測輸出
引擎推論完成
| 輸入 | 相容引擎與支援設定範圍內張量。 |
|---|---|
| 預期結果 | ok 與同步完成輸出張量。 |
| 驗收條件 | 依約定誤差與來源模型比對。 |
空偵測结果
| 輸入 | 完成的模型輸出沒有應用偵測。 |
|---|---|
| 預期結果 | ok 與正確後處理後的空偵測清單。 |
| 驗收條件 | 不可把零偵測當引擎失敗。 |
引擎不相容
| 輸入 | 引擎為不支援的目標設定建置。 |
|---|---|
| 預期結果 | 載入時 error；沒有推論輸出。 |
| 驗收條件 | 揭露重建需求，不宣稱可攜。 |
設定範圍或緩衝無效
| 輸入 | 形狀超範圍、型別錯誤或輸出緩衝不足。 |
|---|---|
| 預期結果 | error 與診斷，不重用舊張量。 |
| 驗收條件 | 排入執行前檢查形狀與記憶體契約。 |
將預期結果對應至你的應用
將實際執行環境回應對應至此建議應用契約。所有數值皆為示意，不含憑證或真實執行。
預期輸出 JSON — 示意，非實測 · TensorRT-expected-results.json
{
"schema_version": "1.0.0",
"example": true,
"provider": "NVIDIA TensorRT",
"status": "ok",
"input_id": "sample-001",
"data": {
"engine_id": "example-engine",
"device": "example-NVIDIA-GPU",
"outputs": [
{
"name": "scores",
"shape": [
1,
2
],
"values": [
[
0.4,
0.6
]
]
}
],
"latency_ms": null
},
"error": null,
"verification": "illustrative-only;not-provider-response"
}| 狀態語意 | 有效空結果與錯誤不同；等待中的工作不可提前顯示成功。 |
|---|---|
| 證據 | 記錄模型雜湊、執行版本、輸入契約與實際硬體。此處未量測準確率或速度。 |
| 建議驗收 | 以授權代表樣本測試前，先約定數值誤差與負載目標。 |
開發評估
Jetson 推論效能比較
開發構想規格・串接尚未實測
接口能力依據官方文件或程式庫；以下產品方向、輸入、交付與驗收條件則是我們的開發評估。
需整合驗證
估算可交付產品前，需共同驗證執行環境、資料結構或硬體。
- 原型輸入規劃
- 一個鎖定版本的模型、代表性輸入、目標環境與工作量。
- 原型交付規劃
- 附模型版本、延遲與資源量測的預測或部署證據。
- 驗收條件
- 用已知樣本驗證輸出，並在選定環境量測延遲、記憶體與失敗呼叫。
- 依賴條件
- 模型使用權、支援的算子、記憶體預算與硬體或服務環境。
開發順序
- 確認 TensorRT 的存取、授權與支援版本。
- 準備上述樣本，針對「Jetson 推論效能比較」先實作一個有官方文件的操作。
- 整理輸出時保留來源、時間與錯誤狀態，並保留供應商回應供審核。
- 通過驗收條件後，再估算擴展投入與客戶交付。
如何驗證需求
記錄產品瀏覽、官方文件點擊、規格下載與技術 Hub 點擊。這些是事件次數，不等於獨立人數或已完成串接。
本次可行性評估依實作條件判斷；尚未給定流量排名或交期承諾。