TensorRT动态形状选型:输入范围怎样写进交付条件
TensorRT动态维度在构建时需要相应优化配置,运行时还需设置实际输入形状。引擎描述中的动态占位值与执行上下文中的实际尺寸不是同一层信息,核验应覆盖两者。

从真实输入确定范围
记录实际张量各维度的含义和分布,再审查最小、最优、最大配置。最优形状是优化依据,不是每个范围内输入都具备相同速度的保证,也不能代替模型本身的尺寸约束。
先记录交付设备、软件与配置版本,再确认本节所述能力是否由该组合实际提供。把未支持、未启用和未验证分别记录;其他机型的演示不能代替当前交付对象的证据。
确认选择与输入设置顺序
记录使用哪个配置及对应上下文,检查输入形状是否按API要求设置。多输入模型需要核对彼此关系;某个输入的设置被接受,不自动证明整张网络的输出形状已经一致。
验证时保留原始输入和判断依据,避免只交付一张成功截图。每一轮只改变已约定的变量,记录变化前后的配置与结果;未覆盖的边界条件需要明确列出,不能自动计入通过范围。
读取上下文实际输出
动态引擎中的占位维度不能直接用于分配固定输出容量。检查执行上下文返回的信息和数据相关输出的处理方式,保留小样本和大样本,避免截断或把旧缓冲内容当作新结果。
将图中三种现象作为讨论起点,而不是对现场故障的预先诊断。先核对记录是否完整、单位和身份是否一致,再决定需要补充哪项观察。若证据不足,应保留待确认结论,而不是用经验值填补缺失字段。

测量边界和形状切换
覆盖范围端点、常用形状和交替切换,并观察延迟与内存。超出约定范围的输入应有明确结果;不能以一次正常尺寸执行成功,声称所有任意尺寸都已支持。
由现场负责人确定获准的隔离验证方式,分别记录正常、异常和恢复阶段。验证重点是系统如何识别和解释不可信输入,不应为了取得异常样本而让实际生产设备执行未经评估的动作。
交付配置与样本映射
把构建配置、引擎身份、输入清单和结果记录连起来。更新模型或输入分布后重新选择复核样本,说明何时需重新构建,而不是只交付一个缺少构建依据的引擎文件。
交付时附上配置、样本、结果表和未决问题,并约定后续变更的复核责任。接收方应能随机挑选一条结论,回到对应输入与判断过程;若做不到,这份报告仍需要补充可追溯资料。
智联海