Jetson AGX Xavier平台的部署工具链有么有提供效率评估工具?

  • 1 replies
  • 1215 views
*

sisiy

  • *****
  • 242
    • 查看个人资料
问:我想向您请教几个关于Jetson AGX Xavier平台的问题,非常感谢! 1、Jetson AGX Xavier平台的部署工具链有么有提供效率评估工具?例如,我有一套算法网络,可以知道网络的结构、运算量、参数量,要求能在硬件平台上100ms内推理完成。我怎么衡量Jetson AGX Xavier平台的算力能否满足需求?Jetson AGX Xavier平台有提供相应的工具吗? 2、Jetson AGX Xavier平台的软件栈或者TensorRT有没有运行时调度工具? TensorRT可以调用API指定网络在哪个处理核上跑,那是否可以运行时自动调度呢(针对多个网络场景)?

*

sisiy

  • *****
  • 242
    • 查看个人资料
答复:(1)效率的理论评估没有。但是TRT有个使用随机数据进行评估的“模拟时间”,可以用这个来看看;
也可以直接TRT部署后,实际的运行一下,看看到底速度如何。而不仅仅是根据理论的,网络的结构,参数量/运算量这些来“理论”推算。直接看实际的比较方便。(也就是前提是你得买一块AGX。。。。)

(2)关于指定多个网络,每个网络分配分别哪个“处理器核心”。这个没有听说过。因为考虑到实际上GPU你没法指定“核心”的。这个似乎真心做不到。同时CPU倒是可以指定执行核心,但是Xavier的CPU是没有TensorCore之类的加速的,有TensorCore的GPU又不能按照核心指定,所以似乎并不存在一种按照核心手工指定的调度方式。