答复:(1)效率的理论评估没有。但是TRT有个使用随机数据进行评估的“模拟时间”,可以用这个来看看;
也可以直接TRT部署后,实际的运行一下,看看到底速度如何。而不仅仅是根据理论的,网络的结构,参数量/运算量这些来“理论”推算。直接看实际的比较方便。(也就是前提是你得买一块AGX。。。。)
(2)关于指定多个网络,每个网络分配分别哪个“处理器核心”。这个没有听说过。因为考虑到实际上GPU你没法指定“核心”的。这个似乎真心做不到。同时CPU倒是可以指定执行核心,但是Xavier的CPU是没有TensorCore之类的加速的,有TensorCore的GPU又不能按照核心指定,所以似乎并不存在一种按照核心手工指定的调度方式。