TensorRT 如何处理batch size不同会导致各层输出dim变化的问题

  • 2 replies
  • 94 views
对于tdnn这种结构,需要通过自顶向下计算每层需要输入的index,也就是batchSize变化会导致输出数据的维度发生变化,该如何处理。

*

sisiy

  • *****
  • 174
    • 查看个人资料
Re: TensorRT 如何处理batch size不同会导致各层输出dim变化的问题
« 回复 #1 于: 十一月 08, 2019, 01:41:34 pm »
TensoRT最新版本可不可以,我还得查一下然后回复你,之前版本是肯定不行。

TRT能不能转换一个网络,要按op为单位去看能不能,经常有人问:”我的xx网络就在xx网络上改了一点点,能不能用?”这种根本不知道

他可以固定batchsize黑上,能就能,不能就不能,或者万能办法,自己写plugin,啥都能做

Re: TensorRT 如何处理batch size不同会导致各层输出dim变化的问题
« 回复 #2 于: 十一月 08, 2019, 01:58:51 pm »
我目前是在开发一个Splice的Plugin。似乎只能通过dynamic shapes 来写。