• TVM vs TensorRT比较


    TVM vs TensorRT比较

    如果理解正确的话,TensorRT和TVM会加快预测速度。             

    TensorRT优化预测GPU和TVM优化预测几乎所有平台支持GPU,ARM,Mobile。。。             

    两者在GPU上有比较吗?             

    到目前为止,tvm还没有为TensorRT优化的int8进行优化。但在这方面还有一些工作要做,所以答案是目前TensorRT速度更快,我们正在不断改进TVM,以涵盖TensorRT在所有平台上使用的优化。

    在Pytorch中训练了一个Yolov3模型,并将其转换为onnx文件,以便与TensorRT一起运行。注意到Pythorch模型和TensorRT模型之间的一些性能不同的情况,想知道TensorRT与TVM等其他编译器相比有哪些优缺点?             

    卷积:TensorRT为fp32和int8卷积实现了许多算法,tvm只实现了direct和winograd卷积,在服务器上找到快速的conv卷积配置需要将近1天的时间。             

    反卷积:TensorRT完全支持,TVM的deconv不支持group,不支持int8。             

    量化:TensorRT有完整的训练后量化支持,开源TVM量化不完整。             

    TVM优点:             

    开源。             

    在服务器上进行了1天的调优之后,调优后的模型可能比tensorrt快一点。             

    TensorRT缺点:             

    还有一些bug。             

    不熟悉其它编译器。

    人工智能芯片与自动驾驶
  • 相关阅读:
    netmeeting使用收集
    开始Nunit学习(1)
    数据库信息查询(作者不是我)
    2月到5月的总结
    最近学到的一些东西
    gridview无法绑定datarow[]的解决
    asp.net控件开发(二)简单属性
    javascript 获取页面高度(多种浏览器)(转)
    My Asp.net Ajax Trip(一) Using For UpdatePanel
    asp.net 控件开发(一)显示控件内容
  • 原文地址:https://www.cnblogs.com/wujianming-110117/p/14121465.html
Copyright © 2020-2023  润新知