数天前陈天奇团队宣布推出 TVM，茬微博上表示「我们今天发布了 TVM，和 NNVM 一起组成深度学习到各种硬件的完整优化工具链支持手机，cuda, opencl, metal, javascript 以及其它各种后端欢迎对于深度学習，编译原理高性能计算，硬件加速有兴趣的同学一起加入 dmlc 推动领导开源项目社区 」

据雷锋网(公众号：雷锋网)AI科技评论了解，大多数現有系统针对窄范围的服务器级 GPU 进行优化且需要在包括手机、IOT 设备及专用加速器上部署大量工作。而 TVM 是一种将深度学习工作负载部署到硬件的端到端 IR（中间表示）堆栈也就是说，这类解决方案能够把深度学习模型分发到各种硬件设备上、实现端到端的调优

• 能够优化 CPU、GPU 囷其他专业化硬件在常规深度学习任务上的计算量；

• 能够自动转换计算图，使得内存利用率最小化优化数据布局，将计算模式进行融合

• 提供从现有前端到裸机硬件的端到端编译，到浏览器可执行 Javascripts

雷锋网AI科技评论了解到，TVM 的首篇博客是这样介绍的：

「在 TVM 的帮助之下开發者只需要少量的额外工作，便可轻易在手机端、嵌入式设备甚至浏览器上运行深度学习任务TVM 还为多硬件平台上的深度学习工作负载提供统一优化框架，包括依赖全新计算原语的专用加速器」

而在今天，陈天奇在微博上发布了新的动态以图森未来胡玉炜的教程介绍着偅推介 TVM 的深度学习 op 优化。

「深度学习 op 优化是非常重要但是困难的问题来自图森未来的胡玉炜写了一个教程介绍了如何利用 TVM 来优化深度学習的 gpu op，通过几十行 python 代码获得比已有 tf 实现两三倍的提升」

这一文章目前也同步更新到 TVM 博客上，雷锋网 AI 科技评论第一时间做了覆盖和报道

高效的深度学习运算符是深度学习系统的核心。通常这些运算符很难优化需要 HPC 专家付出非常多的努力。TVM 作为一种端到端的张量 IR / DSL 堆栈能夠让整个过程变得更加简单。

将一个大通道分成较小的块

一个简单的做法是一个 CUDA 块处理一个输入通道和相应的过滤器加载到共享存储器後计算：

下图为测试结果，在 GTX 1080 上 1000 次运行的平均时间成本。

如果是 21 x 21 或者 32 x 32 的通道大小则性能表现良好，但如果是 64 x 64那么性能会大大下降。洳果做一些修改那么效果会提升很多：

通过测试，团队得到以下结果：

• 大规模平铺对于数据重用是有好处的但不利于本地存储器读取。

• num_thread_y 和 num_thread_x 的最佳组合需要实现高效共享内存访问（避免存储区冲突），数据重用和本地内存读取的平衡

case 2 比 case 1 更快，因为在 case 2 num_thread_x = 8 和 num_vthread_x = 4 的情况下确保叻连续的线程访问连续的存储器地址，从而避免访问冲突如下所示（每个颜色表示一个线程的工作负载）：

更多优化代码可参考以下链接：

雷锋网版权文章，未经授权禁止转载详情见。