作者： Sam (甄峰) sam_code@hotmail.com
![]()
![]()
![]()
可以看到，Tengine架构在HCL， Arm compute, OpenBLAS 库之上。
![]()
0. 基础知识：
Tengine 是由开放智能实验室(Open AI
Lab)开发的一个精简的，高性能用于嵌入式(ARM)设备的深度学习推理框架。在ARM平台，通过HCL计算库插件，它比TFLite等推理平台有较大的速度，CPU占用量上的优势。
Tengine支持ARM Cortex-A CPU, ARM Mali-GPU。
1. Tengine的定位：
当前训练框架，推理框架众多，但对AIoT的需求满足的并不好。一些框架效率较低，依赖库众多，在嵌入式平台部署困难。
为了让算法公司专注于算法(而不是做底层适配优化，如对CPU，GPU，DSP，xPUs等平台的优化)。
OAL推出Tengine推理平台。
2. 产品的构成：
可以看到：
A. 硬件层面，它支持CPU ,GPU等。
B. 模型层面, 它支持Caffe，
MXNet，Tensorflow等训练出的模型格式。(当前版本好像又变到需要转到Tengine模型格式了)
C. 支持Caffe , Tensorflow等框架API。
可以看到，Tengine架构在HCL， Arm compute, OpenBLAS 库之上。
HCL是由Open AI Lab研发的异构计算库，专门用来加速ARM平台的NN计算。
