缓冲步骤以加载AI模型

当我们执行CNN模型推断时,我们需要预先从DDR或ROM加载AI模型。

人们通常使用createfromfile的形式。

为了保护其模型IP,他们通常会对模型产生一些困惑。

下面我们介绍另一种方法createfrombuffer。

在编译算法SDK的阶段,可以将AI模型编译为机器码,并且可以在加载算法时从堆栈存储器中加载算法。

这样,模型的参数和定义将不会暴露给用户级别。

目前,MNN,NCNN和RKNN都提供了一个类似的createfrombuffer接口,非常方便用户使用。

使用方法也非常简单。

该操作分为以下三个步骤:(1)生成十六进制模型文件(2)生成头文件和cpp文件(3)使用createfrombuffer加载模型1。

生成十六进制模型该文件可以使用linux提供的xdd工具来完成。

生成十六进制模型文件。

假设您具有已编译的mnn模型或rknn模型,则只要执行以下操作,就可以生成一个十六进制模型文件:xxd-iface _det.mnnface _det.cpp 2.生成头文件和cpp文件cpp文件是由xdd创建该工具已生成,文件格式如下(文件太大,仅前两个部分被截取):3.使用createfrombuffer接口实现模型加载。

我们以MNN接口为例。

核心代码块如下:成功编译后,可以将AI固定到模型SDK的so库中。

联系方式

位居电子保护元件及天线产品之领导地位的佳邦科技,为电脑、通信、消费性及车用电子市场提供了多元化的选择。为了让电子产品可以发挥更完善、有效率的功能,佳邦科技提供了完整的电路保护、电磁干扰/电磁防护、电源保护、RF天线产品线。佳邦在台湾保持元件及天线产品领先的地位。
在高度竞争的市场中大幅成长并达到效率的改善,产品良率的提升,以及成本效益的掌控,此外并要取得在先进电子保护元件与无线电射频天线市场的领导地位。

查看详情

在线咨询