TPU-MLIR 正在参加 ,请投票支持!
TPU-MLIR 在 中已获得 {{ projectVoteCount }} 票,请投票支持!
正在火热进行中,快来投票支持你喜欢的开源项目!
2021 年度 OSC 中国开源项目评选 >>>
TPU-MLIR 获得 2021 年度 OSC 中国开源项目评选 !
授权协议 Apache
开发语言
操作系统 跨平台
软件类型 开源软件
所属分类
开源组织
地区 国产
投 递 者
适用人群 未知
收录时间 2022-08-12

软件简介

TPU-MLIR 是一个专注于 AI 芯片的 TPU 编译器开源工程,提供了一套完整的工具链,可以将不同框架下预训练过的深度学习模型,转化为可以在 TPU 上运行的二进制文件 bmodel,从而实现更高效的推理。

MLIR (Multi-Level Intermediate Representation) 是一种用来构建可重用和可扩展编译基础设施的新方法,由 LLVM 原作者 Chris Lattner 在 Google 工作时期开发,MLIR 目的是做一个通用、可复用的编译器框架,解决软件碎片化,改进异构硬件的编译,显著减少构建特定领域编译器的成本。

整体架构

特性

TPU-MLIR 相对其他编译工具,有以下几个优势:

  • 简单:通过阅读开发手册与工程中已包含的样例,用户可以了解模型转化流程与原理,快速上手。并且,TPU-MLIR基于当前主流的编译器工具库MLIR进行设计,用户也可以通过它来学习MLIR的应用。
  • 便捷:该工程已经提供了一套完备的工具链,用户可以直接通过现有接口快速地完成模型的转化工作,不用自己适配不同的网络。
  • 通用:目前 TPU-MLIR 已经支持 TFLite 以及 onnx 格式,这两种格式的模型可以直接转化为 TPU 可用的 bmodel。如果不是这两种格式呢?实际上 onnx 提供了一套转换工具,可以将现在市面上主流深度学习框架编写的模型转为 onnx 格式,然后就能继续转为 bmodel 了。
  • 精度与效率并存:模型转换的过程中有时会产生精度损失,TPU-MLIR 支持 INT8 对称和非对称量化,在大幅提高性能的同时又结合原始开发企业的 Calibration 与 Tune 等技术保证了模型的高精度。不仅如此,TPU- MLIR 中还运用了大量图优化和算子切分优化技术,以保证模型的高效运行。
展开阅读全文

代码

的 Gitee 指数为
超过 的项目

评论

点击引领话题📣
发表了资讯
08/12 21:31

TPU-MLIR 正式开源!跟算能一起打造下一代 AI 编译器

近几年,以深度学习为代表的AI技术发展迅猛,深度神经网络广泛应用于各行各业。 算能TPU编译器开源,架起算力硬件和AI框架的桥梁 开发者使用TensorFlow、PyTorch、PaddlePaddle等深度学习框架可以快速训练出自己的AI模型,但这些模型想要部署到TPU、GPU等终端算力设备时,需要将模型中的计算图/算子等输出为低级的机器语言更快地执行,这时AI编译器就有用武之地了。作为框架和硬件之间的桥梁,AI编译器可以实现一次代码开发,各...

1
4
没有更多内容
加载失败,请刷新页面
点击加载更多
加载中
下一页
发表了博客
{{o.pubDate | formatDate}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
发表了问答
{{o.pubDate | formatDate}}

{{parseInt(o.replyCount) | bigNumberTransform}}
{{parseInt(o.viewCount) | bigNumberTransform}}
没有更多内容
暂无内容
暂无内容
0 评论
9 收藏
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部