Paddle Lite English | ??中文 Paddle Lite 是一?高性能、?量?、?活性强且易于?展的深度??推理?架，定位于支持包括移?端、嵌入式以及??端在?的多?硬件平台。 ?前 Paddle Lite 不?在百度?部??中得到全面?用，也成功支持了?多外部用?和企?的生?任?。 快速入? 使用 Paddle Lite，只需????的步?，就可以把模型部署到多??端??中，?行高性能的推理任?，使用流程如下所示： 一. 准?模型 Paddle Lite ?架直接支持模型??? PaddlePaddle 深度???架?出的模型格式。目前 PaddlePaddle 用于推理的模型是通? save_inference_model ?? API 保存下?的。 如果?手中的模型是由?如 Caffe、Tensorflow、PyTorch 等?架?出的，那??可以使用 X2Paddle 工具?模型??? PaddlePaddle 格式。 二. 模型?化 Paddle Lite ?架?有?秀的加速、?化策略及??，包含量化、子?融合、Kernel ??等?化手段。?化后的模型更?量?，耗??源更少，?且?行速度也更快。 ?些?化通? Paddle Lite 提供的 opt 工具??。opt 工具?可以???打印出模型中的算子信息，?判?不同硬件平台下 Paddle Lite 的支持情?。??取 PaddlePaddle 格式的模型之后，一般需要通?? opt 工具做模型?化。opt 工具的下?和使用，??考 模型?化方法 。 三. 下?或?? Paddle Lite 提供了 Android/iOS/x86/macOS 平台的官方 Release ???下?，我??先推??直接下? Paddle Lite ???? ，或者? Release notes ??取最新的 ?????? 。 Paddle Lite 已支持多??境下的源???，?了避免??、繁?的?境搭建?程，我?建??使用 Docker ?一???境搭建 ?行??。?然，?也可以根据宿主机和目???的 CPU 架?和操作系?，在 源??? 中?到相?的?境搭建及??指南，自行完成???境的搭建。 四. ??示例 Paddle Lite 提供了 C++、Java、Python 三? API，?且提供了相? API 的完整使用示例: C++ 完整示例 Java 完整示例 Python 完整示例 ?可以?考示例中的?明快速了解使用方法，?集成到?自己的?目中去。 ??不同的硬件平台，Paddle Lite 提供了各?平台的完整示例： Android apps [?像分?] [目???] [口???] [人???点] [人像分割] iOS apps Linux apps Arm x86 OpenCL Metal ??麒麟 NPU ??昇? NPU 昆?芯 XPU 昆?芯 XTCL 高通 QNN 寒武? MLU (瑞芯微/晶晨/恩智浦) 芯原 TIM-VX Android NNAPI ??科 APU ?? NNA Intel OpenVINO ?智 NPU 主要特性 支持多平台：涵盖 Android、iOS、嵌入式 Linux ??、Windows、macOS 和 Linux 主机 支持多??言：包括 Java、Python、C++ ?量化和高性能：??移?端??的机器???行?化，??模型和二?制文件??，高效推理，降低?存消耗 持?集成 System x86 Linux ARM Linux Android (GCC/Clang) iOS CPU(32bit) CPU(64bit) OpenCL - - - Metal - - - ??麒麟 NPU - - - ??昇? NPU - - 昆?芯 XPU - - 昆?芯 XTCL - - 高通 QNN - - - 寒武? MLU - - - (瑞芯微/晶晨/恩智浦) 芯原 TIM-VX - - Android NNAPI - - - ??科 APU - - - ?? NPU - - - Intel OpenVINO - - - ?智 NPU - - - 架??? Paddle Lite 的架???着重考?了?多硬件和平台的支持，?且强化了多?硬件在一?模型中混合?行的能力，多??面的性能?化?理，以及?端??用的?量化??。 其中，Analysis Phase 包括了 MIR(Machine IR) 相?模?，能??原有的模型的?算???具?的硬件列表?行算子融合、?算裁剪 在?的多??化。Execution Phase 只涉及到 Kernel 的?行，且可以??部署，以支持?致的?量?部署。 ?一步了解 Paddle Lite 如果?想要?一步了解 Paddle Lite，下面是?一步??和使用 Paddle Lite 的相??容： 文?和示例 完整文?： Paddle Lite 文? API文?： C++ API 文? Java API 文? Python API 文? CV ?像?理 API 文? Paddle Lite 工程示例： Paddle-Lite-Demo ??技? 模型量化： ????量化 ????量化 ??分析： ??和性能分析工具 移?端模型??：点? 了解一下 ?????模型?：??在 PaddleHub ??和下? Paddle 的???模型 ??推理 AI 硬件?一适配?架 NNAdapter：点? 了解一下 FAQ FAQ：常???，可以?? FAQ 、搜索 Issues、或者通??面底部的?系方式?系我? ??代? ??代?：如果?想一起?? Paddle Lite 的??，??代?，??? ??者共享文? 交流?反? AIStudio ??平台端?部署系列?程： https://aistudio.baidu.com/aistudio/course/introduce/22690 ?迎?通? Github Issues ?提交??、?告?建? 技?交流微信群：添加 wechat id:baidupaddle或?描下方微信二??，添加?回?小助手“端?”，系?自?邀?加入；技?群 QQ 群: 一群696965088（已?） ；二群，959308808； ???微信公??????????????????官方技?交流QQ群 如果??我?的工作感?趣，也?迎 加入我? ！ 版?和?可? Paddle Lite由 Apache-2.0 license 提供。
