阿里妹导读：AI 技术已经从互联网走向零售、汽车、银行等传统行业。受限于延时、成本、安全等多方面的限制，单一的云解决方案往往不能满足场景需求。线下智能方案逐步成为了智能化过程中重要的一环，今天，我们就一起来了解这一环，希望这些内容可以让同学了解线下智能的前景和其中待解决的技术点。

前言

阿里巴巴机器智能实验室线下智能团队从16年底开始涉及线下智能领域，从算法、工程、产品化、业务落地多个方面入手，与合作伙伴们一起取得了一些小小的成绩。算法方面，我们提出了自主研发的模型压缩方法，新型模型结构和目标检测框架；工程方面，我们研发出一套非数据依赖的量化训练工具，并且针对不同硬件平台，研发了高效推理计算库；同时我们也和服务器研发团队一起抽象出了一套软硬件产品化方案，以服务多样的业务形式，并在真实业务场景中实验落地。

在后面的篇幅中，我们主要会从算法探索、训练工具、推理框架、产品化和业务模式等方面对之前的工作做一个总结和分享。

算法探索

基于 ADMM 的低比特量化

低比特量化是模型压缩( ModelCompression )和推理加速( Inference Acceleration )中一个核心的问题，目的是将神经网络中原有的浮点型参数量化成 1-8Bits 的定点参数，从而减小模型大小和计算资源消耗。为了解决这个问题，我们提出了基于 ADMM（Alternating Direction Method ofMultipliers）的低比特量化方案。在公开数据集 ImageNet 上，我们在 Alexnet，ResNet-18，Resnet-50 等经典 CNN 网络结构上做了实验，无论是精度上还是速度上均超过了目前已知的算法。我们可以在 3-bit 上面做到几乎无损压缩。目前该方法已经被广泛应用到各种端上目标检测和图像识别的实际项目中。相关成果已经在 AAAI 2018 上发表。