当前位置:首页 期刊杂志

深度赋智:做AI市场的“水电煤”

时间:2024-04-24

李宝华

人工智能研发运营体系:热潮大模型背后的“基建工程”

随着经济发展和科技融合不断深入,人工智能(AI)发展迎来新一轮红利,科技革命和产业升级处于进行时。近年来,AI工程化的研究热度持续提升,其目的是帮助企业在数字化转型过程中,更高效、大规模地利用AI创造业务价值。“人工智能研发运营体系”(后文称:MLOps)作为AI工程化重要组成部分,其核心思想是解决AI生产过程中团队协作难、管理乱、交付周期长等问题,最终实现高质量、高效率、可持续的AI生产过程。目前,国内外“MLOps”落地应用正持续快速推进。

厦门深度赋智科技有限公司(简称“深度赋智”),于2019年7月成立厦门总部,后期在上海及深圳均设有分公司。吸引了来自于世界各地的顶尖人才,并且汇聚了业界头部科技公司的资深研究员、架构师。竞赛上,斩获了人工智能顶尖赛事NeurIPS的多个世界冠军,战胜了Google、微软、阿里、腾讯、清华、南大等团队;学术影响上,在多个AI领域顶会顶刊上发表了高影响力论文,公司2021年累计发表两篇AutoML 领域前沿论文(该期刊是AI学术界的顶级期刊,2021年全球共发表313篇IEEE T-PAMI,其中国内企业累计发表仅24篇)。

深度赋智在成立初期对市场的调研以及结合Gartner的调查数据发现,目前只有53%的项目能够从AI原型转化为生产。AI生产转化率低的主要原因在于模型全链路生命周期管理存在问题,包括跨团队协作难度大、过程和资产管理欠缺、生产和交付周期长等。随着智能技术的发展,AI应用在业务研发中的占比逐漸升高,但AI模型训练的复杂性导致其开发慢、效率低,严重影响了业务的灵活性。主要的凸显问题为以下三方面:

第一,跨团队协作难度大。机器学习项目生命周期中涉及业务、数据、算法、研发、运维等多团队,团队间缺乏相同的技术和业务背景知识作为协作基础,从而带来沟通屏障。同时每个团队的协作工具不尽相同,从数据和算法转化为推理服务的整个过程漫长而复杂,从而增大协作难度。

第二,过程和资产管理欠缺。模型生产过程无标准化管理,导致AI 资产的价值无法有效发挥。原因在于以下几方面:一是生产过程冗长难管理,AI模型生产过程涉及的环境、流程复杂,各部门习惯于小作坊的生产模式,重复造轮子现象普遍;二是AI资产无集中共享机制,组织内数据、特征、模型等碎片化AI资产无法共享使用,优秀实践经验难以沉淀。

第三,生产和交付周期长。机器学习模型生产和交付是一个漫长、复杂又易出错的过程,且耗费的时间成本较高。据Algorithmia 报告显示,38%的企业花费超过50%的时间在模型部署上。这一现象的主要原因有三:一是模型文件的生产需要经过不断重复的实验和评估;二是模型服务需要通过编写服务代码和配置参数,并达到业务需求后,方可部署上线;三是业务效果的保证需通过在线模型开展服务验证和结果对比。

MLOps在国内外得到了广泛应用,并在多个行业取得了实质性效果。2015年至今,从业界意识到机器学习项目技术债给AI 生产上线带来的潜在巨大影响伊始。2018年业内人士逐渐开始密集讨论大规模生产中机器学习生命周期集成化管理的重要性,MLOps这一概念被提出并逐步接受。2020年以来,产业焦点集中于AI大规模快速落地,布局MLOps平台或工具的需求日益迫切,推动组织数智化转型成为产业界追逐的目标。2021年,Gartner将包括MLOps在内的XOps列为2021 年十大数据和分析技术趋势之一。此外,从2019年到2022年,Gartner连续4年将MLOps纳入数据科学与机器学习技术成熟度曲线。

深度赋智:通过自研,解决关键技术受制于人的“卡脖子”问题

作为AI基础设施之一,MLOps促进各团队高效协作,提升业务价值产出。一般来说,实施MLOps需要遵循的原则包括自动化、持续性、版本化、可监控、可测试、可追溯、可复现、可协作等。深度赋智通过构建全自动人工智能研发运营中台,为机器学习模型全生命周期建设标准化、自动化、可持续改进的过程管理体系,使组织规模化、高质量、高效率、可持续地生产及迭代机器学习模型,能有效缓解AI生产过程地各种管理问题,提升公司AI生产的转化效率。

深度赋智致力于帮助每一家企业快速落地AI应用、高效地管理公司AI资产。通过核心自研产品:深度赋智天机(ACT),为各行业的客户提供全自动人工智能研发运营中台(ACT)。本中台涵盖无代码数据科学与机器学习系统(Full AutoML)和低代码人工智能系统(Low-Code AI),覆盖文本、图像、视频、语音、表格、时序、搜索、推荐等多模态任务训练及管理运营。

深度赋智天机的核心技术为:MetaAI引擎。深度赋智创新性地提出了一种新型的全自动机器学习框架,首次打破了现有自动机器学习中各搜索空间的独立设计,并使用数据集知识锚点加进化算法来加速搜索,解决了在超大空间搜索最优方案的设计难题。该框架实现了全流程自动化,极大降低了机器学习应用门槛。其中MetaAI子系统模拟了人类AI工程师的学习过程,通过观察已有任务的数据流形与策略效果以进行全自动的探索性优化。经过观察,MetaAI可以很好地总结不同任务知识,将原本耗时数年的AI构建过程缩短到最短数十秒。

高质量发展:着力加强能源电力智慧数字化基础能力建设

近年来,在“双碳”目标下,智慧能源产业的发展将会为能源行业带来了新机遇。科技创新是各能源集团“十四五”实现高质量发展的重要驱动力。深度赋智把握战略主动,聚焦重点领域,加速核心合作,为能源集团在综合智慧能源领域提供MLOps的创新力量。

深度赋智在2021年与新华发电(新华发电作为中核集团非核绿色能源战略实施主体,肩负“绿色报国 创新共享”发展使命,兼具中央企业管理优势和水利部行业专业优势。业务涵盖水电、新能源、综合智慧能源三大板块,形成了“源网荷储用”多元化的产业协同发展布局)完成战略协议的签订。双方将聚焦碳中和以及电力数字化转型,将充分发挥各自优势共同打造“AI+电力”解决方案,以此构建能源互联网新生态,引领能源行业数字化转型,推动绿色电力转型,加快建设能源强国。

为更好贯彻中核集团及新华发电数字化转型指导方针,2023年深度赋智与新华发电完成具体项目落地,整体将以新华发电数字化转型路径为战略指引,全面建成全自动人工智能研发运营中台(后续称“智能应龙”)。“智能应龙”将为新华发电实现“四个统一”的精细化人工智能资产管理模式。

人工智能资产统一沉淀。将新华发电AI基础任务能力、数据资源、数字化资产进行统一沉淀,合入一起运营管理,促使AI资产能够在各种场景下复用。

人工智能资产统一管理。为所有数字化资产之间的互通、互助、并行应用提供基础支持。所有组件实现微服务化,所有AI资产统一管理,并通过“智能应龙”实现新华发电对多种智能化资源的自主可控,提升智能化应用的安全性。

人工智能资产统一推广。“智能应龙”可以对AI模型进行统一管理,然后针对于不同电站的实际需求进行统一推广,在节省重复开发成本的同时,还能提升对于AI模型的监控能力,做到实时更新。

人工智能資产统一开发。“智能应龙”能满足快速组装个性化AI应用的能力,通过无代码全自动AI任务开发系统可以快速生产基础AI任务,以及低代码AI应用开发服务系统可以进行灵活组装、拼接,使新疆新华实现随时、随需及统一开发模式。

坚实的产业基础之上才能实现产学各界万花盛放

最后,眼下最火热的AI应用莫过于大模型(ChatGPT等)的应用。预训练大模型正在推动一场AI新变革。而在关注这场变革之前,深度赋智认为更应该关注根技术、基础平台的打造与建设。坚实的产业基础之上,才能实现产学各界万花盛放。AI大模型之变,应该有强壮的根。深度赋智将大模型作为算法底座之一,结合具备无代码数据科学与机器学习系统的深度赋智天机,可进一步降低业务子场景数据标注、子任务过多、离线流程繁琐耦合等AI落地难点。搭载可支持业务线快速采集数据、自动训练建模、标准化评估、一键化部署的全自动人工智能研发运营中台,大模型将极大减少子环节数量、提升建模效率,优化建模质量,提供更便捷的流程设计方式。

当前我国积极发展数字经济,推动数字经济与实体经济深度融合,AI产业作为数字经济发展的核心引擎,正处于快速发展期。但从客观评价,产品和技术依旧是企业发展的硬通货,AI市场距离成熟还有一段距离。在陪伴产业发展的过程中,深度赋智将以“AI行业的‘水电煤”的身份与大家一同共建AI产业。

免责声明

我们致力于保护作者版权,注重分享,被刊用文章因无法核实真实出处,未能及时与作者取得联系,或有版权异议的,请联系管理员,我们会立即处理! 部分文章是来自各大过期杂志,内容仅供学习参考,不准确地方联系删除处理!