经济新常态下,如何对海量数据进行剖析挖掘以支撑敏捷决策、适应市场的快速厘革,正成为企业数字化转型的要害�;笛八惴苁侗鹗菽P�,基于纪律完成学习、推理和决策,正广泛的应用在金融、消费品与零售、制造业、能源业、政府与公共效劳等行业的种种业务场景中,如精准营销、智能风控、产品研发、设备监管、智能排产、流程优化等。企业死板的机械学习虽然能有效支撑业务决策,但由于严重依赖数据科学家,其技术门槛高、建模周期长的特点正成为企业实现数据驱动的阻碍。数据科学与机械学习平台是指笼罩数据收罗、数据探索、数据处理、特征工程、模型构建、模型训练、模型安排与宣布、模型治理与运营等建模全流程的平台,提供一站式建模效劳,能显著提升建模效率、降低建模门槛。数据科学与机械学习平台能支持并赋能企业各业务场景实现智能决策,资助企业打造数据驱动型组织。本报告对数据科学与机械学习平台市场进行重点研究,面向金融、消费品与零售、制造与能源、政府与公共效劳等行业企业,以及人工智能软件与效劳提供商的数据部分、业务部分卖力人,通过对业务场景的需求界说和代表厂商的能力评估,为企业数据科学与机械学习平台的建设计划、厂商选型提供参考。
1. 2023年数据科学与机械学习平台市场规模抵达55亿元
图1:2022-2026年数据科学与机械学习平台市场规模
据爱剖析推测,2022年数据科学与机械学习平台市场规模为41亿元,2023年将抵达55亿元,同比增长35%。未来爱剖析测算2026年数据科学与机械学习平台市场规模将抵达154亿元,2022-2026四年CAGR为40%。未来几年,数据科学与机械学习平台市场的快速增长主要受AI大模型驱动。ChatGPT的爆火推升了企业对生成式大模型的认知,也提高了企业对AI解决计划的预算投入,数据科学与机械学习模型作为AI解决计划的基础设施建设,将与AI解决计划一起坚持高速增长。目前,数据科学与机械学习平台市场在金融、电信、互联网等行业渗透率最高;大中型企颐魅正加速平台落地。分行业来看,受数据体量和质量水平影响,数据科学与机械学习平台在金融、电信、互联网等行业渗透水平较高。大型企业均已通过采购或自建的要领搭建起数据科学与机械学习平台,中型企业也在加速安排落地。其次是政府机构,数据科学与机械学习平台在省级部分单位的渗透率逐渐提升。别的,数据科学与机械学习平台在零售、新能源、工业、医疗等行业的渗透率较低,其中大型企业尚处于引入、准备阶段。从企业规模来看,大中型企业的业务线条庞大、潜在AI应用场景数量可观,且自身技术人员储备富足,从久远来看,使自身具备AI建模能力是更恒久、性价比也更高的要领,因此待数据条件成熟后大中型企业更倾向引入数据科学与机械学习平台;小型企业业务简单,技术人员有限,更倾向直接从算法商店直接购置成熟的AI算法安排实施,实现AI应用的快速验证,后续AI应用场景增多或是采购的算法不支持个性化业务场景时,才会考虑采购数据科学与机械学习平台。2. 大模型将升级平台使用体验,成为厂商差别化竞争要害
AI大模型热潮引发大模型与千行百业的结合,大模型与数据科学与机械学习平台的融合已明确成为数据科学与机械学习平台的进化新偏向。数据科学与机械学习平台厂商在功效上区别不明显,平台使用体验成为差别化要害,大模型与数据科学与机械学习平台的融合能有效改善平台使用体验,将成为厂商获取未来竞争优势的发力点。据爱剖析调研,厂商对大模型与机械学习平台的融合实践路径主要基于以下三种形式展开:
图2:大模型与数据科学与机械学习平台融合形式
通过预训练大模型进行智能标注,如应用CV大模型对图片、语义进行智能标注,高效生成训练数据。
用大模型对业务立异思路进行快速开端验证。大模型的通用性使得它能快速给出结果,用户可先通过大模型验证业务思路后,再使用数据科学与机械学习平台开发训练小模型以包管模型效果和稳定性。
通过大模型实现建模全流程智能化。既有的低代码建模仍需要人工拖拉拽进行配置,历程中也需要对算子细节进行设置,人工操作不可制止,而自动化建模要领下,缺少数据科学家的专业性,只能适用于分类、回归等简单的场景。大模型建模的理想愿景是实现用户通过自然语言与大模型互动,大模型可自动化完成数据准备、模型训练、模型安排全流程。在这个历程中,大模型会为用户提供数据科学家级别的专业引导。这一要领的落地难度系数极高,需完成包括不限于完成从自然语言(NLP)到数据处理(SQL)的转化、数据的图形化、建立模型训练知识库等历程。
图3:人通过自然语言与大模型互动智能完成建模全流程
目前,前两种形式已经落地实现,第三种形式还处于研发阶段。3. 数据科学与机械学习平台厂商应满足企业信创需求信创国产化已经成为国家生长的重要战略之一。随着信创工业的生长,以金融、政府为代表的领域正沿着从基础设施到支撑平台再到企业应用的思路进行国产化替换,目前,大中型企业及机构在基础设施端的国产替换完成度较高,包括芯片、效劳器、操作系统、数据库、中间件等。数据科学与机械学习平台支撑数据资产价值变现的要害环节,且与以上基础软硬件关系紧密,需要适应企业国产化情况。这要求技术厂商尽快完成平台软件与国产化软硬件情况的兼容、适配及认证,包管平台能在国产CPU、AI加速芯片以及操作系统上稳定运行。图4:数据科学与机械学习平台的国产化适配要求
爱剖析对本次数据科学与机械学习平台项目的市场剖析如下。同时,针对加入此次报告的部分代表厂商,爱剖析撰写了厂商能力评估。数据科学与机械学习平台
数据科学与机械学习平台是指笼罩数据收罗、数据探索、数据处理、特征工程、模型构建、模型训练、模型安排与宣布、模型治理与运营等建模全流程的平台,提供一站式建模效劳,能显著提升建模效率、降低建模门槛。大模型开发平台也属于数据科学与机械学习平台的领域。
金融、消费品与零售、制造与能源、政府与公共效劳等行业企业,以及人工智能软件与效劳提供商的数据科学家、风控建模人员、营销建模人员、业务剖析人员、模型应用人员。企业对机械学习的应用越来越广泛。一方面,数据量的激增、算法的突破以及CPU、GPU、DPU等多种算力技术的生长,为以机械学习为基础的数据挖掘、盘算机视觉、自然语言处理、生物特征识别等技术在企业的应用涤讪了技术基��;另一方面,市场情况的快速厘革对企业决策敏捷性要求增强,不但推动企业将机械学习模型应用到营销、广告、风控、生产等更多业务场景,也对模型精度、模型开发敏捷性以及模型应用广度提出更高要求。然而,机械学习技术门槛高、建模周期长,难以满足企业通过基于机械学习模型提升经营效率的需求。数据科学与机械学习平台具备工具富厚集成、建模效率提升以及模型资产复用等特点,能充分满足企业对智能应用的需求,正成为企业智能化基础设施的须要组成。差别企业对数据科学与机械学习平台的需求差别,其差别取决于企业自身机械学习建模能力和对算法的需求。1. 关于金融、消费品与零售、制造与能源、政府与公共效劳等行业企业除大型金融机构外,死板企业普遍不具备机械学习建模能力。大型金融机构数据科学团队人才完善,对机械学习算法的探索和应用更前沿,如将机械学习模型应用在精准营销、智能风控、产品研发、客户体验治理等多个场景中。但更多的死板企业面临IT人才缺失、尚未开始智能化应用或处于局部试验的初期阶段。死板企业对数据科学与机械学习平台的需求主要体现在以下五个方面:图5:死板企业对数据科学与机械学习平台的需求
1)降低机械学习建模门槛,使非专业建模人员也能掌握机械学习建模技术,赋能业务。死板机械学习建模技术门槛高,需要组建专门的数据科学团队,包括数据工程师、数据科学家、开发工程师等,人力资本高昂。死板企业希望能降低机械学习建模门槛,如平台能实现数据自动处理、自动特征工程、图形化建�;蜃远5裙π�,使非专业的业务人员也能快速开展建模事情,广泛赋能业务,实现普惠AI。2)提供定制化算法、模型安排和运营效劳,快速建立业务价值。死板行业多具备行业特性,行业笔挺场景下的模型开发耗时耗力,并且死板企业对AI智能应用的探索尚处于初期,更倾向“小步快跑”,因此购置定制化算法能节约人力、实现快速产出以及验证AI智能应用效果。企业需要厂商提供定制化算法效劳、模型在硬件平台和操作系统平台的安排效劳以及模型运营效劳。3)缩短建模周期,提高业务敏捷响应度。以金融行业为例,金融企业的产品、效劳、风控模型均需随着客户行为改变而连续迭代更新。但死板的机械学习建模周期长达数月,无法敏捷响应业务需求。企业需要数据科学与机械学习平台内置富厚的行业算法、模型模板、案例等,供建模人员直接挪用,加速模型训练;或是提供一键安排功效,实现模型在生产情况的快速安排。4)提供咨询效劳,提升模型质量。关于具备一定机械学习建模能力的金融机构,需要厂商提供建模咨询支持,协助企业完成数据准备、模型训练、模型安排等环节,提升模型质量。5)支持国产化适配。以金融、政府、电信为代表的行业,其底层软硬件基础设施已经基本实现国产化,厂商需支持平台对国产软硬件的兼容、适配。关于中小企业或是刚开始试点智能应用的企业,相较于数据科学与机械学习平台需要的组织、人才、流程上的厘革与支持,采购适用于特定场景的AI智能应用是性价比更高、更迅捷的解决计划。人工智能软件与效劳商如算法效劳商、ISV即面向此类需求,提供模型和智能应用效劳。以算法效劳商为例,尽管具备专业的数据科学团队,但中小型企业的算法需求多样且个性化,如虽然都是AI视觉算法,智慧都会、智慧工业下的应用场景如宁静帽识别、产品瑕疵识别的模型却截然差别,需要基于业务数据集、业务思路划分进行训练。这使得算法效劳商经常面临严格的算法交付周期和算法精度要求。具体而言,人工智能软件与效劳提供商对数据科学与机械学习平台的焦点需求主要体现在以下四个方面:图6:人工智能软件与效劳提供商对数据科学与机械学习平台的需求
1)提高机械学习建模效率。软件开发公司、算法提供商面临严格的交付周期,但在死板AI应用开发要领下,数据接入、数据处理、模型训练等一系列建模流程都需要人工操作,建模周期长。其中数据接入环节因开源算法工具对差别类型的数据兼容性较差,需人工将原始数据转化为开源算法所支持的数据类型;数据标注环节往往通过人工完成,并且部分领域的标注历程严重依赖专业知识,整体数据准备将泯灭数周时间;模型安排中对模型的集成、监控和更新需要大宗的调研和实施事情,单个模型安排到上线需要3-5个月。企业需要完善的数据科学工具和建模功效,支持实现数据收罗、数据准备、特征工程、模型训练、模型安排等建模全流程,提高建模效率。2)满足数据科学家庞大场景建模需求。平台需支持数据科学家在庞大场景下进行灵活建模,如提供富厚的算法,预置主流机械学习框架,支持NoteBook建模要领,以及支持数据科学家在模型训练中手动调参等。3)对模型开发资源和盘算资源进行统一治理,支持盘算资源弹性扩容,加速建模盘算性能。死板开发模式中重复建设严重,如各项目数据准备、特征工程、模型训练等各自研发,造成模型开发治理资源、盘算资源浪费,难以适应大规模智能应用开发需求。另外,机械学习模型训练历程中泯灭大宗盘算资源,而一旦结束训练,盘算资源又处于闲置状态。企业需要实现盘算资源弹性扩容,满足模型开发差别阶段的盘算需求。4)为多角色的数据科学团队提供协作平台。机械学习建模历程需要数据工程师、数据科学家、数据剖析师等多角色配合协作完成,生存重复相同、协作流程不明确等问题,带来重复性事情。为满足金融、消费品与零售、制造与能源、政府与公共效劳等行业企业,以及人工智能软件与效劳提供商等甲方客户的焦点需求,厂商需具备以下能力:1. 厂商应具备完善的机械学习模型开发功效,提供包括数据收罗、数据准备、特征工程、模型训练、模型安排等功效在内的一站式端到端数据科学与机械学习平台。1)数据收罗方面,平台应具备整合多源异构数据的能力,支持实时接入结构化数据和非结构化数据(如表格、图片、时间序列数据、语音和文本等),并具备基本的ETL能力、数据实时更新和同步能力。2)数据准备方面,平台应提供富厚的数据清洗、数据探索工具。其中数据清洗环节,应能支持进行数据融合、数据缺失处理、数据分类、数据标注、数据异常处理、数据平滑以及整合非结构化数据和结构化数据等数据清洗事情,减少人工干预。数据探索环节,厂商需具备单变量和多变量统计、聚类剖析、地舆定位图、相似度怀抱平剖析能力。3)模型训练环节,针对非专业建模人员,平台应提供简便易用的建模工具,降低机械学习建模门槛。如平台可通过建模全流程可视化降低用户使用门槛,尤其在模型构建环节,应支持以拖拉拽的要领完成建模。针对专业建模人员,平台应具备较高的灵活性和开放性,提供主流开源算法和建模工具。如为专业的数据科学家提供自由灵活的NoteBook建模要领,并预置主流机械学习框架R、TensorFlow、Pytorch、Spark等,以及富厚的机械学习算法。4)模型安排环节,平台应支持模型一键安排,使建模人员可快速将模型从开发情况安排到生产情况中,并提供API接口供业务人员挪用。别的,平台还应提供模型版本治理和模型监控功效,实时监测模型性能,包管模型质量。5)资源治理方面,平台需能对CPU、GPU资源进行治理和整合,以容器化要领对算力虚拟化,实现弹性扩容、性能加速等功效,且差别部分和项目之间可共享集群资源。6)平台应具备AutoML能力,包括提供数据自动清洗、智能标注、自动特征工程和自动模型训练等功效,提高建模效率。其中特征工程环节,数据科学与机械学习平台应能实现自动化特征构建、特征选择、特征降维和特征编码;模型训练环节,平台应支持自动化模型选择、自动化调参、自动化超参数搜索、模型自动验证等,减少模型训练时间资本和人力资本。7)别的,平台还应支持多角色的数据科学团队协作,协同数据工程师、数据科学家、业务人员等差别角色在建模事情流程中的模型注解、讨论、答疑、评论等,使建模历程可追溯、模型可复用,减少重复性事情。2. 厂商需具卑锸直行业Know-how能力,为企业提供咨询和实施安排效劳。厂商的专业效劳能力体现在三个方面:一方面,基于富厚的笔挺行业知识和经验积累,厂商能为用户提供行业场景相关的算法、模型模板,或是将行业经验与模型算法相结合,形成诸如精准营销、智能推荐、反欺诈、设备预警等智能业务模型,供用户直接挪用;另一方面,厂商能提供建模咨询效劳,通过数据科学专家团队计划有效的模型应用到特定业务的运营计划,协助用户完成数据准备、模型训练、模型安排、模型运营等事情,以及将企业既有的数据集经验、特征工程经验、模型经验等提炼形成数字资产,内嵌到平台中。别的,厂商应具备较强的实施安排能力,包括提供定制化模型算法在硬件平台和操作系统平台的安排效劳、以及数据科学与机械学习平台的安排效劳。3. 厂商需支持数据科学与机械学习平台与国产化软硬件生态体系适配。如在效劳器方面,应支持华为、曙光、浪潮等国产效劳器品牌,在操作系统方面,支持中标麒麟、银河麒麟的适配认证;在国产CPU方面,支持与热潮、鲲鹏、海光、龙芯等国产厂商适配。2.2022Q1至2022Q4该市场付费客户数量≥10个;3.2021Q1至2022Q4该市场合同收入≥1000万元。
凯发k8国际
凯发k8国际(简称“凯发k8国际”),前身为中兴通讯的子公司“中兴力维”,是一家专注于泛在数据监测预警和大数据人工智能技术的科技公司。公司拥有170+授权发明专利,担负国家“科技立异2030—新一代人工智能”重大项目和“物联网与智慧都会要害技术及示范”重点专项的研发任务,是海内通用人工智能与机械学习平台DSML软件产品的焦点供应商。Sentosa数据科学与机械学习平台(简称“ Sentosa_DSML”)是凯发k8国际自主研发的一站式通用人工智能开发安排应用平台,通过低代码要领资助客户实现AI算法模型的开发、评估与安排,且具备完善的数据资产化治理模式、支持开箱即用简捷安排。Sentosa_DSML 以 Sentosa Data Cube 数据魔方平台为主体,集成了 Sentosa ML 机械学习平台与Sentosa DL 深度学习平台等组件,支持组合定制、灵活搭配。Sentosa_DSML已应用在政府、出书、电信、科研院所、高校、能源等多个行业,通用性较强。
凯发k8国际 Sentosa_DSML 在降低用户使用门槛、缩短模型开发周期、平台实用性以及运维效劳等方面具有明显优势。其中,在易用性方面,凯发k8国际已经将大模型能力融入平台中。别的,平台可适配国产硬件,满足信创需求。提供端到端一站式低代码人工智能开发安排平台,降低用户使用门槛。为适应非专业建模人员使用,Sentosa_DSML 可全流程零代码实现数据准备、模型开发、评估与安排。平台安排近300个标准算子,包括数据读入算子、数据处理算子、数据可视化算子、特征工程算子、机械学习算子、深度学习算子、模型评估算子等,支持用户通过拖拉拽的形式自界说算子流,之后算子流可直接宣布为效劳进行安排。除零代码可视化模型开发外,Sentosa_DSML 还支持自动化模型开发,支持自动化数据准备、自动化进行特征工程、自动选择模型、自动调参等模型开发全流程。别的,针对专业数据科学家,平台通过提供数据视图和模型库会见插件的形式支持低代码Notebook开发,提升模型开发效率。
具备高效的项目执行效率,显著缩短开发周期。Sentosa_DSML 高效的执行效率体现在模型开发、团队协作、资源治理、数据资产治理等多个方面。
在模型开发的编译环节,平台对算子流编译统一进行后台优化,包括优化编译器设计框架、代码结构以及内存,提高编译效率。
在团队协作方面,基于凯发k8国际完全的自主研发,平台界说了一套接口规范,包管建模各环节之间的衔接流畅,如清洗好的数据可直接拖入建模平台中,数据读入算子、统计剖析算子等进一步处理剖析。规范的接口可使数据工程师、数据科学家、软件工程师等多角色无缝协作,减轻代码开发事情量的同时也让团队更专注于模型精度的优化与领域知识的落地应用。
数据资产治理中,支持算子流、Notebook、模型、效劳、事情流和应用等全流程数据资产的版本治理,实现数据资产的沉淀和共享复用,提高模型开发团队事情效率。并且,模型的版本治理中支持一键切换,更轻便灵活,减少繁琐的更新安排事情。
在资源治理方面,平台以容器化的要领对盘算资源包括CPU、GPU、内存和存储等进行统一纳管、分派和动态扩容,尤其支持对差别项目资源进行隔离,制止因资源错配或抢占导致任务效率低及中断的现象。
平台操作界面互动友好,实用性较强。凯发k8国际秉持“用户友好”的理念,对用户操作细节进行革新。如Sentosa_DSML 支持一键安排,开箱即用,且具有良好的跨平台特性,可在私有云和公有云上安排。又如在模型开发中,用户对Notebook类型任务节点的条件参数构建表达式时,平台可自动提示数据集列名、自动校验表达式正确与否。如在AI调理中心,可对算子流、Notebook、脚本等调理单位进行准时调理、周期调理、消息触发调理等,作业执行要领更灵活。
与此同时,凯发k8国际已将大模型能力融入机械学习平台中,提高平台的可用性,例如在深度学习数据预处理中,用户可通过预训练大模型提供的AI自动标注功效,辅助完成数据标注事情。另外,在平台Chat with Data 大模型功效�?�,用户可通过自然语言输入,实现对数据的预处理。
别的,Sentosa_DSML可满足金融、政府、电信等多领域的信创需求。凯发k8国际对Sentosa_DSML有完全自主知识产权,且平台在底层硬件上全面适配Intel、鲲鹏、热潮CPU处理器和Windows、Linux、麒麟等操作系统。
实力雄厚,可为用户提供恒久运维效劳。凯发k8国际前身为中兴通讯子公司“中兴力维”,公司已申请并积累700余项发明专利与软件著作权,全业务笼罩全球70+国家和地区,可为用户提供算法更新、算法开发、人员培训以及后续运维升级等效劳支持。
上海世纪出书集团、中海油惠州石化、南网科研院、航天科技、国家城安院