中国大数据管理平台厂商评估

当前大数据技术的创新速度已经领先于市场需求，一方面技术提供商在不断突破创新，另一方面行业用户还困在大数据应用如何带来价值的起步阶段。不同行业不同数字化阶段的用户，对于技术能力、工程能力以及产品之外的生态互补能力需求均有不同的侧重点。

在此背景下，IDC开启了《IDC MarketScape: 中国大数据管理平台厂商评估，2020）》研究并已于近期发布了此报告。

大数据管理平台市场现状

市场发展驱动力：

1、大数据技术的不断突破创新，主要来源于厂商的主动性突破创新，例如湖仓一体、交互式查询等；

2、从商业模式上看，商业生态环境无时无刻不在变化，企业也需要不断调整、扩展业务边界，加强生态合作，使得企业与外部之间的数据交互呈现明显增长，为数据集成、查询、实时分析等都带来需求；

3、数字化转型、智能化升级带来的需求，一方面企业内部场景都有降本增效的需求，另一方面企业都在向原生数字化企业发展，要实现业务数据化必须要规范建设大数据平台；

4、数据量的变化，一方面数据量以26%的CAGR（2019-2024年复合增长率）速度高速增长，另一方面新增数据中半结构化数据、非结构化数据越来越多，对于数据存储和计算带来新的需求。

需求特点：

不同行业间需求差异化较高，对于有近千PB级数据量的用户，比如互联网、运营商、金融行业头部机构，用户对于高可用、吞吐量、实时性、并发量、弹性扩展等有很高的要求。而大部分传统行业用户并没有较高的数据量积累，更重视的是数据集成、治理，以及大数据平台工程化能力。

新技术热点：

流数据分析已成为大数据平台必备组件、图数据库、智能搜索、交互式分析、数据库/数仓/大数据平台融合成一体的数据管理架构、隐私计算。

从市场格局角度来看，大致分为3类公司：

1、以云服务厂商为代表，追求技术的领先性，具备丰富的产品组合，代表厂商AWS、阿里云、腾讯云；

2、以传统ICT厂商为代表，强调大规模部署的能力，强调扩展性、稳定性，代表厂商华为、浪潮、新华三；

3、大数据时代的创企，典型的企业有早期的星环科技、Cloudera，以及近2年正在崛起的Kyligence公司。

未来趋势：

1、对于大数据的投资不再是单纯的平台层、基础软件层的投资，厂商都在积极拓展“数据中台”类解决方案，强化数据治理能力，建立数据服务能力，以降低数据获取门槛以及数据分析任务的复杂性；

2、数据管理平台的简化和统一，数据库、数仓、大数据平台、数据湖混搭架构下，如何简化数据pipeline、提高数据开发效率是重要方向。

供行业用户参考建议

几个关键问题：

1、开源还是自建：基于开源技术自建与采用商业化产品的考量，自建大数据系统固然有较高的自主化程度，大部分传统企业并没有足够的人力资源和技术水平可以熟练灵活采用大数据；

2、数仓还是大数据、数据湖：新增数据，未经处理的数据，先入大数据平台，经过清洗处理后，按照企业的元数据管理标准进入数仓，重要的是先规划好企业的元数据标准，避免重复建设、逐步解决数据烟囱林立问题。

评估厂商的大数据能力：

1、在大数据平台之外，考量厂商以及其合作伙伴对业务应用的理解能力，大数据实施中能够融入行业最佳实践经验的能力；

2、数据治理能力，包括工具层面与方法论层面；

3、考虑能够与组织商业模式、生态体系互补的合作伙伴，用户在选择大数据平台的时候，应该考虑供应商在此方面能提供的支撑，包括数据资源以及商业合作层面的考量；

4、不同行业间数据就绪程度、数据架构基础、数据应用需求差距大，寻找适配当前业务需求的产品最为重要；

5、未来的大数据分析类平台的建设，都应该考虑数据的自助服务能力、数据的复用性，不断推进企业业务数据化，数据资产化。

展望未来，IDC中国助理研究总监卢言霞表示：“推动大数据平台的建设，核心即深化数字化业务战略及执行。大数据平台建设能取得的成就与数字化转型能实现的高度呈正相关，要推动数字化转型首先需要建立协同的组织架构与流程,一是建立自上而下的战略，由核心高管推动落地；二是建立真正能够推动数字化的组织架构，三是建立高度认可、全员积极推动的数据文化；最后，建立业务与技术部门的有效协同机制。”