四年蝉联！华为云再获中国大数据平台市场第一
2024-08-26
近日，全球领先的IT市场研究和咨询公司IDC发布了最新的《中国大数据平台市场份额，2023：数智融合时代的真正到来》（Doc# CHC5159812，2024年8月）报告。报告显示，2023年中国大数据市场相比2022年增长24.6%，尤其在先进制造、汽车、金融等行业具备强劲增长潜力，整体市场空间仍在高速增长。华为位居中国大数据平台整体市场第一，这是第四年华为蝉联该项市场第一。
同时，华为云在中国大数据本地化部署市场表现卓越：凭借基于华为云Stack平台本地化部署的FusionInsight智能数据湖方案，华为在该领域市场份额达到31.5%，持续位居第一。
数智融合时代来临
IDC在报告中指出，2023年是数智融合时代真正到来的一年。2022年，华为率先提出“数智融合”理念，并在同期推出了数智融合解决方案。经过2年多的打磨，华为云数智融合解决方案全新升级：
· LakeSearch+盘古大模型提供强大的文本检索、多模态检索与搜索生成RAG能力，其中RAG端到端准确性高达85%，华为云向量检索算法（qsgngt）在Ann-Benchmarks测评中排名第一。
· DataArts Insight+盘古大模型通过自然语言快速生成BI报表，快速智能数据见解，其指标准确度可达90%以上，让业务人员轻松用数，所想即所得。
· DataArts数据治理生产线内置AI4Data引擎对接盘古大模型，辅助SQL生成、作业生成让数据开发效率翻倍，辅助数据治理实现数据质量自动探查、质量规则自动推荐效率翻倍。
· DataArts数据工程Data4AI支持结构化和非结构化数据统一管理，面向大模型提供一站式数据获取、数据清洗、数据标注、数据安全、数据发布能力，内置60+全模态智能清洗算子，为大模型高效高质量供数，效率提升10倍。
数据治理生产线高效推动数智融合场景落地
DataArts数据治理生产线是华为云提供的数据全生命周期一站式开发、治理、服务运营平台，结合了数据分析市场实践以及华为自身17年数据治理的丰富经验，为政企、云原生客户提供了数据治理的顶层规划和数据架构设计，通过数据集成、数据开发、数据治理、数据服务、数据可视化等功能，支持行业知识湖智能化建设，帮助企业客户进行数字化转型和智能化升级，在先进制造、汽车、金融、政府等行业有丰富的数据治理实施经验。
面向大模型场景，DataArts新增支持非结构化数据管理，打通分析+AI工作平面，高效为大模型高质量供数。
· 支持全流程的自动化和智能化，将人工智能算法模型应用到数据集成、数据质量、数据建模、数据开发、数据安全、数据洞察的数据全生命周期治理。
· 支持高质量安全合规供数，将海量、复杂、无序的数据转化为清洁、透明、高质量的数据能源，结合多层面数据安全防护，输送给业务。
湖仓一体数智生产线的基石
IDC在报告中也指出，越来越多的企业正在积极建设湖仓一体。“湖仓一体”理念最早也由华为于2020年提出，打破湖仓数据孤岛，行业也称作LakeHouse“湖内建仓”，即通过全量数据入湖存储，增量数据实时入湖更新，统一数据格式，支持湖内ACID事务操作，实现湖内数据分层建模，全局一份数据支撑MPP、批、流、交互式、机器学习多场景业务负载，免数据搬迁，高效数据流通。
华为云湖仓一体架构基于FusionInsight智能数据湖方案打造，企业级版本支持单集群6万+节点，满足客户在公有云、混合云、边缘等场景灵活部署的诉求，架构云原生升级，支持容器部署资源弹性提升5倍，同时公有云提供全托管、Serverless云原生版本，支持用户按需使用按量计费免运维，效率提升3倍以上。
华为云大数据2018年首创“存算分离”架构，并持续迭代再次推出“三层池化”技术，持续引领行业。HetuEngine提供跨湖、跨仓、跨域的协同分析能力，通过数据虚拟化技术实现湖仓一体，减少80%数据搬迁，跨源跨域协同分析提效50倍。
湖仓一体LakeHouse当前也已经融合了华为云GaussDB(DWS)高性能云数据仓库、GES万亿级图引擎、TICS可信数据流通等服务，通过LakeFormtion统一元数据和统一数据安全，让数据湖解决方案构建更加容易，数据流动更加高效。
“流批一体”增强LakeHouse架构让数据分析实时化
在湖仓一体LakeHouse架构基础上，华为云大数据增强了流批一体能力，即数据秒级实时入湖更新，实时数据读取，一份数据在统一的数据格式上支持实时、准实时、离线数仓加工，高效支撑业务从T+1到T+0实时化，大大提升用户体验。
同时DataArts Studio提供了一键数据入湖工具，一套平台支持批、流、CDC增量等场景数据联动入湖，提供可视化流批一体作业开发调度平台，内置低代码开发能力，集成作业监控，完善的批流全链路数据治理，让流批作业轻松上线。
华为FusionInsight智能数据湖解决方案已有超过15年技术积累，服务来自超过60个不同国家的3500多个企业用户，覆盖政务、金融、运营商、互联网等各行各业。目前最大商用单集群规模已超过10000节点，部署数据超过500PB，已成为越多越多企业用户的大数据平台首选。
中国工商银行采用华为云FusionInsight建设了全行统一的数据湖，在建模层面实现了湖仓一体新范式，超越传统数仓范式建模效率，加速云数智融合。当前，工商银行的单体最大的数据湖超4000节点，支撑300多行内大数据应用，日均承载批量计算作业数超150万。
海亮集团基于华为云数智融合解决方案，构建统一数智融合平台，打通了数字工厂的全业务流程，让数据更好的服务AI应用，实现成材率由91%到93%的提高，单位产品综合能耗下降300kwh，个别工序的劳动效率提高3倍。
未来，华为云FusionInsight将继续秉持开放的生态理念，在“数智融合”、“湖仓一体”与“流批一体”等创新理念与技术方案的基础上不断探索大数据技术前沿，为企业用户带来持续领先的技术体验，加速数字化转型与智能化升级。