[快速入门]数据湖平台
华为云数据湖探索服务 DLI

数据治理解决方案为梦饷提供一个弹性的架构和高性能的数据湖来应对电商特有的促销带来的流量洪峰,保证业务稳定、不受影响 了解详情 支撑点触科技建立数据分析平台 点触科技基于华为云智能数据湖平台DLI + DGC,建立了游戏数据分析平台,对游戏的营收、玩家的留存率、付费率等指标进行实时

数据治理中心

AI开发平台 ModelArts 政务场景 方案概述 深度结合华为数据之道方法论构建政务数据管理机制;基于华为数据湖底座及数据治理平台,联合行业伙伴构建省市统一政务数据湖,统一数据管理平台,数据开放共享平台,数据要素流通平台 业务价值 统筹建设、统一数据架构、统一数据湖平台、一体化数据资源

湖仓构建

湖内数据全触达,实现湖、仓、智融合统一。 立即购买 管理控制台 价格计算器 应用场景 数据湖建设和持续运营 多计算引擎共享元数据 数据湖建设和持续运营 场景描述 数据湖建设和持续运营,是指数据湖的初始化建设及后续日常的海量元数据及权限管理,因此客户需要便捷高效的建设和管理方式。 传统方式的弊端

AI平台ModelArts资源

AI平台ModelArts资源 AI平台ModelArts资源 面向开发者的一站式AI开发平台,可快速创建和部署模型,管理全周期AI工作流,助力千行百业智能升级 面向开发者的一站式AI开发平台,可快速创建和部署模型,管理全周期AI工作流,助力千行百业智能升级 购买 控制台 文档 资源与工具

AI平台ModelArts入门

AI开发平台ModelArts入门 AI平台ModelArts入门 面向开发者的一站式AI开发平台,可快速创建和部署模型,管理全周期AI工作流,助力千行百业智能升级 面向开发者的一站式AI开发平台,可快速创建和部署模型,管理全周期AI工作流,助力千行百业智能升级 购买 控制台 专家咨询

应用平台 AppStage

应用平台 AppStage 应用平台 AppStage 面向下一代的应用平台,帮助开发者快速高效地实现云原生应用及AI原生应用的全生命周期管理 面向下一代的应用平台,帮助开发者快速高效地实现云原生应用及AI原生应用的全生命周期管理 【 应用平台AppStage 火热公测中】点击“申请公测”立即体验!

MapReduce服务

云数据库 RDS for MySQL AI平台ModelArts 智慧水务 智慧水务 以大数据云服务MRS-Hadoop为核心,构建高性能、高可靠的统一大数据存储分析平台 优势 统一数据平台,灵活弹性 使用MRS服务搭建,具备企业级大数据的平台能力,并提供了丰富的开源组件,灵活搭配,

WeLink互动教学平台

智慧教室互动教学平台 把数字化教育带入每一间教室 WeLink互动教学平台围绕教学核心场景,联合优质教学资源,为学校构建极简、开放、智能的线上线下融合教学环境。 购买 咨询专家 方案介绍 互动型教室 • 支持本地/远程互动教学 • 多终端接入、4K无线投影 • 极简录播,一键分享

数据仓库服务 GaussDB(DWS)

多源数据采集,打破数据孤岛,形成统一的数据展现平台 统一分析决策平台 统一的数据决策平台,多维分析企业经营数据,有效支撑企业的经营决策 多场景展现 搭配BI工具多终端数据展现PC端/移动端/大屏,满足业务部门各种报表诉求 搭配使用 数据湖探索 DLI MapReduce服务 MRS 数据湖治理中心 DataArts

[相关产品]数据湖平台
Apache Hudi

Apache Hudi是下一代流数据湖平台,它直接在数据湖中引入了核心的仓库和数据库功能。Hudi提供了两种原语,使得除了经典的批处理之外,还可以在数据湖上进行流处理。Apache Hudi,也被发音为“hoodie”,是下一代流数据湖平台。它直接在数据湖中引入了核心的仓库和数据库功

数据地图 SaaS版

数据资产,为企业数字化转型提供有力支撑。       数据治理实施落地后,企业业务数据汇聚到数据湖平台内。数据作为数字化转型的核心要素,支撑数据应用,使能业务决策,推动业务创新。数据湖平台为数据提供汇集的载体,承载数据目录的梳理,形成可以支撑数据应用的数据资产。随着数据的汇聚,数

数据地图

数据资产,为企业数字化转型提供有力支撑。       数据治理实施落地后,企业业务数据汇聚到数据湖平台内。数据作为数字化转型的核心要素,支撑数据应用,使能业务决策,推动业务创新。数据湖平台为数据提供汇集的载体,承载数据目录的梳理,形成可以支撑数据应用的数据资产。随着数据的汇聚,数

数据中台软件

管理、数据湖备份、标准数据仓库备份、中心数据仓库备份、系统操作日志等功能;支持记录平台中台中所有操作的日志信息,方便进行日志审计7、公共模块,提供:业务系统管理、用户管理、角色权限管理、菜单管理、文件上传、消息推送列表、消息推送管理、流程管理、通用设置等功能;支持管理平台登录标题

华为云智能数据培训服务

,每班最大人数20人 开发者认证培训1.华为云大数据工作级开发者认证培训定位于培养了解一站式大数据平台MRS、数据湖治理中心DGC的架构,掌握MRS常用组件、DGC工作流及华为数据湖探索服务DLI的使用方案,熟知华为大数据搬迁方案的大数据开发工程师及数据治理工程师。课程内容:大数

蓝光存储配套服务

离线数据迁移服务离线数据迁移服务面向用户提供TB或PB级的海量数据离线迁移工具,有效降低用户成本的同时,提供稳定、快速的数据传输,包括用户到用户、用户到数据湖(IDC)、数据湖(IDC)到数据湖(IDC)等多种数据迁移场景。2.在线数据迁移与技术支持服务在线数据迁移与技术支持提供在线数据迁移工具、专业技术人员支持等服务。3

数字化营销平台配套服务-CNP

华为云数字化营销平台配套服务致力于为企业客户提供数据治理实施服务,依赖强大的平台能力建立企业数据治理体系,通过数据接入、清洗、模型构建、标签构建等数据服务,实现数据资产化、资产服务化,打通数据与业务之间的壁垒。  根据华为数字化转型经验提供企业数据管理方法指导,为企业建设完善的数据治理体系提供方法论

数字化营销平台配套服务

华为云数字化营销平台配套服务致力于为企业用户增长解决方案的客户提供数据治理实施服务,依赖用户增长强大的平台能力建立企业数据治理体系,通过数据接入、清洗、模型构建、标签构建等数据服务,实现数据资产化、资产服务化,打通数据与业务之间的壁垒。  具备各行业数据治理经验,能提供完善的咨询服务

煤矿数据集成设计服务-HCS版

华为煤矿军团数据集成设计服务依托华为20余年数据管理实践,以及煤矿军团在矿山行业的持续探索,为企业高效落地数据平台和数据集成方案。数据湖集成方案设计:包括数据调研、数据湖功能架构设计、用户权限适配、集成方案设计、集成实施指南编制、集成方案汇报、服务验收等工作。根据调研得到结果,包

[相似文章]数据湖平台
什么是数据湖探索服务_数据湖探索DLI用途与特点

Jar作业开发指南 精选文章推荐 更多相关文章精选推荐,带您了解更多华为云数据湖探索 了解数据湖探索 图解数据湖探索 什么是数据湖弹性资源池 数据湖探索使用约束限制 数据湖探索计费说明 数据湖探索与其他云服务的关系 数据湖探索快速入门 创建并提交Spark SQL作业 创建并提交Spark

什么是跨源连接-数据湖探索DLI跨源连接

展,能够通过SQL语句、Spark作业或者Flink作业访问其他数据存储服务并导入、查询、分析处理其中的数据,数据湖探索跨源连接的功能是打通数据源之间的网络连接。 数据湖探索跨源连接的功能是打通数据源之间的网络连接,目前DLI支持跨源连接访问的数据源包括:CloudTable HBase,CloudTable

什么是Flink OpenSource SQL_数据湖探索_Flink OpenSource SQL

OpenSource SQL的特点与功能 数据湖探索DLI是完全兼容Apache Flink,也支持标准Flink OpenSource SQL作业,DLI在开源Flink基础上进行了特性增强和安全增强,提供了数据处理所必须的Stream SQL特性。 数据湖探索DLI是完全兼容Apache

什么是Spark SQL作业_数据湖探索DLISpark SQL作业

SQL作业的特点与功能 数据湖探索DLI是完全兼容Apache Spark,也支持标准的Spark SQL作业,DLI在开源Spark基础上进行了大量的性能优化与服务化改造,不仅兼容Apache Spark生态和接口,性能较开源提升了2.5倍,在小时级即可实现EB级数据查询分析。 数据湖探索DLI是完全兼容Apache

MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云

混合云和公有云两种形态:混合云版本,一个架构实现离线、实时、逻辑三种数据湖,以云原生架构助力客户智能升级;公有云版本,协助客户快速构建低成本、灵活开放、安全可靠的一站式大数据平台。 云原生数据湖MRS(MapReduce Service)为客户提供Hudi、ClickHouse、

什么是弹性资源池_数据湖探索DLI弹性资源池

弹性资源池功能与特点 数据湖探索服务DLI用途与特点 弹性资源池的主要功能是资源进行统一的管理和调度,弹性资源池的特点有以下几点:统一资源管理、租户资源隔离、分时按需弹性等。 弹性资源池的主要功能是资源进行统一的管理和调度,弹性资源池的特点有以下几点:统一资源管理、租户资源隔离、分时按需弹性等。

移动开发平台_SAAS平台_基础软件_低代码开发平台

移动开发平台 移动开发平台 如何快速了解移动开发平台,saas平台,基础软件,低代码开发平台?软件开发生产线 CodeArts是一站式、全流程、安全可信的云原生DevSecOps平台,开箱即用,预置最佳实践,助力质量提升和效率倍增。华为云移动开发平台开放免费试用,欢迎您来体验。

什么是云平台_云平台介绍_云服务平台登录入口

平台介绍 云平台介绍 什么是云平台?华为云平台能为您提供安全、可信、持续创新的云计算相关的产品与服务;助力企业降本增效的精品应用、满足不同阶段业务需求,加速企业数字化转型。 什么是云平台?华为云平台能为您提供安全、可信、持续创新的云计算相关的产品与服务;助力企业降本增效的精品应

大数据应用范围有哪些_大数据技术与应用要学习什么课程

大数据治理与开发 数据湖治理中心 数据湖治理中心(DGC)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。 数据接入服务 数据接入服务(Data

数据湖平台

数据服务的应用场景包含数据集、数据接入、数据准备等模块,这些模块的应用场景如下。

数据接入

数据接入适用于电信网络数据自动入湖、第三方系统数据自动入湖、互联网数据自动入湖、公有云存储中数据自动入湖、数据Owner本地数据入湖等场景。

  • 电信网络数据自动入湖

    数据接入通过对接电信网络的网管北向接口,实现数据的自动入湖。

  • 第三方系统数据自动入湖

    第三方系统包括NAIE平台以外的第三方云、数据仓库、 数据管理 系统(例如:数据中台)、企业或政府建设的数据系统。在第三方系统owner授权范围内,数据接入与第三方系统通过合法的系统接口进行对接,实现数据的自动入湖。

  • 互联网数据自动入湖

    互联网数据是通过网站开放的API接口或网络爬虫来自动获取的。获取互联网数据需要先获得数据使用权,然后通过合法渠道获取数据。网络爬虫只能获取网站上公开的、不涉及版权和商业侵权的数据。

  • 公有云存储中的数据自动入湖

    数据接入提供基于公有云的数据迁移能力,支持对接公有云不同的存储服务和数据处理,例如: OBS 、DWS、Kafka等,实现按需自动迁移数据入湖。

  • 数据Owner本地数据入湖

    数据接入提供WEB方式的数据上传能力,支持数据Owner登录WEB页面将本地的数据直接上传入湖,不需要用户在本地安装部署数据接入的任何工具。数据接入具备断点续传能力。

数据集

  • 无线接入训练数据集

    提供用于无线接入场景AI模型训练的数据,包括无线网络的话统、配置、性能、告警等数据。

    场景案例

    1. 智能栅格:利用无线指纹数据检测代替传统的UE异频测量,在进行CA/MLB/HO等操作时实现免异频测量操作,提升用户数据业务吞吐量。提供1个训练集,29维特征。
    2. Massive MIMO广播波束优化:基于对话务分布、无线干扰、小区负载等因素的分析,快速对Massive MIMO广播波束寻找最优Pattern组合,提升小区吞吐量。提供1个训练集,12维特征。
    3. 基站智能关断节能:基于准确的基站流量预测实施基站载频关断,降低基站能耗。提供2个训练集(性能,工参), 41维特征。
  • 固定接入训练数据集

    提供用于固定接入场景AI模型训练的数据,包括PON固定接入网络设备的拓扑、性能、告警、业务体验等数据。

    场景案例

    1. PON光网络故障预测:基于PON光网络无源器件指标的分析,预测无源器件故障并提前采取措施,降低PON光网络维护成本。提供2个训练集(OLT、ONU),48维特征。
  • 承载网训练数据集

    提供用于承载网场景AI模型训练的数据,包括波分、路由器、微波、SDH等网络设备的拓扑、性能、告警、业务体验等数据。

    场景案例

    1. AI优化光层调测:用于波分网络BER评估模型训练,评估调测后各点功率在特定路径状态及相邻波状态下的收端BER性能,解决多物理效应下E2E性能评估问题。提供1个训练集,362维特征。
  • 核心网训练数据集

    提供用于核心网场景AI模型训练的数据,包括 IMS 、EPC、P-GW等网络设备的性能、告警、业务体验等数据。

    场景案例

    1. 核心网KPI异常智能检测:基于网元业务KPI指标发现静默故障,提升故障检测准确率,多指标关联达到故障分钟级定位。提供288个训练集,288维特征。
  • 数据中心训练数据集

    提供用于数据中心场景AI模型训练的数据,包括数据中心制冷系统、硬盘等设备的运行状态等数据。

    场景案例

    1. DC硬盘故障检测:通过对老化硬盘和新硬盘的关键参数对比,实现提前30~45天故障预测,确保硬盘数据不丢失。提供1个训练集,24维特征。
    2. DC PUE优化:通过快速寻优DC制冷系统参数组合,降低DC能耗。提供2个训练集(冷站数据,末端数据),157维特征。
  • 跨域训练数据集

    提供用于跨域场景AI模型训练的数据,包括视频体验相关的端到端数据集合。

    场景案例

    1. 视频优化:基于视频终端(STB)的KPI、KQI、告警等数据的分析,建立视频质差预警模型,提升视频故障处理效率,实现视频体验提升。提供3个训练集,共128维特征。

数据准备

  • 构建云端数据湖

    用户基于华为云的基础服务(如OBS,MRS)和数据服务,快速搭建物理隔离的自有云上数据湖管理与运行环境。

  • 准备训练数据集

    用户通过数据采集、解析、建模、处理、发布等模块能力编排,实现自动化准备训练数据集。

    • 模板复用场景

      通过使用已经发布的公共模板快速创建项目和启动项目。用户可以在数据服务首页的“电信领域公共模板TOP5”区域或在“电信领域公共模板”界面中选择需要的模板。

      对于每个公共模板,数据服务都提供了指导说明,用户可以查阅该指导说明进行项目的创建。

    • 项目开发场景

      项目开发场景主要提供给“Data Processing Engineer”角色的用户开发自己的数据处理项目,“Data Processing Engineer”角色用户需要提前准备好项目中所需要的脚本或URL等,如果要在数据服务中通过调用脚本来执行任务,则需要先在本地准备好自定义的脚本文件并将自定义脚本文件上传到OBS桶中,然后使用数据服务创建脚本和各种处理任务,并将任务在项目编排页面进行编排和修改,调试项目,最终得到处理数据的整体项目。

      项目调试完成后可以将项目保存为私有模板,用于将项目共享给同一租户下的其他用户,如果要将模板共享给所有用户使用,则可以将私有模板发布为公共模板。发布模板时需要提供该模板的详细使用说明。

  • 分析和标注电信数据

    通过电信网络孪生、可视化能力,帮助用户快速理解电信网络拓扑、时序、故障等主要数据关系与特征,并高效完成标注。

数据处理

数据处理是数据湖中数据管理的重要部分。可以通过数据处理,将用户的原始数据转换成目标模型数据格式。

时序数据标注

标注是KPI异常检测非常重要的数据,可以提升监督学习训练过程中KPI检测准确率,在无监督学习中做算法验证评估:

  • 监督学习:使用标注工具对原始数据进行标注,并将标注数据用于训练。用户基于训练结果进行确认和重新标注,并将标注数据重新用于训练,提升KPI检测准确率。
  • 无监督学习:使用标注工具对原始数据进行标注,对模型进行算法验证和评估。用户基于训练结果进行确认和重新标注,对模型进行算法验证和评估。

数据标注是为数据工程师、数据科学家等提供的辅助标注工具。

安全管理与审计

  • 安全管理设置好后,主要通过对接数据目录来实现数据权限的功能,如图1所示。
    图1 数据目录与安全管理对接
  • 安全审计用于用户数据操作是否合法合理合规。

数据备份与恢复

  • 数据备份是指以服务粒度备份所有租户(已使用数据服务的租户)的数据。
  • 数据恢复是指以租户粒度恢复已备份的数据。

数据湖平台常见问题

更多常见问题 >>
  • 智能数据湖运营平台(DAYU)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。

  • 智能数据湖运营平台(DAYU)是为了应对上述挑战、针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台,包含数据集成、规范设计、数据开发、数据质量监控、数据资产管理、数据服务等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。

  • DAYU智能数据湖运营平台采用基础包+增量包的计费模式。基础包按包年、包月计费;增量包分为批量数据迁移和实时数据接入两类,均采用按需和套餐包的计费模式。

  • 智能数据湖运营平台功能:规范设计、数据集成、数据开发、数据质量、数据资产管理、数据服务、数据安全

  • 智能数据湖运营平台(DAYU)是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业客户快速构建数据运营能力。

  • 智能数据湖运营平台应用场景:一站式的数据运营治理平台、云上数据平台快速搭建、基于行业领域知识库快速构建数据中台