检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集成指导 业务使用介绍 接入数据源 创建数据集成任务(普通任务) 创建数据集成任务(组合任务) 创建数据集成任务(编排任务) 启停数据集成任务 数据集成任务管理 连接器
包括鸢尾花原始测试集、鸢尾花训练集、鸢尾花测试集、KPI 15分钟数据集、KPI 60分钟数据集、KPI异常检测数据集、4份迁移学习数据集。 其中鸢尾花原始测试集、KPI 15分钟数据集和KPI 60分钟数据集中包括空值,用户可以通过特征工程进行数据修复,剔除空值。
数据提取作业(数据集) 作业输入输出规范 示例代码 构建镜像 父主题: 算子示例
跨源连接需要使用VPC、子网、路由、对等连接功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。可在服务授权中进行设置。
华为云大数据组件 常用的华为云大数据服务组件如下,设计大数据部署架构时可参考: MapReduce服务(MapReduce Service,简称MRS) MRS是一个在华为云上部署和管理Hadoop系统的服务,一键即可部署Hadoop集群,完全兼容开源接口,轻松运行Hadoop、Spark
数据导入 使用import命令引用数据到当前所在项目或者导入网上数据。
数据采集与分析 前提条件 已配置邮箱服务器,具体操作请参见调测邮箱通知功能。 操作步骤 选择“运维管理 > 数据采集与分析 > 数据采集与分析”。 根据需要选择相应的功能使用,详情请参见表1。
数据集成 数据集成概述、工具介绍及入湖范围 数据集成前探查 全量数据同步 增量数据同步 父主题: 实施步骤
数据源所属虚拟私有云VpcId 数据源所属虚拟私有云VpcId。 数据源所属应用ID 数据源所属应用ID。 数据源所属应用名称 数据源所属应用名称。 数据源所属实例Id 数据源所属实例ID。 数据源创建时间 数据源创建时间。 数据源修改时间 数据源修改时间。
电子政务与应用处 父主题: 数据架构规划设计
数据来源为数据集子集 当数据集形式为数据集子集时,创建步骤如下: 在左侧菜单栏中单击“数据资产 > 数据集”。 选择“数据集”页签,单击“创建数据集”,填写数据集信息。 图1 创建数据集子集 名称:不得超过64个字符。支持中英文、数字、“-”、“_”,不支持特殊字符。
数据服务 创建专享版集群 设置 API 分配配额 新建审核人 开发 API 调用API 父主题: 实施步骤
产品用途及服务: 在云计算、大数据、人工智能快速发展以及5G全面商用的背景下,面向 “政务、政法、金融、教育、交通、能源”等重点领域。
查看数据集成任务 概述 数据集成任务创建后,您可以查看任务的相关信息,包括任务的配置信息、运行日志、操作日志和调度日志等。 您也可以修改任务的配置,修改任务的操作跟创建任务类似,具体配置说明可参见创建数据集成任务。
包括鸢尾花原始测试集、鸢尾花训练集、鸢尾花测试集、KPI 15分钟数据集、KPI 60分钟数据集、KPI异常检测数据集。 其中鸢尾花原始测试集、KPI 15分钟数据集和KPI 60分钟数据集中包括空值,用户可以通过特征工程进行数据修复,剔除空值。
数据集 查询数据集和目录列表 获取数据集详情 删除数据集 保存或修改数据集
对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题: 大数据场景下使用OBS实现存算分离
对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS
表1 选择数据 参数 参数说明 数据集 从下拉框中选择数据集,即“数据集”菜单中创建的数据集名称。 数据集实例 从下拉框中选择数据集实例,即“数据集”菜单中创建的数据集实例名称。
数据治理组织职责 在战略层面,由数据治理Sponsor和各部门负责人组成的数据治理领导组制定数据治理的战略方向,以构建数据文化和氛围为纲,整体负责数据治理工作的开展、政策的推广和执行,并作为数据治理问题的最终决策组织解决争议,监控和监督数据治理工作的绩效,并确保数据治理工作预算支持