检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图8 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图8 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图8 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
约束与限制 浏览器限制 您需要使用支持的浏览器版本登录DataArts Studio。 表1 浏览器兼容性 浏览器版本 建议版本 建议操作系统 备注 Google Chrome 126,125,124 Windows 10 建议分辨率为1920*1080,2560*1440。 Firefox
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图6 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
据表1和表2选择。 表1 源端作业参数说明 源端类型 说明 参数配置 OBS 支持以CSV、JSON或二进制格式抽取数据,其中二进制方式不解析文件内容,性能快,适合文件迁移。 参见配置OBS源端参数。 MRS HDFS FusionInsight HDFS Apache HDFS
在主题域“时空”下,新建1个业务对象:时间。 在主题域“公共维度”下,新建1个业务对象:公共维度。 表1 主题设计信息 主题域分组名称(L1) 主题域分组编码(L1) 主题域名称(L2) 主题域编码(L2) 业务对象名称(L3) 业务对象编码(L3) 城市交通 city_traffic 行程记录 stroke_reminder
地图等):dayu.{region_id}.myhuaweicloud.com,具体如表3所示。 表1 CDM数据集成Endpoint 区域名称 区域ID 终端节点(Endpoint) 协议类型 华北-北京一 cn-north-1 cdm.cn-north-1.myhuaweicloud
修改主机信息”,按照输入框提示的格式填写MRS集群所有节点的IP和域名。 图6 修改主机信息 查看MRS集群节点IP和域名的方式: 打开MRS页面,进入用户的MRS集群,单击“节点管理”页签,展开所有节点组,可以看到各节点IP、节点名称即是域名。 须添加所有节点IP(图中序号1)、域名信息(图中序号2),用回车分割。
Redis连接 介绍 通过Redis连接,可以对Redis服务器抽取或加载数据。 连接样例 { "links": [ { "link-config-values": { "configs": [
MongoDB连接 介绍 通过MongoDB连接,可以对MongoDB服务器抽取、加载数据。 连接样例 { "links": [ { "link-config-values": { "configs":
文件格式 写入后的文件格式,可选择以下文件格式: CSV格式:按CSV格式写入,适用于数据表到文件的迁移。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,CDM会原样写入文件,不改变原始文件格式,适用于文件到文件的迁移。 如果是文件类数据源(FTP/SFTP/HDFS/OB
基本概念 数据库、数据仓库、数据湖与华为智能数据湖方案 请参考数据库、数据仓库、数据湖与华为智能数据湖方案。 DataArts Studio实例 DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提
描述 URI-scheme 表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同。 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 3306 数据库名称
传输数据时所用的文件格式,可选择以下文件格式: CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 Parquet格式:以Parquet格式解析源文件,用于HDFS数据导到表的场景。 CSV格式
开发一个Python作业 本章节介绍如何在数据开发模块上开发并执行Python作业示例。 环境准备 已开通弹性云服务器,并创建ECS,ECS主机名为“ecs-dgc”。 本示例主机选择“CentOS 8.0 64bit with ARM(40GB)”的公共镜像,并且使用ECS自带
OBS连接参数说明 OBS连接目的端OBS桶需添加读写权限,并在连接时不需要认证文件。 CDM集群和OBS桶不在同一个Region时,不支持跨Region访问OBS桶。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接OBS时,相关连接参数如表1所示。
传输数据时所用的文件格式,可选择以下文件格式: CSV格式:以CSV格式解析源文件,用于迁移文件到数据表的场景。 二进制格式:选择“二进制格式”时不解析文件内容直接传输,不要求文件格式必须为二进制。适用于文件到文件的原样复制。 Parquet格式:以Parquet格式解析源文件,用于HDFS数据导到表的场景。 CSV格式
MySQL连接参数 参数名 说明 取值样例 名称 输入便于记忆和区分的连接名称。 mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 - 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名 拥有MySQL数据库的读、写和删除权限的用户。