检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
现异常。 如果通过DataArts Studio数据开发调度CDM迁移作业,此处也配置了定时任务,则两种调度均会生效。为了业务运行逻辑统一和避免调度冲突,推荐您启用数据开发调度即可,无需配置CDM定时任务。 定时任务功能原理:采用Java Quartz定时器,类似Cron表达式配
管理界面。 表1 MySQL数据库连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 mysql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”,可获取用户的MySQL数据库实例列表。
业”。 图8 表/文件迁移 按照如下步骤完成作业参数的配置。 如图9所示,配置作业名称、源端作业参数和目的端作业参数,然后单击“下一步”。 作业名称:source-sdi 源端作业配置 源连接名称:obs-link 桶名:fast-demo 源目录或文件:/2017_Yellow_Taxi_Trip_Data
终端节点Endpoint 获取终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下,请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口:cdm.{region_id}.myhuaweicloud
String DWS集群名称。 通过DWS管理控制台获取集群名称: 登录管理控制台。 单击“数据仓库服务”,左侧列表选择集群管理。 在集群管理列表中可以获取到集群名称。 默认值为空。 ip 否 String DWS集群的访问地址。 通过DWS管理控制台获取访问地址: 登录管理控制台。
目。 表1 MRS Hive连接参数 参数名 说明 取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 hivelink Manager IP MRS Manager的浮动IP地址,可以单击输入框后的“选择”来选定已创建的MRS集群,CDM会自动填充下面的鉴权参数。
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Lon
游节点输出等决定是否执行此节点。数据开发模块EL表达式使用简单的算术和逻辑计算,引用内嵌对象,包括作业对象和一些工具类对象。 作业对象:提供了获取作业中上一个节点的输出消息、作业调度计划时间、作业执行时间等属性和方法。 工具类对象:提供了一系列字符串、时间、JSON操作方法,例如
强的关键字,可以帮助您对资产进行分类和描述,以便于检索。 为方便管理技术资产,可以从业务角度定义标签,并与技术资产关联,比如标识某个表是SDI贴源数据层、DWI数据整合层等。 标签和分类 “标签”是相关性很强的关键字,帮助用户对资产进行分类和描述,以便于检索。 “分类”是指按照种
在“实时网络连接”页签中单击“新建”,在弹出的“新建网络连接”对话框输入对应参数,配置参数如下表所示: 表2 新建网络连接参数 参数 说明 连接名称 填写待创建的网络连接名称。 只能包含字母、数字和下划线。 资源组 需要和指定VPC进行网络打通的资源组。 如果创建时未选择资源组,可以在网络连接创建好后再绑定资源
ORACLE连接固定选择为ORACLE。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。
REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件。 config_status
”,如图1所示。 图1 数据架构总览 我的待办 显示“我的申请”和“待我审核”的数量。 单击每一项上面统计数量将分别跳转到“我的申请”和“待我审核”页面。 资产概览 显示数据架构中所有对象的总量。 单击每个对象名称后的统计数量将跳转到该对象的管理页面。 快捷入口 显示数据架构数据
X-Project-Id 子项目ID。请参考项目ID和账号ID章节获取项目ID。 调用在子项目中的服务接口,并使用AK/SK认证时必选。 e9993fc787d94b6c886cbaa340f9c0f4 X-Domain-ID 账号ID。请参考项目ID和账号ID章节获取账号ID。 调用全局服务接口,并使用AK/SK认证时必选。
持以华为云Stack和HCS Online混合云模式部署。 关于全栈专属云、华为云Stack和HCS Online的适用场景和差异等更多信息,欢迎通过咨询了解。 DataArts Studio基于数据湖底座提供数据一站式集成、开发、治理等能力,本身不具备存储和计算的能力,需要配合数据湖底座使用。
是 LTS连接固定选择为LTS。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。
Client连接固定选择为Rest Client。 数据连接名称 是 数据连接的名称,只能包含字母、数字、下划线和中划线,且长度不超过100个字符。 标签 否 标识数据连接的属性。设置标签后,便于统一管理。 说明: 标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头,且长度不能超过100个字符。
FTP SFTP 连接FTP或SFTP服务器时,具体参数请参见FTP/SFTP连接参数说明。 HTTP 用于读取一个公网HTTP/HTTPS URL的文件,包括第三方对象存储的公共读取场景和网盘场景。 当前创建HTTP连接时,只需要配置连接名称,具体URL在创建作业时配置。 MongoDB
通过OBS连接,可以对对象存储服务(Object Storage Service,简称OBS)抽取或加载文件,支持CSV、JSON和二进制格式。 连接样例 本示例为连接样例消息体。在实际使用中,AK(accessKey)和SK(securityKey)建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 {
导出完成后,即可通过浏览器下载地址,获取到导出的xlsx文件。 图1 导出流程 导出主题 在数据架构主界面,单击左侧导航栏的“主题设计”,进入主题设计页面。 单击列表上方的“更多 > 导出”,可以直接导出所有主题。导出完成后,即可通过浏览器下载地址,获取到导出的xlsx文件。 导