检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实时集成作业监控 实时集成作业监控提供了对实时处理集成作业的状态进行监控的能力。 实时处理集成作业处理实时的连续数据，主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线，每个节点配置独立的、节点级别的调度策略，而且节点启动的任务可以永不下线。在实时作业里，带箭头的
0:00Z。 db_name String 数据库名。 dw_type String 数据连接类型，只读。 queue_name String dli数据连接执行sql所需的队列，数据连接类型为DLI时必须。 schema String DWS类型需要。 l1 String 主题域分组。
Delete OBS 约束限制 该功能依赖于OBS服务。 功能 通过Delete OBS节点在OBS服务中删除桶和目录。 参数 用户可参考表1和表2配置Delete OBS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“
data，统一的返回结果的最外层数据结构。 表6 data 参数 参数类型 描述 value Array of CustomizedFieldsVO objects 数据连接信息数组 表7 CustomizedFieldsVO 参数 参数类型 描述 id String 编码，ID字符串。 name_ch String
OBS Manager 约束限制 该功能依赖于OBS服务。 功能 通过OBS Manager节点可以将OBS文件移动或复制到指定目录下。 参数 用户可参考表1，表2和表3配置OBS Manager节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含
新建如表9所示的3个码表维度。 表9 码表维度 *所属主题 *维度名称 *维度英文名称 *维度类型 *资产责任人 描述 *数据连接类型 *数据连接 *数据库 选择码表 供应商 供应商 dim_vendor 码表维度 - 无 MRS_HIVE mrs_hive_link demo_dwr_db
场景说明 根据前一个CDM节点是否执行成功，决定执行哪一个IF条件分支。基于图1的样例，说明如何设置IF条件。 图1 作业样例 配置方法 登录DataArts Studio控制台，找到所需要的DataArts Studio实例，单击实例卡片上的“进入控制台”，进入概览页面。 选择
MRS Spark 功能 通过MRS Spark节点实现在MRS中执行预先定义的Spark作业。 参数 用户可参考表1，表2和表3配置MRS Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”
Create OBS OBS路径不支持s3a://开头的日志路径。 约束限制 该功能依赖于OBS服务。 功能 通过Create OBS节点在OBS服务中创建桶和目录。 参数 用户可参考表1和表2配置Create OBS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是
project_id 是 String 项目ID，获取方法请参见项目ID和账号ID。 connection_id 是 String 数据连接id，可通过数据连接列表中获取。 table_id 是 String 数据表的id信息。 表2 Query参数 参数 是否必选 参数类型 描述 limit
获取方法请参见实例ID和工作空间ID。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 String 每次查询的数据连接条数的限制量。 offset 否 String 每次查询的数据连接条数的分页页码。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台，借助DLF的在线脚本编辑、周期调度CDM的迁移作业，也可以实现增量数据迁移。 这里以DWS导入到OBS为例，介绍DLF配合CDM实现增量迁移的流程： 获取CDM作业的JSON
业务对象guid，ID字符串。 table_id String 事实表ID，ID字符串。 tb_name String 事实表名称。 dw_type String 数据连接类型，只读。 field_ids Array of strings 字段ID信息，ID字符串。 field_names Array of strings
Administrator账号。 DAYU User账号，但为当前工作空间的管理员。 添加成员和角色 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签，单击列表中相应工作空间后的“编辑”，弹出“空间信息”弹窗。
Administrator账号。 DAYU User账号，但为当前工作空间的管理员。 添加成员和角色 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在旧版首页的“空间管理”或新版首页的“实例配置>空间管理”页签，单击列表中相应工作空间后的“编辑”，弹出“空间信息”弹窗。
“数据目录”模块，进入数据目录页面。 选择“数据权限 > 数据表权限”，在“我的权限”页签中单击“申请”。 输入使用场景说明，选择对应数据连接、数据库和数据表。 选择需要申请的表/列权限。 申请单张表/列权限。 勾选自己当前无权限但需要使用的表权限/列权限。 申请多张表/列权限。
移效率与业务稳定性。 需要作为不同的用途或给多个业务部门使用。例如既需要用于数据迁移作业，又需要作为DataArts Studio管理中心连接代理时，建议各配置至少一个CDM集群。 待迁移任务库表较多，迁移量较大。此时可以使用多个CDM集群同时作业，提升迁移效率。 当前CDM集群
n。 Kafka源端属性配置：支持设置Kafka的配置项，需要增加 properties. 前缀，作业将自动移除前缀并传入底层Kafka客户端，例如：properties.connections.max.idle.ms=600000。 添加数据源。 图1 添加数据源 目标端配置。
业务对象guid，ID字符串。 table_id String 事实表ID，ID字符串。 tb_name String 事实表名称。 dw_type String 数据连接类型，只读。 field_ids Array of strings 字段ID信息，ID字符串。 field_names Array of strings
业务对象guid，ID字符串。 table_id String 事实表ID，ID字符串。 tb_name String 事实表名称。 dw_type String 数据连接类型，只读。 field_ids Array of strings 字段ID信息，ID字符串。 field_names Array of strings
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
