-
调度作业 - 数据治理中心 DataArts Studio
从最新位置读取:每次启动都会从最新的位置读取数据。 失败策略 选择调度失败后的策略: 挂起 忽略失败,读取下一个事件 “OBS”触发事件类型的参数(当前仅上海二区域支持) 说明: “OBS”触发事件类型的事件驱动调度,依赖于OBS的“事件通知 -> DIS通知”功能,由于OBS该功能在华为云暂未正式上线
-
配置MySQL/SQL Server/PostgreSQL目的端参数 - 数据治理中心 DataArts Studio
表。 不自动创建 表名 写入数据的目标表名,单击输入框后面的按钮可进入表的选择界面。 该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts
-
新建质量作业 - 数据治理中心 DataArts Studio
>=:大于等于 <=:小于等于 !:非 ||:或 &&:与 单击“下一步”,设置订阅配置信息,如果需要接收SMN通知,打开通知状态,选择通知类型和SMN服务主题。 开启订阅配置后,每个满足通知类型的子作业都会发送通知。 如果开启告警,失败告警通知不需要单独配置,任务运行失败后会发送告警。 当前
-
DWS SQL - 数据治理中心 DataArts Studio
默认情况下,节点名称会与选择的脚本名称保持同步。若不需要节点名称和脚本名称同步,请参考禁用作业节点名称同步变化禁用该功能。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。 节点执行的最长时间 是 设置节点执行的超时时间,如果节点配
-
Rest Client - 数据治理中心 DataArts Studio
IAM认证:接口只允许云用户访问。DataArts Studio服务给接口发送消息的时候,会在请求消息头中带上当前用户的认证信息。 无认证:接口不需要身份认证 用户名密码认证:接口需要访问者输入账号和密码信息。DataArts Studio服务发送消息的时候,会在请求消息头中带上Authorization字段。
-
新建事实表 - 数据治理中心 DataArts Studio
设置“基本配置”参数: 图2 事实表基本配置 表1 基本配置参数说明 参数名称 说明 *所属主题 单击“选择主题”,选择表所属的主题域分组、主题域和业务对象。 *表名称 只能包含中文、英文字母、数字、左右括号、中划线和下划线,且以中文和英文字母开头。 *表英文名称 只能以英文字母开头,支持英文字母、数字、下划线。
-
HBase/CloudTable增量迁移 - 数据治理中心 DataArts Studio
HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable的增量迁移。 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开
-
Open/Close Resource - 数据治理中心 DataArts Studio
128个字符。 服务 是 选择需要开机/关机的服务: ECS CDM 开关机设置 是 选择开关机类型: 开 关 开关机对象 是 选择需要开机/关机的具体对象,例如开启某个CDM集群。 表2 高级参数 参数 是否必选 说明 节点状态轮询时间(秒) 是 设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。
-
构造请求 - 数据治理中心 DataArts Studio
project的ID,获取方法请参见项目ID和账号ID。 scope参数定义了Token的作用域,上面示例中获取的Token仅能访问project下的资源。您还可以设置Token的作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见获取用户Token。 POST
-
查找维度表 - 数据治理中心 DataArts Studio
表名称。 tb_logic_name String 逻辑实体名。 l1_id String 主题域分组ID,只读,填写String类型替代Long类型。 l2_id String 主题域ID。 l3_id String 业务对象ID,填写String类型替代Long类型。 create_by
-
MRS Hive SQL - 数据治理中心 DataArts Studio
MRS资源队列 否 选择已创建好的MRS资源队列。 当配置默认项“MRS资源队列是否必填”设置为“是”时,该参数为必填。 说明: 需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 脚本参数 否
-
新建规则模板 - 数据治理中心 DataArts Studio
布后,需要手动再次单击才能同步到主题目录。 特殊的,数据架构处的主题或主题层级删除后,手动同步后目录不会删除,仅去除主题目录属性,作为普通目录进行展示。 完成同步后,若有同步失败的主题,系统会自动弹出同步结果明细,可查看同步失败的主题名称。 图2 同步主题为目录 在“规则模板”页
-
新建衍生指标 - 数据治理中心 DataArts Studio
预览衍生指标参数说明 参数名称 说明 名称 系统已根据原子指标、统计维度、时间限定等参数自动生成,您也可以自定义。 编码 系统已根据原子指标、统计维度、时间限定等参数编码自动生成,您也可以自定义。 数据类型 系统已根据原子指标的数据类型自动生成,您也可以自定义。 告警条件 告警条件表达式由告警参数
-
MRS Spark SQL - 数据治理中心 DataArts Studio
API连接时支持为Spark SQL作业独立配置需要的资源(例如线程、内存、CPU核数并指定MRS资源队列等)。代理连接时不支持配置。 需要先在数据安全服务队列权限功能中,配置对应的队列后,才能在此处选择到已配置的队列。当有多处同时配置了资源队列时,此处配置的资源队列为最高优先级。 数据库 是
-
配置云数据库MySQL/MySQL数据库连接 - 数据治理中心 DataArts Studio
DBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下: connectTimeout=600000与socketTimeout=300000:迁移数据量较大、或通过查询语句检索全表时,会由于连接超时导致迁移失败。此时可自定义连接超时时间与sock
-
查询集群详情 - 数据治理中心 DataArts Studio
Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 ok 400 请求错误 401 鉴权失败 403 没有操作权限 404 找不到资源 500 服务内部错误,具体返回错误码请参考错误码 503 服务不可用 错误码 请参见错误码。 父主题:
-
配置MRS Hudi源端参数 - 数据治理中心 DataArts Studio
该参数支持配置为时间宏变量,且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合,可以实现定期同步新增数据,详细说明请参见使用时间宏变量完成增量同步。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“
-
查找汇总表 - 数据治理中心 DataArts Studio
tb_logic_name String 汇总表的中文名,用于展示使用。 l1_id String 主题域分组ID,只读,创建和更新时无需填写,填写String类型替代Long类型。 l2_id String 主题域ID,只读,创建和更新时无需填写。 l3_id String 汇总表所属主题的ID,
-
查询业务指标信息 - 数据治理中心 DataArts Studio
00Z。 update_time String 更新时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 l1 String 主题域分组中文名,只读,创建和更新时无需填写。 l2 String
-
创建MySQL连接器 - 数据治理中心 DataArts Studio
方式二:单击对应驱动名称右侧操作列的“从sftp复制”,配置sftp连接器名称和驱动文件路径。 在“集群管理”界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,进入连接器类型的选择界面,如图1所示。 图1 选择连接器类型 连接器类型选择“MySQL”后单击“下一步”,配置MySQL连接的参数。