检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
clusterId,后续的Rest Client节点就可以用${clusterId}的方式引用到集群列表中的第一个集群的cluster Id。 响应消息体解析为参数传递定义时,传递的参数名(例如clusterId)在该作业的所有节点参数中需要保持唯一性,避免和其他参数同名。 图1 Rest Clien作业样例1 图2
1/{project_id}/clusters/{cluster_id}/cdm/job/{job_name} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String 集群ID。
BizVersionManageVO object 业务版本管理,只读。 data_owner String 数据所有者。 data_owner_list String 数据所有者集合。 data_department String 数据域。 path String 路径信息。 level
数据库模式或表空间,例如:“public”。 说明: 该参数支持配置通配符(*),实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如: SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串,就全部导出。
创建人、最近运行时间进行筛选。同时,系统支持模糊搜索。 对账作业创建完成后,可以对该对账作业进行编辑、删除、运行、启动调度、停止调度等操作。 单次调度模式不支持启动调度。 运行单个对账作业 系统支持运行单个对账作业。 选择“数据质量监控 > 对账作业”,选择要运行的对账作业。 单击“操作”列的“运行”。
在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 在“Access”页签,单击Add New Policy,进入新建策略页面。 图6 策略列表 在新建策略页面,配置策略内容,授予Ranger数据连接中账号的创建UDF权限以及所有用户的使用UDF权限。 Policy Name:策略名
配置DataArts Studio数据连接参数 DWS数据连接参数说明 DLI数据连接参数说明 MRS Hive数据连接参数说明 Apache Hive数据连接参数说明 MRS HBase数据连接参数说明 MRS Kafka数据连接参数说明 MRS Spark数据连接参数说明 MRS
72de7eeb/cdm/job -k -v 调用启动作业API开始执行作业。 curl -X GET -H 'Content-Type:application/json;charset=utf-8' -H "X-Cluster-ID:$ID" -H "X-Auth-Token:$Token"
同步”右侧的“同步”进行IAM用户同步。 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS CommonOperations、MRS FullAccess、MRS Administrator变化时,由于集群节点的SSSD(System Security
automatic false Hudi commit文件老化的开关 图1 关闭Migration compaction任务 如上配置项配置完成后,作业启动后不再进行compaction任务,只会定期生成compaction计划,Spark SQL作业可以通过“run compaction on”命令执行compaction计划。
后监控继续执行。 调度方式 展示采集任务的调度状态,分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。 结束时间 重跑采集任务的结束时间。 运行时间 采集任务的运行时间。 操作 对被纳入监控的采集任务可进行如下操作: 重跑:实例状态为失败和成功状态的实例,支持重跑。
选择条件类型。 满足当前条件时:表示传入“条件分支”的数据满足指定的表达式时,将执行该分支。 不满足其他条件时:表示传入“条件分支”的数据不满足其他所有分支的条件时,将执行该分支。 表达式 当条件类型为“满足当前条件时”,需要根据表达式配置条件。 条件分支表达式由上游算子的节点编码和变量名
Studio控制台购买的CDM集群按工作空间隔离,需要在关联的工作空间使用;在CDM控制台购买的CDM集群,不支持DataArts Studio工作空间级别的资源隔离,所有DataArts Studio工作空间均可使用。 集群创建好以后不支持修改规格,如果需要使用更高规格的,需要重新创建一个集群。 CDM集群
/v1.1/{project_id}/cluster/modify/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和账号ID。 cluster_id 是 String CDM集群ID,获取方法请参见查询集群列表。
BizVersionManageVO object 业务版本管理,只读。 data_owner String 数据所有者。 data_owner_list String 数据所有者集合。 data_department String 数据域。 path String 路径信息。 level
BizVersionManageVO object 业务版本管理,只读。 data_owner String 数据所有者。 data_owner_list String 数据所有者集合。 data_department String 数据域。 path String 路径信息。 level
如果配置了时间宏变量,通过DataArts Studio数据开发调度CDM迁移作业时,系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”,而不是“CDM作业实际启动时间-偏移量”。 /user/output 文件格式 写入后的文件格式,可选择以下文件格式: CSV格式:按CSV格式写入,适用于数据表到文件的迁移。
header创建伪码: Authorization: algorithm Access=APP key, SignedHeaders=SignedHeaders, Signature=signature 需要注意的是算法与Access之前没有逗号,但是SignedHeaders与Signature之前需要使用逗号隔开。
天:配置每日调度时间。 周:选择星期几启动调度,配置调度具体时间。 月:选择几号启动调度,配置调度具体时间。 例如:选择调度周期是周,选择具体时间为15:52,时间选择为星期二。则在调度日期范围内,每周二的15点52分会执行任务。 立即启动 勾选复选框,则表示立即启动此调度任务。 图4 周期调度配置参数
object value,统一的返回结果的外层数据结构。 表6 value 参数 参数类型 描述 all Array of objects 所有的业务指标信息。 links Object 指标关联。 groups Object 分组。 total Integer 总数。 状态码:400