检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
填写执行Python脚本时,向脚本传递的参数,参数之间使用空格分隔,例如:a b c。此处的“参数”需要在Python脚本中引用,否则配置无效。 交互式参数 填写交互式参数,即执行Python脚本的过程中,需要用户输入的交互式信息(例如密码)。交互式参数之间以空格分隔,Python语句根据交互情况按顺序读取参数值。
如图2所示,实例ID为6b88…2688,工作空间ID为1dd3bc…d93f0。 图2 获取实例ID和工作空间ID 获取终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下,请您根据业务需要选择对应区域的终端节点。
鼠标按住空白处可自由拖拽以查看完整关系图。 鼠标左键单击依赖关系图中的节点即可选中该作业所选时间段内的全部实例,即重跑该作业的所有实例。 图4 重跑所有实例 右键单击节点可查看该作业的实例列表,可以在列表中选中部分实例进行重跑,即重跑该作业的部分实例。 图5 重跑部分实例 如果还未选中任何作业实例,系统会显示未选中实例。
作业参数配置完成后,单击“下一步”进入字段映射的操作页面。 如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 其他场景下,CDM会自动匹配源端和目的端数据表字段,需用户检查字段映射关系和时间格式是否
Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 查询条数限制。 offset 否 Integer 查询起始坐标, 即跳过前X条数据。仅支持0或LIMIT的整数倍,不满足则向下取整。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
描述 path 是 String 路径。 limit 否 Integer 查询条数限制。 offset 否 Integer 查询起始坐标, 即跳过前X条数据。仅支持0或LIMIT的整数倍,不满足则向下取整。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
运维调度 配置等待运行作业实例的超期天数。当作业实例等待运行的时间,超过了所配置的期限天数时,作业实例将取消执行。超期天数,最小需配置2天,即至少需要等待2天,才可取消未运行的作业实例。超期天数默认为60天,单位:天。 历史作业实例告警策略 运维调度 配置“通知管理”中通知告警能监控的天数范围。
创建时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 update_time String 更新时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如
创建时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 update_time String 更新时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如
选择数据集成资源组增量包。 计费方式 选择按需计费。 名称 自定义数据集成资源组名称。 描述 可以自定义对当前数据集成资源组的描述。 规格 选择资源组的规格类型,即CU值、适用环境、创建作业的最大数量。 不同规格的资源组支持迁移的任务数或创建作业的最大数存在上限,您需要根据业务需要选择合适规格的资源组。单个作业(最少需要2
在首页中单击“HADOOP SQL”区域的组件插件名称如“Hive”。 在“Access”页签,找到列表中Groups列包含public的默认策略(即Default Policy列为True的策略),然后分别进行编辑,移除其中的public用户组。 图4 策略列表 父主题: 统一权限治理
属性和方法 表1 属性说明 属性 类型 描述 name String 作业名称。 planTime java.util.Date 作业调度计划时间,即周期调度配置的时间,例如每天凌晨1:01调度作业。 startTime java.util.Date 作业执行时间,有可能与planTime
DataArts Studio实例ID,获取方法请参见实例ID和工作空间ID。 resource_spec_code 是 String 产品规格编码(即实例类型编码),例如dayu.starter,dayu.basic,dayu.advanced等,通过实例列表信息进行获取。 product_id
APIGW:APIGW类型网关 ROMA_APIC:ROMA类型网关 limit 否 Integer 查询条数限制。 offset 否 Integer 查询起始坐标, 即跳过前X条数据。仅支持0或LIMIT的整数倍,不满足则向下取整。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
APIGW:APIGW类型网关 ROMA_APIC:ROMA类型网关 limit 否 Integer 查询条数限制。 offset 否 Integer 查询起始坐标, 即跳过前X条数据。仅支持0或LIMIT的整数倍,不满足则向下取整。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
名参数替换。 例如参数输入为“a b c”,执行如下shell脚本,执行结果显示为“b” 。 echo $2 交互式参数 填写交互式参数,即执行Shell脚本的过程中,需要用户输入的交互式信息(例如密码)。交互式参数之间以空格分隔,Shell脚本根据交互情况按顺序读取参数值。 例如执行如下交互式shell脚本,
名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 obs_link OBS终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。您可以通过以下方式获取OBS桶的Endpoint信息: OBS桶的Endpoint,可
02-28至2023-03-02,该业务日期系统会自动传给作业计划时间,脚本时间变量DATE的表达式中,定义的时间为作业计划时间减去一天,即作业计划时间的前一天时间为补数据的时间范围(2023-02-27至2023-03-01)。 图4 补数据 表2 参数说明 参数 说明 补数据名称
是 String 目录ID编号。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 查询起始坐标, 即跳过前X条数据。 limit 否 Integer 查询条数限制。 请求参数 表3 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token
创建时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如1970-01-01T00:00:00Z。 update_time String 更新时间,只读,格式遵循RFC3339,精确到秒,UTC时区,即yyyy-mm-ddTHH:MM:SSZ,如