检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脚本参数支持如下使用方式,脚本参数的作用范围为当前脚本。 SQL脚本支持在脚本编辑器中直接输入参数(Flink SQL不支持),脚本独立执行时可通过编辑器下方配置,如图3所示;通过作业调度时可通过节点属性赋值,如图4所示。 Shell脚本可以配置参数和交互式参数以实现参数传递功能。 Python脚本可以配置参数和交互式参数以实现支持参数传递功能。
管理中心API 数据连接管理 购买实例 工作空间管理 实例管理 工作空间用户管理 数据源元数据获取 实例规格变更
权限应用接口 查询数据开发细粒度连接列表 批量更新数据开发连接细粒度认证状态 测试数据开发连接细粒度连通性 父主题: 数据安全API
作业开发API 创建作业 修改作业 查询作业列表 查询作业详情 查询作业文件 导出作业 批量导出作业 导入作业 立即执行作业 启动作业 停止作业 删除作业 停止作业实例 重跑作业实例 查询实时作业运行状态 查询作业实例列表 查询作业实例详情 查询系统任务详情 父主题: 数据开发API(V1)
D。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 X-Language 是 String 请求语言。
如图所示,在作业实例监控页面查看作业运行记录时,发现作业的计划时间和开始时间相差较大。其中计划时间是作业预期开始执行的时间,即用户为作业配置的调度计划。开始时间是作业实际开始执行的时间。 图1 问题示例图 可能原因 这是因为在数据开发中,单个作业最多允许5个实例并行执行,如果作业
s String 异常表任务状态,UNSUPPORTED表示不支持异常表,READY表示准备中,RUNNING表示运行中,FAILED表示失败,SUCCESS表示成功。 results Array of objects 结果集。 状态码: 500 表5 响应Body参数 参数 参数类型
该链路目前需申请白名单后才能使用。如需使用该链路,请联系客服或技术支持人员。 Oracle同步到MRS Hudi作业配置 消息系统 DMS Kafka 对象存储:OBS DMS Kafka同步到OBS作业配置 Apache Kafka Hadoop:MRS Kafka(公测中) 说明: 该链路目前
作业名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 状态码: 500 表3 响应Body参数
导入导出接口 导出资源 获取导入导出的任务状态 下载资源任务文件 上传导入的文件接口 导入资源 父主题: 数据质量API
调度周期配置为天,通过条件表达式进行判断是否为每月最后一天 可以灵活适用多种场景。只需要编写条件表达式就可以灵活调度作业去运行。例如,每月最后一天,每月七号等。 方法1 调度周期配置为月,勾选每月最后一天 通过配置调度周期来执行任务调度。不用编写开发语句,通过勾选需要调度的时间去执行任务。
int 128MB 默认不需要配置,分库分表场景下如果实例数和表数过多,建议根据实际情况增加网络内存。 taskmanager.memory.network.fraction int 0.1 默认不需要配置,分库分表场景下如果实例数和表数过多,建议根据实际情况增加网络内存。 checkpoint
脚本开发API 创建脚本 修改脚本内容 查询脚本信息 查询脚本列表 查询脚本实例执行结果 删除脚本 执行脚本 停止脚本实例的执行 父主题: 数据开发API(V1)
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 响应参数 状态码: 200
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 响应参数 状态码: 200
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用ManageOne平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码:
请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用Token认证时必选。通过调用ManageOne平台的IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 响应参数 状态码:
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 响应参数 状态码: 200
workspace 是 String 工作空间ID,获取方法请参见实例ID和工作空间ID。 X-Auth-Token 是 String IAM Token,通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)使用Token认证时必选。 响应参数 状态码: 200