检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步,请参考禁用作业节点名称同步变化禁用该功能。 MRS集群名 是 选择MRS集群。 如需新建集群,请参考以下方法: 单击,进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 MRS资源队列 否 选择已创建好的MRS资源队列。 说明: 您需要先在数据安全服务队列权
式参数,您还需要为Flink作业指定对应参数。 MRS集群名 是 选择MRS集群。 如需新建集群,请参考以下方法: 单击,进入“集群列表”页面新建MRS集群。 前往MRS管理控制台进行新建。 说明: MRS Flink Job目前支持的MRS集群版本是MRS 3.2.0-LTS.1及以上版本。
息体中,此处配置该参数时后续显示为设置的参数;如果没有配置,默认使用源端的表名。 acks:取值0,1、all。 jobId:默认值为0,页面配置该参数,则在消息里生成该字段的信息。 比如需要给数据打标签需配置两个参数,即configType:COMBINE_DATA,featureTag:group。
支持通过自定义属性修改部分作业参数及开启部分高级功能,详情可参见任务性能调优章节。 - 提交并运行任务。 作业配置完毕后,单击作业开发页面左上角“提交”,完成作业提交。 图10 提交作业 提交成功后,单击作业开发页面左上角“启动”按钮,在弹出的启动配置对话框按照实际情况配置同步位点参数,单击“确定”启动作业。 图11
Code):Oauth2.0认证。 Oauth2.0授权码模式,使用账号密码换取accessToken,再使用获取的accessToken访问接口。 用户名 否 认证方式为BASIC_AUTH模式时显示该参数。 可以通过#username获取该值,放到body、header中传递。
是否必填。true:必填,false:非必填。 searchable 否 Boolean 是否可搜索。true表示在数据标准列表页面可搜索,false表示在数据标准列表页面不可搜索。 optional_values 否 String 允许值。 field_type 否 Integer 字段类型,0表示系统字段,
是否必填。true:必填,false:非必填。 searchable 否 Boolean 是否可搜索。true表示在数据标准列表页面可搜索,false表示在数据标准列表页面不可搜索。 optional_values 否 String 允许值。 field_type 否 Integer 字段类型,0表示系统字段,
指定HetuEngine服务所需数据连接。 Schema 是 String 使用HetuEngine服务所要访问的数据源schema名称。 Database 是 String 使用HetuEngine服务所要访问的数据源database名称。 Queue 否 String 使用HetuEngine服务所需资源队列名称。
支持通过自定义属性修改部分作业参数及开启部分高级功能,详情可参见任务性能调优章节。 - 提交并运行任务。 作业配置完毕后,单击作业开发页面左上角“提交”,完成作业提交。 图12 提交作业 提交成功后,单击作业开发页面左上角“启动”按钮,在弹出的启动配置对话框按照实际情况配置同步位点参数,单击“确定”启动作业。 图13
响应Body参数 参数 参数类型 描述 describe String 描述 permission_center_url String 审批页面地址 workspace_id String 工作空间id 状态码: 400 表8 响应Body参数 参数 参数类型 描述 error_code
指定HetuEngine服务所需数据连接。 Schema 是 String 使用HetuEngine服务所要访问的数据源schema名称。 Database 是 String 使用HetuEngine服务所要访问的数据源database名称。 Queue 否 String 使用HetuEngine服务所需资源队列名称。
选择或输入待查询的DIS通道,输入通道名称时支持引用作业参数和使用EL表达式(参见表达式概述)。 如需新建DIS通道,请参考以下方法: 单击,前往数据集成模块的“通道管理”页面新建DIS通道。 前往DIS管理控制台进行新建。 表2 高级参数 参数 是否必选 说明 节点执行的最长时间 是 设置节点执行的超时时间,如
"false"} 方法2 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业画布右侧“调度配置”页签,进入调度配置页面。 调度方式选择“周期调度”,调度周期选择“月”,选择时间为“每月最后一天”,如下图所示。 图4 调度时间为每月最后一天 调度时间配置好之
SQL脚本运行完以后,在执行结果中查看运行日志,增加一键跳转MRS Yarn查看日志的链接。 企业模式下,开发脚本时,鼠标放置在上,单击“前往发布”跳转到任务发布页面。 支持对“已提交”和“未提交”的脚本进行筛选。未提交的脚本通过红色进行标识。 系统支持脚本参数以弹框的形式进行展示,参数名不能修改,参数
"false"} 方法2 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。 单击作业画布右侧“调度配置”页签,进入调度配置页面。 调度方式选择“周期调度”,调度周期选择“月”,选择时间为“每月最后一天”,如下图所示。 图4 调度时间为每月最后一天 调度时间配置好之
Jar 否 当作业所属集群选择独享集群时,该参数有效。在选择UDF Jar之前,您需要将UDF Jar包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 用户可以在SQL中调用插入Jar包中的自定义函数。 DLI队列 是 默认选择“共享队列”,用户也可以选择自定义的独享队列。
称同步变化禁用该功能。 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框,在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开
填写数据库名称,该数据库已创建好,建议不要使用默认数据库。 SQL或脚本 是 可以选择SQL语句或SQL脚本。 SQL语句 单击“SQL语句”参数下的文本框,在“SQL语句”页面输入需要执行的SQL语句。 SQL脚本 在“SQL脚本”参数后选择需要执行的脚本。如果脚本未创建,请参考新建脚本和开发SQL脚本先创建和开发脚本。
显示为“等待运行”。 补数据场景下,在补数据监控页面,补数据作业实例运行状态显示为“待确认执行”,可以在实例监控页面进行手动确认执行,单击“确认执行”后,补数据作业实例运行状态显示为“等待运行”。 批作业监控场景下,在批作业监控页面,作业实例运行状态显示为“待确认执行”,可以进行
务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。 您可以在“作业监控 > 实时集成作业监控”页面查看实时处理作业的运行状态、运行时间、运行耗时等信息,以及进行如表1所示的操作。 图1 实时集成作业监控 表1 实时集成作业监控支持的操作项