检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“作业标签”,进入“作业标签管理”页面。 单击“导入作业标签”,弹出“导入作业标签”对话框。 配置导入信息。 文件位置:支持从本地导入和从OBS导入两种方式。 选择文件:本地导入的文件选择本地路径;OBS导入的文件选择OBS桶路径。 建议通过导出标签功能获取导入文件,导入文件的第一行为标签名,
0/24 中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用云专线虚拟网关所配置的虚拟私有云和对应配置的子网。 查看方式: 登录云专线控制台,在左侧导航栏,选择“云专线 > 虚拟网关”,在列表中找到连通其他云所使用的虚拟网关,单击虚拟网关名称,查看关联的虚拟私有云和本端子网。
0/24 中转VPC及其子网 用于连通数据源和资源组网络的中间桥梁,本方案中需要使用虚拟专用网络VPN网关所配置的虚拟私有云和对应的子网。 查看方式: 登录虚拟专用网络控制台,在左侧导航栏,选择“虚拟专用网络 > VPN网关”,在列表中找到连通其他云所使用的VPN网关,单击VPN网关名称,查看关联的虚拟私有云和本端子网。
的部署区域选择,这里我们要授予的是IAM查询指定条件下的委托列表的权限。因IAM是全局级服务,所以作用范围选择“全局级服务”。 “策略配置方式”选择“可视化视图”。 在“策略内容”下配置策略。 选择“允许”。 选择“云服务”为“统一身份认证服务”。 选择“操作”,勾选产品权限(i
实例状态 实例(即采集任务)的状态。 成功 部分成功 执行中 失败 运行异常 暂停:因管理面升级,监控任务暂停,升级完成后监控继续执行。 调度方式 展示采集任务的调度状态,分为单次调度和周期调度。 调度周期 展示采集任务的调度周期。 开始时间 重跑采集任务的启动时间。 结束时间 重跑采集任务的结束时间。
SQL:SQL取数方式 ROW_KEY:ROW_KEY取数方式 仅适用于HBASE PREFIX_FILTER:PREFIX_FILTER取数方式仅适用于HBASE access_type 否 String 取数方式(已弃用)。 枚举值: SCRIPT:脚本方式 CONFIGURAITON:配置方式
running-exception:运行异常 pause:暂停 manual-stop:取消 instanceType 否 int 作业调度方式: 0:正常调度 2:手工调度 5:补数据 6:子作业调度 7:单次调度 preciseQuery 否 boolean 支持通过作业名进行精确查询。
规格增量包的购买方式类似,本例以购买“作业节点调度次数/天增量包”为例进行说明。 单击已开通实例卡片上的“购买增量包”。 进入购买DGC增量包页面,按照如下配置: 增量包类型:选择规格增量包,如作业节点调度次数/天增量包、技术资产数量增量包或数据模型数量增量包。 计费方式:当前仅支持套餐包。
未创建,请参考新建脚本和开发Python脚本先创建和开发脚本。 说明: 若选择Python语句方式,数据开发模块将无法解析您输入Python语句中携带的参数。 若选择Python脚本方式,系统自动默认显示的Python版本为创建Python脚本时所选择的Python版本。 对于原有的作业,默认使用Python2。
单击某一个实例名称,进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 说明: 仅GaussDB数据源支持多域名的方式,多个域名之间用“,”分隔。 如果为MySQL、PostgreSQL或达梦数据库 DM等线下数据源,可以通过数据库管理员获取相应的访问地址。
单击“清除”,可对已选择的数据库进行修改。 *数据表 对于DLI和DWS类型的敏感数据发现任务,您需要设置选择表的方式,当前支持手动筛选、通配符匹配和全部三种方式。 手动筛选:即手动在数据表列表中选择需要进行敏感发现任务的表。手动筛选时,在表筛选窗口的搜索框中可以进行模糊匹配,如果需要全选表时仅支持分页全选。
文件中的换行符,默认自动识别"\\n"、"\\r"或"\\r\\n"。手动配置特殊字符,如空格回车需使用URL编码后的值。或通过编辑作业json方式配置,无需URL编码。 fromJobConfig.fieldSeparator 否 String 字段分隔符,当文件格式为“CSV_FILE”时此参数有效,默认值为:“
或关闭说明。 operator 否 String 仅问题移交他人时使用该字段,选择移交负责人。 open 否 Boolean 选择问题处理方式。false表示关闭问题。 true表示问题处理意见或移交他人。 cancel_run 否 Boolean 是否取消该任务,取消则立即停止
在配置周期调度时,您可以通过单击周期调度后面的弹出的使用指南标题内容,确认当前实例为传统周期调度还是自然周期调度。如下图所示,则表明此实例为传统周期调度方式。 图3 查看周期调度使用指南 父主题: 周期调度依赖策略
网络连通性检测异常可先参考数据源和资源组网络不通如何排查?章节进行排查。 配置源端参数。 各同步场景下选择需要同步库表的方式请参考下表。 表5 选择需要同步的库表 同步场景 配置方式 整库 选择需要迁移的MySQL库表。 图4 选择库表 库与表均支持自定义选择,即可选择一库一表,也可选择多库多表。
网络连通性检测异常可先参考数据源和资源组网络不通如何排查?章节进行排查。 配置源端参数。 各同步场景下选择需要同步库表的方式请参考下表。 表5 选择需要同步的库表 同步场景 配置方式 整库 选择同步对象。 表级同步:支持选择Mysql实例下多个库中的多张表进行同步。 库级同步:支持选择Mys
是否为系统规则。自定义的编码规则系统预置为否,不能修改。 编码规则 采用前缀+数字码的方式,不能修改。 前缀 可以是“英文字符”+“数字”的方式,但不能以数字结尾。支持修改。 数字码 支持顺序码和随机码两种方式。 起始码 数字码范围的起始值。 结束码 数字码范围的终止值。 编码示例 根据前缀动态修改后,可以更新展示。
更不是数据流。 实时处理作业可以配置节点级别的调度任务,即每一个节点可以独立调度,具体请参见配置作业调度任务(实时作业)。 创建方式 选择作业的创建方式。 创建空作业:创建一个空的作业。 基于模板创建:使用数据开发模块提供的模板来创建。 选择目录 选择作业所属的目录,默认为根目录。
常量是指在不同的作业下都是一样的,不需要重新配置值。 图3 作业参数 作业参数定义好之后,可以在作业节点里面引用该参数。 图4 引用作业参数 脚本参数 脚本参数支持如下使用方式,脚本参数的作用范围为当前脚本。 SQL脚本支持在脚本编辑器中直接输入参数(Flink SQL不支持),通过作业调度时可通过节点属性进行赋值,如2所示。
skip-by-depend:跳过 freeze:冻结 pause:暂停 manual-stop:取消 默认查全部 instance_type 否 int 作业调度方式: 0:正常调度 2:手工调度 5:补数据 6:子作业调度 7:单次调度 默认查全部 force_success 否 boolean st