检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脏数据阈值仅针对每个并发生效。比如阈值为100,并发为3,则该作业可容忍的脏数据条数最多为300。 输入-1表示不限制脏数据条数 100 添加自定义属性 支持通过自定义属性修改部分作业参数及开启部分高级功能,详情可参见任务性能调优章节。 - 提交并运行任务。 作业配置完毕后,单击
如果未选上,表示实例运行时等待时间会被计入超时时间。 自定义字段 配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 配置作业参数 单击编辑器右侧的“参数”,展开配置页面,配置如表4所示的参数。 表4 作业参数配置
orization字段。 说明: 如果使用用户名密码认证方式,您需要选择一个支持使用用户名密码进行认证的“数据连接”。 请求头 否 单击,添加请求消息头,参数说明如下: 参数名称 选择参数的名称,选项为“Content-Type”、“Accept-Language”。 参数值 填写参数的值。
Admin 仅当在数据开发组件作业中使用DLI Spark节点选择自定义镜像时,需要容器镜像服务中的镜像读取权限。 推荐通过镜像授权管理,添加所需镜像的读取权限。不推荐直接为用户授予SWR Admin系统角色, 可能存在权限过大的风险。 数据目录 OBS obs:object:GetObject
*指标责任人 指标的责任人,可以手动输入名字或直接选择已有的责任人。 在弹出框中,选择审核人,单击“确认提交”,提交审核。 如果当前用户已被添加为审核人,则可以勾选“自助审批”,单击“确认提交”后,状态显示为“已发布”。 选择审核人时,系统支持选择多个审核人,全部审批通过后,状态才
End:移至当前文件的最前或最后 Home或End:移至当前行最前或最后 Ctrl + Shift + L:鼠标双击相同的字符串后,为所有相同的字符串添加光标,实现批量修改 Ctrl + D:删除一行 Shift + Ctrl + U:解锁 Ctrl + Alt + K:同词选择 Ctrl +
过管理控制台界面获取。请在生成后妥善保管。 - 密钥(SK) - 连接属性 可选参数,单击“显示高级属性”后显示。 自定义连接属性,单击“添加”可增加多个属性。 只支持配置connectionTimeout,socketTimeout和idleConnectionTime。 常见配置举例如下:
可选参数,指定单次批量写入的行数,当写入行数累计到单次批量提交行数时提交一次,该值应当小于单次提交行数。默认100。 连接属性 否 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 MySQL举例如下: connectTim
脏数据阈值仅针对每个并发生效。比如阈值为100,并发为3,则该作业可容忍的脏数据条数最多为300。 输入-1表示不限制脏数据条数 100 添加自定义属性 支持通过自定义属性修改部分作业参数及开启部分高级功能,详情可参见任务性能调优章节。 - 提交并运行任务。 作业配置完毕后,单击
如果未选上,表示实例运行时等待时间会被计入超时时间。 自定义字段 配置自定义字段的参数名称和参数值。 作业标签 配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 表2 批处理单任务SQL作业属性信息 属性 说明 DLI SQL属性 DLI数据目录 选择DLI的数据目录。
0及之后版本,则所创建的用户至少需具备Manager_viewer的角色权限才能在CDM创建连接;如果需要对MRS组件的库、表、列进行操作,还需要参考MRS文档添加对应组件的库、表、列操作权限。 如果CDM集群为2.9.0之前的版本,或MRS集群为3.1.0之前的版本,则所创建的用户需要具备Manag
脏数据阈值仅针对每个并发生效。比如阈值为100,并发为3,则该作业可容忍的脏数据条数最多为300。 输入-1表示不限制脏数据条数 100 添加自定义属性 支持通过自定义属性修改部分作业参数及开启部分高级功能,详情可参见任务性能调优章节。 - 提交并运行任务。 作业配置完毕后,单击
可选参数,指定单次批量写入的行数,当写入行数累计到单次批量提交行数时提交一次,该值应当小于单次提交行数。默认100。 连接属性 否 可选参数,单击“添加”可增加多个指定数据源的JDBC连接器的属性,参考对应数据库的JDBC连接器说明文档进行配置。 MySQL举例如下: connectTim
指标自定义项)。 10800 120 标签接口 表26 标签接口 API 说明 API流量限制(次/min) 用户流量限制(次/min) 添加标签 根据资产(表或属性)的ID给资产打上标签。 10800 120 删除标签 根据资产(表或属性)的ID删除资产标签。 10800 120
超时时间系统默认为24小时,支持修改。 单击“下一步”,进入规则配置页面。您需要单击规则卡片中的,然后参见表2配置数据对账规则。您也可选择添加对账规则。 图3 打开对账作业规则配置 表2 配置模板规则 模块 参数名 说明 基本信息 子作业名称 在作业的执行结果中,每条规则对应一个
0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。 MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_administrator或System_a
String 转储任务重名处理策略: OVERWRITE : 覆盖 IGNORE :忽略 configuration 是 数据结构 转储配置,参考添加转储任务的 obs_destination_descriptor参数说明和cloudtable_destination_descriptor参数说明。
String 转储任务重名处理策略: OVERWRITE:覆盖 IGNORE:忽略 configuration 是 数据结构 转储配置,参考添加转储任务的 obs_destination_descriptor参数说明和cloudtable_destination_descriptor参数说明。
String 转储任务重名处理策略: OVERWRITE : 覆盖 IGNORE :忽略 configuration 是 数据结构 转储配置,参考添加转储任务的 obs_destination_descriptor参数说明和cloudtable_destination_descriptor参数说明。
SQL作业界面的基本信息或Hive SQL脚本界面,单击右上角的去查看所配置的默认运行程序参数,预置的默认参数置灰,不能修改。 用户根据需要也可以继续添加自定义运行程序参数,最终Hive SQL作业/脚本运行时,设置的模板参数可以允许作业/脚本参数进行覆盖。 单击“保存”,对设置的配置项进行保存。