检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
自定义SQL的运行结果展示最多300条,超出部分会自动截断。 对账作业结果 对账作业运行结果中,左侧表示源端表行数规则运行结果,右侧表示目的端表行数规则运行结果,误差率表示两端数据行数的差异比率,误差率为0表示两端一致。 更多 > 处理&记录 对当前规则实例进行进一步处理。支持填写处理意见,关闭问题和移交他人。
ip用“,”分隔。 获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Ranger > 实例”,可查看RangerAdmin角色对应的管理IP地址。 端口 是 MRS Ranger组件的实例端口号。 获取方法: 登录MRS FusionInsight
多个Agent分担压力。 hsbroker IP列表 是 MRS Hetu组件的hsbroker节点ip列表,多个ip用“,”分隔。 获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > HetuEngine > 角色 > HSBroke
数据开发中的通知配置、备份管理、作业标签、委托配置、默认项等数据不支持导入导出,如有涉及,请您进行手动配置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。 旧空间导出数据 请您登录控制台首页,选择并进入旧工作空间的“数据开发”模块,然后执行如下操作依次导出脚本、导出作业、导出环境变量、导出资源。
packages 参数说明 表1 URI参数说明 参数名 是否必选 参数类型 说明 project_id 是 String 项目编号,获取方法请参见项目ID和账号ID。 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。
进入“审核中心 > 审核人管理”页面,新建审核人。 安全认证 创建API时,有如下三种安全认证方式可选。三种方式的区别在于认证方式和调用方法不同,推荐使用安全性更高的APP认证。 APP认证:将APP认证方式的API授权给应用后,使用应用的密钥对(AppKey和AppSecre
仅当DWS集群guest_agent版本为8.2.1,或在8.2.1以上、9.0.0以下时,才支持用户同步。DWS集群guest_agent版本查看方法请参考查看DWS集群guest agent版本。 DWS数据源用户同步前,要求用户已至少配置DWS Database Access权限,否则会同步失败。
Delete:删除至行尾 Alt + Shift-Left:选择行首 Alt + Shift-Right:选择行尾 支持脚本参数功能,使用方法如下: 在Python语句中直接写入脚本参数名称和参数值。当Python脚本被作业引用时,如果作业配置的参数名称与Python脚本的参数名
随机脱敏:支持日期类型和数值类型随机脱敏,将日期或数值脱敏为指定区间范围之内或样本库中的值。新建样本库的请参考管理样本库章节。注意,选择样本库脱敏时,OBS样本文件只能用于DLI引擎的静态脱敏任务,HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考:静态脱敏场景介绍。
系统自动填写队列所在的集群名称。 队列名称 无需填写, 系统自动填写当前的队列名称。 *策略名称 用于标识MRS Yarn队列权限策略,为便于策略管理,建议名称中包含授权对象。 策略描述 为更好地识别策略,此处加以描述信息。 策略状态 开启后当前策略生效。 审计日志 开启后可记录当前队列的操作日志,需要在数据源侧查看对应的审计日志。
果配置过大或过小,可能影响作业的时长。 1000 单次提交行数 可选参数,单击“显示高级属性”后显示。 指定每次批量提交的行数,根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 10000 SSL加密 可选参数,控制是否通过SSL加密方式连接
Delete:删除至行尾 Alt + Shift-Left:选择行首 Alt + Shift-Right:选择行尾 支持脚本参数功能,使用方法如下: 在Shell语句中直接写入脚本参数名称和参数值。当Shell脚本被作业引用时,如果作业配置的参数名称与Shell脚本的参数名称相同
请设为“是”,否则可能会丢数据。 否 拆分作业 选择“是”,会根据“作业拆分字段”值,将作业拆分为多个子作业并发执行。 说明: 仅支持目的端为DLI和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。 否 作业拆分字段 “拆分作业”选择“是”时
titions的SELECT权限。 否 拆分作业 选择“是”,会根据“作业拆分字段”值,将作业拆分为多个子作业并发执行。 说明: 仅支持目的端为DLI和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。 是 作业拆分字段 “拆分作业”选择“是”时
分区字段含有空值 是否允许分区字段包含空值。 是 拆分作业 选择“是”,会根据“作业拆分字段”值,将作业拆分为多个子作业并发执行。 说明: 仅支持目的端为DLI和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。 是 作业拆分字段 “拆分作业”选择“是”时
P0&P1&P2.SUBP1&P2.SUBP3 拆分作业 选择“是”,会根据“作业拆分字段”值,将作业拆分为多个子作业并发执行。 说明: 仅支持目的端为DLI和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。 是 作业拆分字段 “拆分作业”选择“是”时
源端作业配置 源连接名称:选择创建MySQL连接中的“mysqllink”。 模式或表空间:选择从本地MySQL的哪个数据库导出数据。 目的端作业配置 目的连接名称:选择创建RDS连接中的“rds_link”。 模式或表空间:选择将数据导入到RDS的哪个数据库。 自动创表:选择“
进入“审核中心 > 审核人管理”页面,新建审核人。 安全认证 创建API时,有如下三种安全认证方式可选。三种方式的区别在于认证方式和调用方法不同,推荐使用安全性更高的APP认证。 APP认证:将APP认证方式的API授权给应用后,使用应用的密钥对(AppKey和AppSecre
议您按照业务量情况规划多个Agent分担压力。 Impalad IP列表 是 MRS Impala组件Impalad角色的管理IP。 获取方法: 登录MRS FusionInsight Manager。 选择“集群 > 服务 > Impala > 实例”,可查看Impalad管理IP地址。
输出,不支持质量评分。 自定义规则:在创建质量作业时,“规则类型”选择为“自定义规则”,然后您可以通过输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 SQL语句可以包含同一数据库下的多张表,但不同数据库的表无法共存。 本文以新建自定义模板为例,说明如何创建规则。如果您