检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果脚本是新建且未保存过的，请配置如表3所示的参数。 表3 保存脚本 参数 是否必选 说明 脚本名称 是 脚本的名称，只能包含字符：英文字母、数字、中文、中划线、下划线和点号，且长度小于等于128个字符。 描述 否 脚本的描述信息。 选择目录 是 选择脚本所属的目录，默认为根目录。 如果
Hive）。 *数据连接 选择已创建的数据连接。若未创建请参考创建DataArts Studio数据连接新建连接。 *数据库 选择待嵌入水印的数据库和数据表。 单击数据库后的“设置”，设置待嵌入水印的数据库和数据表。 单击“清除”，可对已选择的数据库和数据表进行修改。 *源表名 *水印嵌入列
Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 数据源认证及其他功能配置 访问标识(AK) 是 使用DIS Client节点发送消息至目标DIS通道时，创建目标通道的租户AK。 密钥(SK) 是 使用DIS
否 选择DLI的数据目录。 在DLI默认的数据目录dli。 在DLI所绑定的LakeFormation已创建元数据catalog。 数据库名称 是 选择SQL脚本时： 默认选择SQL脚本中设置的数据库，支持修改。 选择SQL语句时： DLI数据目录如果选择DLI默认的数据目录dli，表示为DLI的数据库和数据表。
支持将源端一个实例下多个库的多张表批量实时同步到目的端一个实例下的多个库表，一个任务中最多支持200张目标表。 分库分表 支持将源端多个实例下多个分库的多张分表同步到目的端一个实例下的单个库表。 图2 选择集成作业类型 配置网络资源。 选择已创建的源端、目的端数据连接及已配置好网络连接的资源组。 图3
用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型，指定SHARED共享版或EXCLUSIVE专享版。
填写该作业的责任人。 作业优先级 选择作业的优先级，提供高、中、低三个等级。 说明： 作业优先级是作业的一个标签属性，不影响作业的实际调度执行的先后顺序。 委托配置 配置委托后，作业执行过程中，以委托的身份与其他服务交互。若该工作空间已配置过委托，参见配置公共委托，则新建的作业默认
用户可以在SQL中调用插入Jar包中的自定义函数。 DLI队列 是 默认选择“共享队列”，用户也可以选择自定义的独享队列。 说明： 当子用户在创建作业时，子用户只能选择已经被分配的队列。 当前由于DLI的“default”队列默认Spark组件版本较低，可能会出现无法支持建表语句执行的报错，这种情况下
获取当前目录下的目录列表（全量） 功能介绍 获取当前目录下的目录列表（全量数据，不分页，推荐仅用于生成目录树等无法分页的场景）。 调用方法 请参见如何调用API。 URI GET /v1/{project_id}/service/servicecatalogs/{catalog_id}/catalogs
Spark节点。 选择已上传到OBS中的依赖Jar包。“类型”为“jar”或“pyFile”时，配置该参数。 选择目录 是 选择资源所属的目录，默认为根目录。 描述 否 资源的描述信息。 编辑资源 资源新建完成后，用户可以根据需求修改资源的参数。 在数据开发主界面的左侧导航栏，选择“配置管理
number of the cluster must be configured. 配置DWS集群名或者集群的访问地址、端口，两者二选一，不能都为空。 请检查集群DWS集群名或者集群的访问地址、端口。 400 DLF.6423 An exception occurs when the agent
在配置实时同步任务前，您需要确保源端和目的端的数据库与运行实时同步任务的实时计算资源组之间网络连通，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。 本章节主要为您介绍数据库部署在华为云，且与Migration资源组同Region同租户场景下的网络打通方案。 图1 网络示意图
为网络连接绑定资源组，实际上是通过资源组网段与中转VPC之间的对等连接连通网络，因此绑定资源组时会在此路由表中添加一条指向资源组VPC网段的路由。 实时网络连接（对等连接）添加数据源网段路由。 单击步骤4所创建实时网络连接的“路由信息”，单击“添加路由”，输入本地IDC自建数据库的私有网络地址（例如192.168.0
Spark节点到画布并单击，配置节点的属性。 图3 配置节点属性 关键属性说明： DLI队列：DLI中创建的DLI队列。 作业运行资源：DLI Spark节点运行时，限制最大可以使用的CPU、内存资源。 作业主类：DLI Spark节点的主类，本例的主类是“org.apache.spark
在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。 单击左侧导航树中的“敏感数据管控”，进入敏感数据管控页面。 敏感数据管控页面的策略列表中，已有数据安全预置的默认策略，该策略默认给所有用户最大的密级访问权限。 图1 进入敏感数据管控页面 单击
用户Token，使用Token认证时必选。通过调用IAM服务的“获取用户Token”接口获取响应消息头中X-Subject-Token的值。 workspace 是 String 工作空间ID，获取方法请参见实例ID和工作空间ID。 Dlm-Type 否 String 数据服务的版本类型，指定SHARED共享版或EXCLUSIVE专享版。
和跨表的分析。DQC支持数据的标准化，能够根据数据标准自动生成标准化的质量规则。支持周期性的监控。 数据质量监控 查看质量评分 质量评分为5分制，是以表关联的规则为基础进行评分的。而表、业务对象、主题域等不同维度的评分，本质上是基于规则评分在不同维度下的加权平均值进行计算的。 您
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例，请参见API Explorer的代码示例页签，可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求成功。 400 请求错误。 401 鉴权失败。 403
能用于DLI引擎的静态脱敏任务，HDFS样本文件只能用于MRS引擎的静态脱敏任务。静态脱敏场景与引擎之间的对应关系请参考参考：静态脱敏场景介绍。 随机脱敏支持配置“随机算法保持原数据关联性”参数，开启后不同数据库中的相同数据，经过相同的规则脱敏后，脱敏结果是一致的。注意此参数开启
streamName 是 String DIS的通道名。 toJobConfig.separator 否 String 字段分隔符，默认为空格。 toJobConfig.identifierEnclose 否 String 连接引用表名或列名时的分隔符号，默认为空。 父主题： 目的端作业参数说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
