检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据服务专享版集群正式商用后，如何继续使用公测期间创建的数据服务专享版集群和API？ 华为云计划于2021/07/30 00:00:00 GMT+08:00开启数据服务专享版集群商用计费。创建数据服务专享版集群和专享版API都将产生费用，具体价格请参考该服务的计费详情页。商用计费
定义识别规则分组 定义敏感数据识别规则组，可以将多个零散的规则组合成为一个有业务逻辑的规则组，该操作是用户后续进行敏感数据发现任务操作的前提 。 前提条件 识别规则创建完成，请参考定义识别规则（部分高级特性）。 约束与限制 敏感数据识别过程中，当某个字段同时匹配到识别规则组中的多
设置工作空间配额 使用DataArts Studio前，您需要为当前工作空间设置工作空间配额（当前仅支持数据服务专享版API配额）。如果当前工作空间的“已使用配额”超出“已分配配额”，或者“总使用配额”超出“总分配配额”，则会导致相应业务使用受限，例如无法再新建数据服务专享版API。
配置调度日历 作业调度支持按照日历配置自定义工作日期进行周期调度。 调度日历配置完成后，在作业开发界面，在“调度配置”页签，选择周期调度，选择调度日历，即可按照调度日历所定义的工作日期进行调度。如果作业不在日历范围内是空跑，在日历范围内是正常执行。 使用调度日历功能后，在作业正常
Kafka Client 功能 通过Kafka Client向Kafka的Topic中发送数据。 您可以参考跨空间进行作业调度，获取Kafka Client节点的使用案例。 参数 用户可参考表1配置Kafka Client节点的参数。 表1 属性参数 参数 是否必选 说明 数据连接
管理密钥（高级特性） 管理密钥用于存储密钥的信息。 密钥可用于如下场景： 数据集成（离线作业）进行表数据迁移时，在“敏感数据检测”发现敏感数据后，如果需要通过转换器进行加密，则要从数据安全获取密钥信息，详见配置离线处理集成作业。 在数据安全进行文件加密时，需要获取密钥信息，详见文件加密（高级特性）。
管理脱敏策略 在实际生产中，会存在数据分析部门需要对数据进行数据分析，数据中存在敏感信息，但又不得不开放权限。此时就可以建立脱敏策略并对敏感数据进行脱敏，在满足业务需要的同时保证了数据的真实性不被泄露。 本章主要介绍如何创建脱敏策略。此处的脱敏策略仅适用于静态脱敏任务。 前提条件
配置Kafka/DMS Kafka源端参数 作业中源连接为Kafka连接或DMS Kafka连接时，源端作业参数如表1所示。 表1 Kafka作为源端时的作业参数 参数类型 参数 说明 取值样例 基本参数 Topics 支持单个或多个topic。 est1,est2 数据格式 解析数据时使用的格式：
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景： Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
支持的数据源 实时集成作业支持的数据源如表1所示。 表1 实时集成作业支持的数据源 数据源分类 源端数据源 对应的目的端数据源 相关文档 说明 关系型数据 MySQL Hadoop：MRS Hudi MySQL同步到MRS Hudi作业配置 MySQL数据库建议使用版本：5.6、5
配置DataArts Studio企业模式环境隔离 管理中心的环境隔离，当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前，应已创建DLI的数据连接。
MySQL到DMS Kafka参数调优 源端优化 MySQL抽取优化。 可通过在作业任务配置参数单击中“添加自定义属性”来新增MySQL同步参数。 图1 添加自定义属性 可使用的调优参数具体如下： 表1 全量阶段优化参数 参数名 类型 默认值 说明 scan.incremental
MongoDB同步到DWS作业配置 支持的源端和目的端数据库版本 表1 支持的数据库版本 源端数据库 目的端数据库 MongoDB数据库（4.0.0及以上版本） DWS集群（8.1.3、8.2.0版本） 数据库账号权限要求 在使用Migration进行同步时，源端和目的端所使用的
决。 Cdm.0903 400 元数据获取失败。原因：%s。 元数据获取失败。 请确认在集群的“连接管理”页面创建连接时引用符号是否正确或查看数据库表是否存在。若仍无法解决，请联系客服或技术支持人员协助解决。 Cdm.0904 400 从结果中检索数据时发生错误。原因：%s。 从结果中检索数据时发生错误。
文件加密（高级特性） 文件加密支持对文件内的敏感数据进行加密处理。 在新版本模式下仅当使用企业版时，才支持文件加密功能，旧版本模式使用基础版及更高版本时即可支持。文件加密功能当前在北京四、上海一内测（其他region后续会逐步放开，敬请期待！），但需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。
配置HBase/CloudTable目的端参数 作业中目的连接为HBase连接或CloudTable连接时，即导入数据到以下数据源时，目的端作业参数如表1所示。 表1 HBase/CloudTable作为目的端时的作业参数 参数名 说明 取值样例 表名 写入数据的HBase表名。
配置数据入湖检测规则（高级特性） 数据入湖检测规则可用于如下场景的实时敏感信息检测： 数据集成（离线作业）进行表数据迁移时的“敏感数据检测”，详见配置离线处理集成作业。 数据开发导入数据文件时的敏感数据自动实时检测。 数据安全敏感数据发现中的文件敏感数据实时检测，详见检测文件敏感数据（高级特性）。
源端为HDFS JSON样例 "from-config-values": { "configs": [ { "inputs": [ { "name": "fromJobConfig
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
时间宏变量使用解析 在创建表/文件迁移作业时，CDM支持在源端和目的端的以下参数中配置时间宏变量： 源端的源目录或文件 源端的表名 “通配符”过滤类型中的目录过滤器和文件过滤器 “时间过滤”中的起始时间和终止时间 分区过滤条件和Where子句 目的端的写入目录 目的端的表名 支持
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
