检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
则状态变更为“有效”。 前提条件 已完成敏感数据规则组定义，请参考定义识别规则分组。 已在管理中心创建数据仓库服务（DWS）、数据湖探索（DLI）、MapReduce服务（MRS Hive）类型的数据连接，请参考创建DataArts Studio数据连接。 DLI敏感数据发现时，需要提前准备DLI通用队列。
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 adb_link 连接器 默认为关系数据库，不可更改。 - 数据库服务器 配置为要连接的数据库的IP地址或域名，多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。
较低，可能会出现无法支持建表语句执行的报错，这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行，可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列，仅用于用户体验，用户间可能会出现抢占资源的情况，不能保证每次都可以
t”转换为“Cat”。 表达式：StringUtils.capitalize(value) 如果当前字段值为字符串类型，将首字母转换为小写，例如将“Cat”转换为“cat”。 表达式：StringUtils.uncapitalize(value) 如果当前字段值为字符串类型，使用
本章主要描述如何通过创建空间权限集和配置空间权限集定义工作空间权限范围。 前提条件 配置权限集前，已在管理中心创建数据仓库服务（DWS）、数据湖探索（DLI）、MapReduce服务（MRS Hive）和MapReduce服务（MRS Ranger）类型的数据连接，请参考创建DataArts Studio数据连接。
动建库和模式，需用户自行在目的端手动建出库和模式后再使用本功能建表。 自动建表时对应的字段类型映射关系请参见字段映射关系章节。 配置DDL消息处理规则。 实时集成作业除了能够同步对数据的增删改等DML操作外，也支持对部分表结构变化（DDL）进行同步。针对支持的DDL操作，用户可根据实际需求配置为正常处理/忽略/出错。
将字段值直接写入目的端。 如果字段映射关系不正确，您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。
将字段值直接写入目的端。 如果字段映射关系不正确，您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。
将字段值直接写入目的端。 如果字段映射关系不正确，您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。
您可以通过以下两种方式导出质量报告： 若使用局点有OBS服务，系统默认导出到关联的OBS桶中。 由于质量报告数据量较大，单个导出文件字段条数最多为2000条，因此OBS桶里或许会有多个导出文件。 导出的报告仅限当前工作空间内。 若使用局点没有OBS服务，系统默认导出到本地。 在DataArts
选择数据类型，具体说明请参见《数据仓库服务开发指南》的数据类型。 列描述 否 填写列的描述信息。 是否建ES索引 否 单击复选框时，表示需要建立ES索引。建立ES索引时，请同时在“CloudSearch集群名”中选择建立好的CSS集群。如何创建CSS集群，请参见《云搜索服务用户指南》的创建集群。
选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群，CDM集群提供Agent。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 说明：
停止调度：当调度状态为“调度中”，则可停止调度。 配置MRS集群Hive分区表支持元数据采集 使用admin账户登录MRS服务的Manager页面。 在Manager页面选择“集群 > 服务 > Hive > 配置 > 全部配置”，选择HiveServer（角色）->自定义，在“hive.server
s_deleted、_hoodie_event_time，并会以_hoodie_event_time作为Hudi表的预聚合键。 配置DDL消息处理规则。 实时集成作业除了能够同步对数据的增删改等DML操作外，也支持对部分表结构变化（DDL）进行同步。针对支持的DDL操作，用户可根据实际需求配置为正常处理/忽略/出错。
数据开发中的通知配置、备份管理、作业标签、委托配置、默认项等数据不支持导入导出，如有涉及，请您进行手动配置同步。 导入脚本、作业、环境变量、资源功能部分依赖于OBS服务。 旧空间导出数据 请您登录控制台首页，选择并进入旧工作空间的“数据开发”模块，然后执行如下操作依次导出脚本、导出作业、导出环境变量、导出资源。
在IT层面的代表。 开发和维护本领域的数据系统或子系统，确保数据在系统中得以记录，数据标准、数据质量规则、数据安全、主/参考数据管理、数据服务在系统中得以实施。 提供数据系统的数据相关信息（元数据、数据字典、数据血缘）。 协助执行IT相关的数据治理工作。 确保数据系统的技术方案符
如果设置为保持不变，则各节点保持原来的节点执行最长时间。 作业委托 设置所选作业的委托，配置了作业委托后，作业执行过程中，以委托的身份与其他服务交互。 如果设置为保持不变，则各作业保持原来的委托配置。 失败重试 设置所选作业的所有节点执行失败后，是否重新执行节点。 如果设置为保持不变，则各节点保持原来的失败重试策略。
此时应配置为单进程抽取数据。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。 定时备份/恢复 该功能依赖于OBS服务。当前定时备份内容不会自动老化删除，您需要定期手动清理备份文件。 前提条件 已创建OBS连接，详情请参见OBS连接参数说明。 定时备份 在
放通Migration资源组VPC网段（例如172.16.0.0/19），使其可以访问数据库监听端口。 通用添加安全组规则方法：打开数据源服务界面，进入用户集群，找到网络部分，单击安全组，跳转到安全组编辑页面，单击入方向规则，添加规则。可参考如下示例放通资源组网段。 优先级 策略
作业中目的连接为HDFS连接时，目的端作业参数如表1所示。 表1 HDFS作为目的端时的作业参数 参数名 说明 取值样例 写入目录 写入数据到HDFS服务器的目录。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
