检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列，可能会有数据倾斜风险。 CDM支持字段内容转换，如果需要可单击操作列下，进入转换器列表界面，再单击“新建转换器”。 图4 新建转换器 CDM支持以下转换器： 脱敏：隐藏字符串中的关键数据。 例如要将“12345678910”转换为“123****8910”，则参数配置如下： “起始保留长度”为“3”。
时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
导入数据到CSS推荐使用Logstash，请参见使用Logstash导入数据到Elasticsearch。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接云搜索服务(CSS)时，相关参数如表1所示。 表1 云搜索服务(CSS)连接参数
管理中心的环境隔离，当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前，应已创建DLI的数据连接。 （可选）创建DLI环境隔离 仅Serverless服务（当前即DLI）需要配置环境隔离。
增量迁移原理介绍 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题： 数据集成（CDM作业）
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
Spark、MRS MapReduce和DLI Flink Job。 创建资源后，配置资源关联的文件。在作业中可以直接引用资源。当资源文件变更，只需要修改资源引用的位置即可，不需要修改作业配置。关于资源的使用样例请参见开发一个DLI Spark作业。 约束限制 该功能依赖于OBS服务或MRS
Studio基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。 配置开发和生产环境的数据连接后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。 约束限制 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS，则不支持RDS数据连接。
写入一组分区。 - 高级属 是否将null转换为“null” 配置null值的转换类型。 TO_NULL：null值不处理。 TO_EMPTY_STRRING：将null值转换为空字符串。 TO_NULL_STRING：将null值转换为"null"字符串。 TO_NULL 换行符处理方
在需要升级版本模式的实例卡片上，找到“模式切换”按钮并单击进入模式切换界面。 图2 模式切换按钮 在模式切换界面，您可以看到当前旧版本模式切换前后的对比和询价情况。如果您确认切换，单击右下方“切换”按钮，随系统提示进行升级即可。 图3 模式切换 版本模式升级完成需要约5分钟，升级过程
已完成数据开发作业的开发和调度配置。 配置作业节点失败重试 您可以通过关键业务作业中的节点配置，逐一开启节点失败重试；也可以通过批量作业配置，统一开启各作业中的节点失败重启。本章节以批量作业配置为例，为您介绍如果配置作业节点失败重试。 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。
n。 单击“查看编辑”，设置批量映射关系。 字段映射关系：支持批量转换，添加字段，行移动等功能。 批量转换器：批量转换源字段名。 勾选需要转换的字段名，单击“批量转换器”，在弹出的转换器列表对话框中根据提示新建转换器。 批量移除字段：源端配置使用SQL语句为是时不显示该参数，勾选
敏感数据发现任务运行后，为使该识别规则在静态脱敏任务中生效，必须在“敏感数据分布>手工修正”页面对任务中的识别规则进行“确认”，使规则状态变更为“有效”。 前提条件 已完成敏感数据规则组定义，请参考定义识别规则分组。 已在管理中心创建数据仓库服务（DWS）、数据湖探索（DLI）、MapReduce服务（MRS
查看敏感数据发现结果：敏感数据识别任务完成后，需要查看任务的运行结果。 手工修正：发现敏感数据后，您必须根据具体情况进行手工修正，通过对任务中的识别规则进行“确认”，使规则状态变更为“有效”，才能使该识别规则在静态脱敏任务中生效。 如果在敏感数据发现任务中勾选了“手动同步数据识别结果”，则还需要手动单击“数据同步”，
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理：用于追踪脚本/作业的变更情况，支持版本对比和回滚。系统最多保留最近100条的版本记录，更早的版本记录会被删除。另外，版本管理还可用于区分开发态和生产态，这两种状态隔离，互不影响。 开发态：未提交版本的脚本/作业为开发态，
操作场景 数据服务专享版支持将API按照不同版本进行管理，可根据不同的API版本，分别进行调测、发布。 您也可以根据API版本追踪API的变更情况，支持版本对比。系统最多保留最近10条的版本记录，更早的版本记录会被删除。 前提条件 仅专享版支持API版本管理。 API更新版本是通
提交版本 提交版本涉及到数据开发的版本管理功能。 版本管理：用于追踪脚本/作业的变更情况，支持版本对比和回滚。系统最多保留最近100条的版本记录，更早的版本记录会被删除。另外，版本管理还可用于区分开发态和生产态，这两种状态隔离，互不影响。 开发态：未提交版本的脚本/作业为开发态，
开发。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能；可以将SQL语句转换为MapReduce任务进行运行。 环境准备 已开通MapReduce服务MRS，并创建MRS集群，为Hive SQL提供运行环境。 MRS集群创建时，组件要包含Hive。
管理中心API 数据连接管理 购买实例 工作空间管理 实例管理 工作空间用户管理 数据源元数据获取 实例规格变更
数据集成（离线作业） 离线作业概述 支持的数据源 新建离线处理集成作业 配置离线处理集成作业 配置作业源端参数 配置作业目的端参数 字段转换器配置指导 新增字段操作指导
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
