检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
期格式。需要通过CDM配置字段转换器，将日期字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”，目前表达式转换支持字符串和日期类型的函数，语法
将Date类型时间转换为long类型时间戳。 将作业调度计划时间转换为时间戳。 #{DateUtil.getTime(Job.planTime)} Date parseDate(String str, String pattern) 字符串按pattern转换为Date类型，pa
> 失败策略”设置为“挂起当前作业执行计划”时，才可以执行该操作。 更多 > 强制成功 强制将状态为“运行异常”、“取消”、“失败”的实例变更为“成功”状态，当前实例状态显示为“强制成功”。 更多 > 暂停 可以对运行中的作业实例进行暂停操作。当作业运行中可以手动进行暂停操作。 说明：
将json字符串转换为对象。 假设变量a为JSON字符串，将json字符串转换为对象，EL表达式如下： #{JSONUtil.parse(a)} String toString(Object jsonObject) 将对象转换为json字符串。 假设变量b为对象，将对象转换为json字符串，EL表达式如下：
原子指标的计算逻辑修改生效后，会直接更新应用于相关的衍生指标。 原子指标删除英文名，需要校验下游是否有衍生指标使用，如果有，则无法删除。 目前原子指标在被下游使用的情况下，支持变更英文名。 原子指标的更改会影响下游衍生指标。 约束与限制 单工作空间允许创建的原子指标个数最多5000个。 前提条件 您已创建并发布事实表
时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
增量迁移原理介绍 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题： 数据集成（CDM作业）
管理中心的环境隔离，当前支持配置DLI和DB配置的开发、生产环境隔离。 配置环境隔离后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。 前提条件 创建DLI环境隔离前，应已创建DLI的数据连接。 （可选）创建DLI环境隔离 仅Serverless服务（当前即DLI）需要配置环境隔离。
连接用户配置代理权限进行配置。 MRS SPARK数据连接对应的SPARK2x组件为多主实例模式，否则请参考配置多主实例与多租户模式切换章节进行切换。 约束与限制 当前开发态细粒度认证仅支持DWS、代理模式的MRS Hive和MRS SPARK类型数据源，调度态细粒度认证仅支持代理模式的MRS
DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？ 可能原因 可能是由于CDM集群被关闭或者并发冲突导致，您可以通过切换agent代理来临时规避此问题。 解决方案 建议您通过以下措施解决此问题： 检查CDM集群是否被关机。 是，将CDM集群开机后，确认管理中心的数据连接恢复正常。
Studio基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。 配置开发和生产环境的数据连接后，数据开发时脚本/作业中的开发环境数据连接通过发布流程后，将自动切换对应生产环境的数据连接。 约束限制 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS，则不支持RDS数据连接。
不会同步FI Manager上的用户/用户组/角色，因此需要切换用户同步策略。操作步骤如下所示： MRS安全集群Ranger组件默认同步LDAP用户，默认情况下无需额外操作。如果默认配置被修改，也可以参考本章节切换用户同步策略。 使用admin账户登录MRS服务的Manager页面。
写入一组分区。 - 高级属 是否将null转换为“null” 配置null值的转换类型。 TO_NULL：null值不处理。 TO_EMPTY_STRRING：将null值转换为空字符串。 TO_NULL_STRING：将null值转换为"null"字符串。 TO_NULL 换行符处理方
e、DIS、ECS等），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致，详细操作请参见创建DataArts
S），如果使用两套集群，DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务，且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。创建数
自动建表原理介绍 CDM将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM
n。 单击“查看编辑”，设置批量映射关系。 字段映射关系：支持批量转换，添加字段，行移动等功能。 批量转换器：批量转换源字段名。 勾选需要转换的字段名，单击“批量转换器”，在弹出的转换器列表对话框中根据提示新建转换器。 批量移除字段：源端配置使用SQL语句为是时不显示该参数，勾选
主题首次同步名称冲突时，会将普通目录修改为主题目录属性，带上主题层级如、等进行展示。 主题修改后再次同步名称冲突时，会出现同步失败的情况。 不支持变更自动同步。即数据架构处的主题或主题层级变更并发布后，需要手动再次单击才能同步到主题目录。 特殊的，数据架构处的主题或主题层级删除后，手动同步后目录不会删除，仅去除主题目录属性，作为普通目录进行展示。
主题首次同步名称冲突时，会将普通目录修改为主题目录属性，带上主题层级如、等进行展示。 主题修改后再次同步名称冲突时，会出现同步失败的情况。 不支持变更自动同步。即数据架构处的主题或主题层级变更并发布后，需要手动再次单击才能同步到主题目录。 特殊的，数据架构处的主题或主题层级删除后，手动同步后目录不会删除，仅去除主题目录属性，作为普通目录进行展示。
数据血缘方案简介 什么是数据血缘 大数据时代，数据爆发性增长，海量的、各种类型的数据在快速产生。这些庞大复杂的数据信息，通过联姻融合、转换变换、流转流通，又生成新的数据，汇聚成数据的海洋。 数据的产生、加工融合、流转流通，到最终消亡，数据之间自然会形成一种关系。我们借鉴人类社会中
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
