检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志提示解析日期格式失败时怎么处理？ 问题描述 在使用CDM迁移其他数据源到云搜索服务（Cloud Search Service）的时候，作业执行失败，日志提示“Unparseable date”，如图1所示。 图1 日志提示信息 原因分析 云搜索服务对于时间类型有一个特殊处理：
数据开发中，该模块支持创建作业数量和作业中的节点数是否有限制。 解决方案 目前默认每个用户最多可以创建10000个作业，每个作业建议最多包含200个节点。 另外，系统支持用户根据实际需求调整最大配额。如有需求，请提交工单进行申请。 父主题： 数据开发
ue或false从而导致迁移失败，此时可关闭配置避免迁移报错。 useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开
文档进行配置。 常见配置举例如下： connectTimeout=60与socketTimeout=300：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位s），避免超时导致失败。 useCursorFet
数据目录配置数据搬迁 数据目录数据搬迁依赖于管理中心的资源迁移功能，详见管理中心配置数据搬迁。 当前管理中心支持搬迁的数据目录数据包含分类、标签、采集任务，数据目录中的业务资产、技术资产、指标资产均不支持直接导入导出。 您可以通过导入管理中心和数据架构数据，并运行新导入的采集任务重新生成业务资产、技术资产、指标资产。
企业数据繁杂，无标准，质量低。 企业的IT系统经历了数据量高速膨胀的时期，这些海量的、分散在不同角落的数据导致了数据资源利用的复杂性和管理的高难度。企业无法从统一的业务视角去概览整个企业内部的数据信息。暴露出来的只是一个个独立的系统，系统与系统之间的关系、标准数据从哪里获取都无从知晓。
如果需要使用该字段，可在源端作业配置中使用SQL语句对字段类型进行转换，转换成CDM支持的类型，达到迁移数据的目的。 操作步骤 修改CDM迁移作业，通过使用SQL语句的方式迁移。 SQL语句格式为：“select id,cast(原字段名 as INT) as 新字段名可以和原字段名一样
请根据您的实际需要慎重选择区域），单击购买即可进入DataArts Studio实例创建界面。 图1 试用初级版 试用初级版注意事项： 云产品体验名额有限，领完即止。 符合“参与对象”的同一用户仅能对同一产品申请一次。 试用产品的升级：用户试用过程中，主动进行升配等操作，将按照
导入物理模型时，如果数据源类型不支持，系统会默认继承物理模型的数据连接类型。 在物理表列表中，单击列表上方的“导入”，选择“导入PDM”。在“导入表”对话框中，选择“导入配置”页签。 图12 导入PDM 选择是否更新已有数据。 不更新：当数据重复时，不会替换系统中原有的数据。 更新：当数据重复时 系统中的原有
从数据运营方案（数据中台）的数据集成、数据治理以及数据开放三层结构来看，DataArts Studio和ROMA主要差别在于数据治理方面： ROMA作为连接各个系统的管道，对接入数据没有治理和规划的功能。 DataArts Studio支持对接入数据进行结构分析，重新建模，最终打破数据孤岛，帮助企业建立统一数据模型。
参数 说明 取值样例 基本参数 DIS通道 DIS的通道名。 dis 是否持久运行 用户自定义是否永久运行。设置为长久运行的任务，如果DIS系统发生中断，任务也会失败结束。 是 DIS分区ID DIS分区ID，该参数支持输入多个分区ID，使用英文逗号（,）分隔。 0,1,2 偏移量参数
是否支持字段转换？ 支持，CDM支持以下字段转换器： 脱敏 去前后空格 字符串反转 字符串替换 表达式转换 在创建表/文件迁移作业的字段映射界面，可新建字段转换器，如下图所示。 图1 新建字段转换器 脱敏 隐藏字符串中的关键信息，例如要将“12345678910”转换为“123****8910”，则配置如下：
Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM将Oracle整库迁移到DWS，CDM在DWS上自动建表，会将Oracle的NUMBER(3,0)字段映射到DWS的SMALLINT。 图1 自动建表的字段映射
户，密码不会立即生效且作业会运行失败。 迁移数据到DLI时，DLI要在OBS的dli-trans*内部临时桶生成数据文件，因此在需要赋予DLI连接中使用AK/SK所在用户对dli-trans*桶的读、写、创建目录对象等权限，否则会导致迁移失败。dli-trans*内部临时桶的权限
在弹出框中，选择审核人，单击“确认提交”，提交审核。 如果当前用户已被添加为审核人，则可以勾选“自助审批”，单击“确认提交”后，状态显示为“已发布”。 选择审核人时，系统支持选择多个审核人，全部审批通过后，状态才会显示为已发布。如果有任意一个人驳回，则状态为已驳回。 可以参照步骤3~步骤5，完成其他业务指标的创建和发布。
连接列表，请参见links数据结构说明。 fromTo-unMapping String 表/文件迁移不支持哪些数据源迁移到哪些数据源。 batchFromTo-mapping String 整库迁移支持哪些数据源迁移到哪些数据源。 表4 links 参数 参数类型 描述 link-config-values
数据，详细说明请参见使用时间宏变量完成增量同步。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 导入开始前 导入数据前，选择是否清除目的表的数据：
关键操作指导 增量迁移原理介绍 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题： 数据集成（CDM作业）
单表同步：适用于数据入湖和数据上云场景下，表或文件级别的数据同步，支持的数据源请参见表/文件同步支持的数据源类型。 分库分表同步：适用于数据入湖和数据上云场景下，多库多表同步场景，支持的数据源请参见分库分表同步支持的数据源类型。 整库迁移：适用于数据入湖和数据上云场景下，离线或自建数据库
神通（ST） 请参见神通（ST）数据库迁移时支持的数据类型。 SAP HANA 请参见SAP HANA数据库迁移时支持的数据类型。 DWS 请参见DWS数据库迁移时支持的数据类型。 达梦 请参见达梦数据库迁移时支持的数据类型。 DLI 请参见DLI数据库迁移时支持的数据类型。 Elasticsearch/云搜索服务（CSS）
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
