检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当多个数据连接共用同一Agent时，通过这些数据连接提交SQL作业、Shell脚本、Python脚本等任务的同时运行上限为200。 数据集成配置 数据库名称 是 要连接的数据库。 直连模式 否 是否直连，适用于主节点网络通，副本节点网络不通场景。 属性配置 否 自定义连接属性，当前支持socketTi
useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 数据源认证及其他功能配置
问题描述 码表和数据标准的关系是什么。 解决方案 码表由多条表字段的名称+编码+数据类型组成，码表的表字段可以关联到数据标准上，数据标准会应用到某张模型表的字段上。 父主题： 数据架构
移至目标库。 用户需要提前创建对应数据库，否则可能导致后续自动建表失败。 与来源库同名：会迁移至目的端对应与来源库同名的数据库中。 自定义：支持用户指定目的端库名，也支持通过#{source_db_name}给源数据库名添加自定义字段变成目的端DWS表的库名。 如果包含内置参数#
待抽取数据的数据源，作业源端为Hive时，这里为“hive”。 fromJobConfig.database 否 String 待抽取数据的数据库，例如“default”。 fromJobConfig.table 是 String 待抽取数据的表名，例如“cdm”。 fromJobConfig
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
information: app not found 应用不存在。 确认请求的key和secret是否准确。 APIG.0304 The app is not authorized to access the API 应用无权访问当前API。 确认API已授权给应用。 确认请求的key和secret是否准确。
如未建立，请参考配置DataArts Studio数据连接参数进行操作。 已在DLI中创建数据库，以“dli_db”数据库为例。 如未创建，请参考新建数据库进行操作。 已在“dli_db”数据库中创建数据表trade_log和trade_report。 如未创建，请参考新建数据表进行操作。
3000 20 数据源元数据获取 表7 数据源元数据获取 API 说明 API流量限制（次/min） 用户流量限制（次/min） 获取数据库列表 获取数据库列表。 12000 60 获取schemas 获取schemas，目前只有DWS和采用postgresql驱动的RDS数据源支持s
CDM集群和数据服务专享版集群在工作空间之间相互隔离，建议您在新空间提前准备好对应旧空间的集群。 搬迁依赖于OBS功能，请您提前规划OBS桶和文件夹目录。 DataArts Studio数据搬迁时，依赖各组件的备份或导入导出能力。您可以根据自己的数据需求，自由选择搬迁哪个组件的数据。 管理中心配置数据搬迁 数据集成配置数据搬迁
useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 Hive
咨询与计费 区域和可用区如何选择？ 数据库、数据仓库、数据湖与华为智能数据湖方案是什么，有哪些区别和联系？ DataArts Studio和沃土是什么关系？ DataArts Studio和ROMA有什么差异？ DataArts Studio是否支持私有化部署到本地或私有云？ 如何在IAM中创建细粒度权限策略？
FTP/SFTP连接参数说明 FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 连接FTP或S
数据catalog。 数据库 选择数据库。 DLI数据目录如果选择DLI默认的数据目录dli，表示为DLI的数据库和数据表。 DLI数据目录如果选择DLI所绑定的LakeFormation已创建元数据catalog，表示为LakeFormation的数据库和数据表。 资源队列 输入执行作业的资源队列。
资源队列 选择目的表所属的资源队列。 DLI的default队列无法在迁移作业中使用，您需要在DLI中新建SQL队列。 cdm 数据库名称 写入数据的数据库名称。 dli 表名 写入数据的表名。 car_detail 分区 用于抽取分区的信息。 ['year=2020'] ['year=2020
数据迁移进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导
Hive组件的严格模式。 数据库 选择配置的数据质量规则所应用到的数据库。 说明： 数据库基于已建立的数据连接。 当“规则类型”选择“库级规则”，数据对象选择对应的数据库即可。 数据表 选择配置的数据质量规则所应用到的表。 说明： 数据表与数据库强相关，基于已选择的数据库。 当“规则类型”
} 参数说明 参数 是否必选 类型 说明 fromJobConfig.database 是 String MongoDB/DDS的数据库名称。 fromJobConfig.collectionName 是 String MongoDB/DDS的集合名称。 fromJobConfig
连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 sql_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 单击输入框后的“选择”，可获取用户的实例列表。 192.168.0.1 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。例如： SQLServer默认端口：1433
关键操作指导 增量迁移原理介绍 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 新增字段操作指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍 不支持数据类型转换规避指导 自动建表原理介绍 父主题： 数据集成
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
