检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
一致时,需配置路由规则及安全组规则以打通网络。配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 当CDM集群与其他云服务所在的区域一致、但VPC不一致时,可以通过对等连接打通网络。配置对等连接请参见如何配置对等连接章节。 注:如果配置了VPC对
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
创建FusionInsight HDFS连接报错get filesystem怎么解决? 问题描述 创建FusionInsight HDFS数据连接时,测试连通性提示获取文件系统失败的问题。 解决方案 客户使用的管理ip有误,正确的ip使用的是集群的一个浮动ip,端口使用HDFS的webui的端口即可解决。
日 备份写入OBS连接 CDM通过该连接,将作业备份到OBS,需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业 如果之前执行过自动备份,“配置管理”页签下会显
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
其他可选参数保持默认即可,详细说明可参见配置MySQL源端参数。 目的端作业配置 目的连接名称:选择步骤2:创建连接章节中创建的DWS连接“dwslink”。 模式或表空间:选择导入到DWS的哪个模式。 自动创表:这里选择“不存在时创建”,当下面“表名”参数中配置的表不存在时,CDM会自动在DWS数据库中创建该表。
varchar(32)); 在CDM集群下,创建连接到MySQL的连接,例如连接名称为“mysqltestlink”。创建连接到DWS的连接,例如连接名称为“dwstestlink”。 运行下述代码,依赖HttpClient包,建议使用4.5版本。Maven配置如下: <project> <modelVersion>4
Where子句 “使用SQL语句”选择“否”时,显示该参数,表示配置抽取范围的Where子句,不配置时抽取整表。 该参数支持配置为时间宏变量,实现抽取指定日期的数据,详细说明请参见关系数据库增量迁移。 说明: 如果配置了时间宏变量,通过DataArts Studio数据开发调度CD
CDM迁移数据到DWS时如何选取分布列? 问题描述 CDM迁移数据到DWS时如何选取分布列? 解决方案 在使用CDM迁移数据到数据仓库服务(DWS)或者FusionInsight LibrA,且CDM在DWS端自动创建一个新表时,在创建作业的字段映射界面,需要选择分布列,如图1所示。
修改集群 功能介绍 修改CDM集群配置。 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/cluster/modify/{cluster_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目
如何查看套餐包的剩余时长? 套餐包的剩余时长需要在官网查询。 您可以进入华为云官网,在用户名下拉列表中选择“费用中心”,然后进入“订单管理 - 续费管理”查看对应套餐包的剩余时长。 父主题: 通用类
整库迁移到Hive,报错Identifier name is too long如何处理? 问题描述 迁移任务报错表名太长,但表名实际没有这么长。 原因分析 在任务迁移时,导入数据前会先创建一个实际表名+阶段表后缀的阶段表,最终导致的作业异常。 解决方案 在作业配置高级属性将导入阶段表设置为否,这样就不会先导入阶段表。
故障分析 查看日志报PG数据库表字段找不到所致,分析是字段命名使用小驼峰,而PG数据库区分大小写所以无法找到。 解决方案 让客户在连接配置高级属性添加包围符配置,问题解决。 父主题: 故障处理类
如何使用表达式方式获取当前时间? 问题描述 如何使用表达式方式获取当前时间? 解决方案 您可以在字段映射界面使用DateUtils.format(${timestamp()},"yyyy-MM-dd HH:mm:ss")表达式获取当前时间,更多表达式设置方式可以参考表达式转换。 父主题:
如何处理CDM从OBS迁移数据到DLI出现迁移中断失败的问题? 问题描述 CDM从OBS迁移数据到DLI出现迁移中断失败。 解决方案 此类作业问题表现为配置了脏数据写入,但并无脏数据。这种情况下需要调低并发任务数,即可避免此类问题。 父主题: 故障处理类
示。 图3 选择连接器类型 连接器类型选择“云数据库 MySQL”后单击“下一步”,配置连接参数: 名称:用户自定义连接名称,例如:“rds_link”。 数据库服务器、端口:配置为RDS上MySQL数据库的连接地址、端口。 数据库名称:配置为RDS上MySQL数据库的名称。 用户名、密码:登录数据库的用户和密码。
清除全部数据:写入数据前会清除目标表中数据。 清除部分数据:需要配置“where条件”参数,CDM根据条件选择性删除目标表的数据。 清除部分数据 where条件 “导入开始前”参数选择为“清除部分数据”时配置,配置后导入前根据where条件删除目的表的数据。 age > 18 and
示。 图3 选择连接器类型 连接器类型选择“云数据库 MySQL”后单击“下一步”,配置连接参数: 名称:用户自定义连接名称,例如:“rds_link”。 数据库服务器、端口:配置为RDS上MySQL数据库的连接地址、端口。 数据库名称:配置为RDS上MySQL数据库的名称。 用户名、密码:登录数据库的用户和密码。