检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
名称:用户自定义连接名称,例如“oracle_link”。 数据库服务器地址、端口:配置为Oracle服务器的地址、端口。 数据库名称:选择要导出数据的Oracle数据库名称。 用户名、密码:Oracle数据库的登录用户名和密码,该用户需要拥有Oracle元数据的读取权限。 单击“保存”回到连接管理界面。
名称:用户自定义连接名称,例如“oracle_link”。 数据库服务器地址、端口:配置为Oracle服务器的地址、端口。 数据库名称:选择要导出数据的Oracle数据库名称。 用户名、密码:Oracle数据库的登录用户名和密码,该用户需要拥有Oracle元数据的读取权限。 单击“保存”回到连接管理界面。
oracle_link 数据库服务器 数据库服务器域名或IP地址。 192.168.0.1 端口 Oracle数据库的端口。 3306 数据库连接类型 Oracle数据库连接类型。 Service Name 数据库名称 要连接的数据库。 db_user 用户名 拥有Oracle数据库的读取权限的用户。
1/{project_id}/clusters cdm:cluster:create √ × 查询集群列表 GET /v1.1/{project_id}/clusters cdm:cluster:list √ × 查询集群详情 GET /v1.1/{project_id}/clusters/{cluster_id}
{ "name": "toJobConfig.database", "value": "rf_database" }, {
作业配置完成后,单击“保存并运行”,回到作业管理界面,在整库迁移的作业管理界面可查看执行进度和结果。 本地Elasticsearch索引中的每个类型都会生成一个子作业并发执行,可以单击作业名查看子作业进度。 作业执行完成后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据,以及日志信息(子作业才有日志)。
作业配置完成后,单击“保存并运行”,回到作业管理界面,在整库迁移的作业管理界面可查看执行进度和结果。 本地Elasticsearch索引中的每个类型都会生成一个子作业并发执行,可以单击作业名查看子作业进度。 作业执行完成后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据,以及日志信息(子作业才有日志)。
连接管理 创建连接 查询连接 删除连接 修改连接 父主题: API
管理并查看CDM监控指标 CDM支持的监控指标 设置CDM告警规则 查看CDM监控指标 父主题: 创建并管理CDM集群
用于将数据库的表迁移到文件系统的场景。 选择“是”时,如果源端数据表中的某一个字段内容包含字段分隔符或换行符,写入目的端时CDM会使用双引号(")作为包围符将该字段内容括起来,作为一个整体存储,避免其中的字段分隔符误将一个字段分隔成两个,或者换行符误将字段换行。例如:数据库中某字段为hello
户无法从VPC访问实例,具有高度的安全性。 数据传输安全 CDM在用户VPC中运行,网络隔离确保数据传输的安全性。支持SSL的数据源,如RDS、SFTP等,可以使用SSL。CDM还支持公网数据源的数据上云,用户可以利用VPN和SSL技术来避免传输安全风险。 用户和网络隔离 CDM
问题描述 CDM作业配置源端MongoDB添加字段,目的端MongoDB数据库字段映射,作业运行后,目的端数据库查看,数据存在问题,没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段,因为MongoDB是文档数据库,没有scheme概念。CDM字段映射取的是第一条的json
Redis服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 密码 连接Redis的密码。 - Redis数据库索引 Redis分库的索引标识。 Redis的分库,相当于关系型数据库中的data
发送通知等参数。本节介绍了设置CDM集群告警规则的具体方法。 操作步骤 进入CDM主界面,选择“集群管理”,选择集群操作列中的“更多 > 查看监控指标”。 单击监控指标页面左上角的返回按钮,进入云监控服务的界面,选择“云数据迁移服务”服务监控项对应操作列的“创建告警规则”。 图1
说明 fromJobConfig.index 是 String 抽取数据的索引,类似关系数据库中的数据库名称。 fromJobConfig.type 是 String 抽取数据的类型,类似关系数据库中的表名。 fromJobConfig.columnList 否 String 需要抽
接收消息通知的邮箱。 表4 cluster 参数 是否必选 参数类型 描述 scheduleBootTime 否 String 定时开机的时间,CDM集群会在每天这个时间开机。 isScheduleBootOff 否 Boolean 选择是否启用定时开关机功能。定时开关机功能和自动关机功能不可同时开启。
sql,则多半是队列资源限制,打开yarn,搜索租户的队列,查看Spark2x-JDBCServer2x的yarn任务,此时可能会搜索不到yarn任务,或者State为ACCEPTED,这两种情况都是资源不足起不了yarn任务的现象。打开yarn的schedule,查看队列资源,关注以下几个参数: Used
果不一致系统不会报异常,只是解密出来的数据会错误。 toJobConfig.filePrefix 否 String 自定义文件名前缀,支持时间宏。例如:test_${dateformat(yyyyMMdd, -1, DAY)} 注意文件名格式要符合hdfs文件路径命名规范。 父主题:
存储方式,此参数只有当数据库类型为DWS时启用,当需要自动创建DWS数据库表,指定表的数据存储方式: ROW:表的数据以行式存储。 COLUMN:表的数据以列式存储。 toJobConfig.isCompress 否 Boolean 是否压缩,此参数只有当数据库类型为DWS时启用,
Hudi目的端的作业执行卡Running,读取行数写入行数相等且不再增加怎么解决? 问题描述 CDM写Hudi为两段式,先写到hive临时表,然后再执行spark sql写到Hudi,写入行数统计的是写hive临时表的行数,当行数不再增长时,说明源端数据已经读完写到Hive表中,此时作业正在执行Spark