检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM作业管理访问不了,提示网络或服务器访问异常怎么处理? 问题描述 作业管理页面访问不了,提示“网络或服务器异常,请重试”的报错。 解决方案 F12看下接口返回都正常。 查看CDM集群各项指标是否正常:如磁盘、内存、CPU。 如果CDM集群以上指标都正常,用户侧清理浏览器缓存之后重新单击作业管理即可。
据迁移服务,各集群之间相互隔离,不可相互访问。目前一个集群只支持一个服务器。 前提条件 已申请VPC、子网和安全组。CDM集群连接云上其它服务时,需确保CDM集群与待连接的云服务在同一个VPC。如果CDM集群与其它云服务所属不同VPC,则CDM集群需要通过EIP连接云服务。 当C
DLI连接 介绍 通过DLI连接,可以导入数据到数据湖探索(DLI)服务,CDM暂不支持从DLI服务导出数据。 连接样例 { "links": [ { "link-config-values": { "configs":
配置Hive目的端参数 作业中目的连接为Hive连接时,目的端作业参数如表1所示。 表1 Hive作为目的端时的作业参数 参数名 说明 取值样例 数据库名称 输入或选择写入数据的数据库名称。单击输入框后面的按钮可进入数据库选择界面。 default 表名 输入或选择写入数据的目标
更新管理 更新漏洞 CDM云服务通过华为云安全公告密切关注漏洞,如Apache Log4j2 远程代码执行漏洞(CVE-2021-44228)、Fastjson存在反序列化漏洞(CNVD-2022-40233)等,如发现服务模块涉及漏洞影响,会迅速通过官方解决方案升级现网更新漏洞。
FTP/SFTP连接适用于从线下文件服务器或ECS服务器上迁移文件到数据库。 当前仅支持Linux操作系统的FTP 服务器。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户,密码不会立即生效且作业会运行失败。 连接FTP或SFTP服务器时,连接参数相同,如表1所示。
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 否 匹配数据类型 是:源端数据库中的Short、Int、Lo
除root用户外,其他用户都报错 解决方案 登录服务器,运行命令进入数据库:mysql -u root –p,然后输入密码。 mysql>use mysql; 授权: 例如想root使用123456从任何主机连接到mysql服务器: mysql>GRANT ALL PRIVILEGES
创建CDM集群,用于执行MySQL数据同步到DWS的任务。 当CDM集群与其他云服务所在的区域、VPC、子网、安全组一致时,可保证CDM集群与其他云服务内网互通,无需专门打通网络。 当CDM集群与其他云服务所在的区域和VPC一致、但子网或安全组不一致时,需配置路由规则及安全组规则以打
如果您需要对您所拥有的CDM服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)。如果云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CDM服务。 默认情况下,新建的IAM
linkConfig.serverlist 是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String
终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询所有服务的终端节点。 云数据迁移服务的终端节点如表1所示,请您根据业务需要选择对应区域的终端节点。 表1 CDM数据集成Endpoint 区域名称 区域ID 终端节点(Endpoint)
是 String 服务器地址列表,格式如:“host1:port1;host2:port2”。 linkConfig.database 是 String MongoDB的数据库名称。 linkConfig.userName 是 String 连接MongoDB服务器的用户名。 linkConfig
0:3306:cdm|192.168.2.2:3306:cdm:user:password 单次请求行数 可选参数,单击“显示高级属性”后显示。 指定每次请求获取的行数,根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小,可能影响作业的时长。 1000 连接属性 可选参数,单击“添加”可增
资产识别与管理 云资源的标识与管理可通过标签实现。 使用场景 通常您的业务系统可能使用了华为云的多种云服务,您可以为这些云服务下不同的资源实例分别设置标签(对于CDM而言,标签作用于其集群上),各服务产生的计费详单中都会体现这些资源实例和实例上设置的标签。如果您的业务系统是由多个不同的应用构
数据源为Hive时支持哪些数据格式? 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题: 功能类
取值样例 名称 连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 dds_link 服务器列表 服务器地址列表,输入格式为“数据库服务器域名或IP地址:端口”。多个服务器列表间以“;”分隔。 192.168.0.1:7300;192.168.0.2:7301 数据库名称
场景介绍 本章节介绍云数据迁移(Cloud Data Migration,以下简称CDM)的基础使用方法,通过CDM迁移RDS for MySQL数据到数据仓库服务DWS的具体操作,帮助您了解、熟悉CDM服务,具体场景如图1所示。 图1 MySQL迁移到DWS CDM的基本使用流程如下:
Kafka连接 介绍 通过DMS Kafka连接,可以连接DMS Kafka普通队列或者专享版Kafka。目前仅支持从DMS Kafka导出数据到云搜索服务。 连接样例 { "links": [ { "link-config-values": { "configs":
据迁移和集成的效率。 在数据治理中心(DataArts Studio)服务中,CDM作为其中的“数据集成”组件使用,产品能力与独立的CDM服务保持一致。因此,后文中的“云数据迁移”、“数据集成”均指CDM服务。 当前DataArts Studio已提供全新的离线集成作业能力。离线