检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。
用户名 连接DDS的用户名。 cdm 密码 连接DDS的密码。 - 直连模式 适用于主节点网络通,副本节点网络不通场景。 说明: 直连模式服务器列表只能配一个ip。 直连适用于主节点网络通,副本节点网络不通场景。 否 父主题: 配置连接参数
流程介绍 使用CDM+OBS+DLI进行贸易统计分析的操作过程主要包括2个步骤: 使用CDM上传数据到OBS 通过CDM将H公司存量数据上传到对象存储服务OBS。 通过CDM作业的定时任务,每天自动上传增量数据到OBS。 使用DLI分析数据 通过DLI直接分析OBS中的业务数据,支撑H公司客户进行贸易统计分析。
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群的VPC必须和云搜索服务集群所在VPC一致,且推荐子网、安全组也与云搜索服务一致。 如果安全控制原因不能使用相同子网和安全组,那么需要确保安全组规则能允许CDM访问云搜索服务集群。
“无法连接服务器,请检查IP、主机名、端口填写是否正确,检查网络安全组和防火墙配置是否正确,参考数据库返回消息 ORA-01005 null password given. logon denied(Cdm 0941)” 解决方案 请检查IP、主机名、端口填写是否正确,检查网络安全组和防火墙配置是否正确,参考
可能会导致集群内存不足。 /0521/Lists.txt JSON类型 当“文件格式”选择为“JSON格式”时,才有该参数。JSON文件中存储的JSON对象的类型,可以选择“JSON对象”或“JSON数组”。 JSON对象 记录节点 当“文件格式”选择为“JSON格式”并且“JS
业执行失败。 问题分析 日志中出现源端的read timeout报错,或者terminate by xxx之类的报错。 解决方案 如果源端网络不稳定,可以使用分片重试能力多次执行作业,可能需要调整作业配置。 如作业配置了分片数,或者源端为分区表,且作业配置了按表分区抽取,则单击更
使用CDM上传数据到OBS 上传存量数据 上传增量数据 父主题: 贸易数据极简上云与统计分析
查看HDFS服务的所有DataNode实例是否都已启动,此时DataNode状态为停止会获取不到块,以及cdm和DataNode节点的网络是否正常。 注:9866端口是HDFS文件系统DataNode的数据传输接口。 解决方案 因为DataNode节点防火墙为开启状态,CDM
套餐包到期未续订或按需资源欠费时,我的数据会保留吗? 云服务进入宽限期/保留期后,华为云将会通过邮件、短信等方式向您发送提醒,提醒您续订或充值。保留期到期仍未续订或充值,存储在云服务中的数据将被删除、云服务资源将被释放。 宽限期:指客户的包周期资源到期未续订或按需资源欠费时,华为云提供给客户进行续费与充值的时间,宽限期内客户可正常访问及使用云服务。
审计与日志 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的CDM操作列表详见支持云审计的关键操作。用户开
源端读取速度 取决于源端数据源的性能。 如需优化,请参见源端数据源的相关说明文档。 网络带宽 CDM集群与数据源之间可以通过内网、公网VPN、NAT或专线等方式互通。 通过内网互通时,网络带宽是根据不同的CDM实例规格的带宽限制的。 cdm.large实例规格CDM集群网卡的基准/最大带宽为0
参考:CDM性能实测数据 背景说明 文中提供的性能指标仅用于参考,实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前,可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格,2.9.1 200版本。 性能测试中,表数据规
实例模式,这里为Standalone。 subnetid String 实例的子网ID。 securegroup String 安全组ID。 vpc String 实例的VPC ID。 azcode String 可用区名称。 region String 局点名称。 created String 实
数据保护技术 数据存储安全 为了确保您的个人敏感数据(例如用户名、密码、手机号码等)不被未经过认证、授权的实体或者个人获取,CDM对用户数据的存储和传输进行加密保护,以防止个人数据泄露,保证您的个人数据安全。 数据销毁机制 用户删除CDM集群后,存储在集群上的用户个人敏感数据会随之删除。
测量对象 监控周期(原始指标) bytes_in 网络流入速率 该指标用于统计每秒流入测量对象的网络流量。 单位:字节/秒。 ≥ 0 bytes/s CDM集群实例 1分钟 bytes_out 网络流出速率 该指标用于统计每秒流出测量对象的网络流量。 单位:字节/秒。 ≥ 0 bytes/s
关键配置如下: CDM集群的规格,按待迁移的数据量选择,一般选择cdm.medium即可,满足大部分迁移场景。 CDM集群所在VPC、子网、安全组,选择与MRS集群所在的网络一致。 CDM集群创建完成后,选择集群操作列的“绑定弹性IP”,CDM通过EIP访问MySQL。 图2 集群列表 如
迁移HDFS文件,报错无法获取块怎么处理? 创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? CDM作业管理访问不了,提示网络或服务器访问异常怎么处理? 通过CDM从OBS迁移数据到DLI,同样的作业在新版本集群迁移失败? CDM迁移DWS数据报错Read timedout怎么处理?