检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过数据开发实现数据增量迁移 DataArts Studio服务的DLF组件提供了一站式的大数据协同开发平台,借助DLF的在线脚本编辑、周期调度CDM的迁移作业,也可以实现增量数据迁移。
云搜索服务(CSS)连接参数说明 华为云的云搜索服务(CSS)是一个基于Elasticsearch且完全托管的在线分布式搜索服务,CSS连接适用于将各类日志文件、数据库记录迁移到CSS,Elasticsearch引擎进行搜索和分析的场景。
本文介绍了如何在API Explorer通过CDM API在线生成SDK代码,以及如何获取CDM服务的SDK包地址和参考文档。 在线生成SDK代码 API Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。
创建Oracle数据连接测试连通性成功,连接管理界面中测试连接失败。是什么原因? 问题描述 创建Oracle数据连接,创建连接时测试连通性成功。 在连接管理界面中,测试Oracle数据连接失败。提示如下信息: “无法连接服务器,请检查IP、主机名、端口填写是否正确,检查网络安全组和防火墙配置是否正确
微批模式为异步分批写入Hoodie,适用于对入库时间SLA要求较为严格的场景,以及对资源消耗较小,对MOR表存储类型在线进行压缩的场景。 说明: 运行-失败重试期间不允许修改此模式。 是 批次数据大小 “全量模式写Hoodie”设置为“否”时,使用微批模式呈现此参数。
数据复制服务 DRS 支持主流数据库到华为云的入云和出云迁移 数据库在线迁移 数据库实时同步 与CDM的区别: 数据库迁移使用DRS;到大数据系统的迁移使用CDM。
FTP测试连通性失败,报服务器内部错误怎么解决? 问题描述 ECS搭建FTP已经尝试root 、FTPadmin用户在本地都可以正常登录,安全组21、20端口正常放通,但是在创建FTP的数据连接报服务器内部错误。 解决方案 查询后台日志,报错为连接超时,截图如下,可能是安全组限制导致
创建MRS数据连接时测试连通性报下载配置文件失败错误怎么处理? 问题描述 创建MRS连接器报如下错误,在Manager检查用户权限是有的,检查网络也都是通的。 解决方案 登录Manager初始化用户后,重新建立数据连接即可。 父主题: 故障处理类
如何解决HANA集群只有部分节点和CDM集群网络互通? 问题描述 HANA集群只有部分节点和CDM集群网络互通,怎么办? 解决方案 如果HANA集群只有部分节点和CDM网络互通,为确保CDM正常连接HANA集群,则需要进行如下配置: 关闭HANA集群的Statement Routing
API概览 CDM所提供的API为自研API。通过配合使用CDM自研API,您可以使用CDM的如下功能。 表1 CDM API概览 类型 API 说明 用户流量限制(单位时间内的单个 用户请求次数上限) 集群管理API 创建集群 创建CDM集群。 5次/min 查询集群列表 查询并显示集群列表
如何将云下内网或第三方云上的私网与CDM连通? 很多企业会把关键数据源建设在内网,例如数据库、文件服务器等。由于CDM运行在云上,如果要通过CDM迁移内网数据到云上的话,可以通过以下几种方式连通内网和CDM的网络: 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时
创建FusionInsight HDFS连接报错get filesystem怎么解决? 问题描述 创建FusionInsight HDFS数据连接时,测试连通性提示获取文件系统失败的问题。 解决方案 客户使用的管理ip有误,正确的ip使用的是集群的一个浮动ip,端口使用HDFS的webui
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。
约束与限制 CDM系统级限制和约束 DataArts Studio实例赠送的数据集成集群,由于规格限制,仅用于测试业务、数据连接代理场景。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买,也可以在云数据迁移CDM服务控制台直接购买
创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错 问题描述 创建Mysql链接,确认过用户名、密码没有错,同样的配置,在roma上建立数据连接能成功。 故障分析 查看后端日志,考虑用户Mysql侧有白名单限制,测试内网相通的另一台ECS Mysql客户端使用这个用户链接
迁移HDFS文件,报错无法获取块怎么处理? 问题描述 用户HDFS为线下自建的,往OBS迁移文件建立好连接器后,测试源端和目的端的连通性都是没问题的。 任务启动时报如下错误: Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException
CDM集群Hive连接无法查询库和表的内容 问题描述 cdm集群hive连接无法查询到数据库和表的内容,手动配置库和表后字段可以显示,但报错hive 客户端初始化失败,无效的方案: get_table_req。 解决方案 用户的MRS集群是1.8.1,CDM为2.6.0。 报错看CDM
整库迁移支持的数据源类型 整库迁移适用于将本地数据中心或在ECS上自建的数据库,同步到云上的数据库服务或大数据服务中,适用于数据库离线迁移场景,不适用于在线实时迁移。 数据集成支持整库迁移的数据源如表2所示。
参考:CDM性能实测数据 背景说明 文中提供的性能指标仅用于参考,实际环境会受源或目标数据源性能、网络带宽及时延、数据及业务模型等因素影响。推荐您在正式迁移前,可先用小数据量实测进行速度摸底。 环境信息 CDM集群为xlarge规格,2.9.1 200版本。 性能测试中,表数据规格为