检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
CDM集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 CDM集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置
连接的名称,根据连接的数据源类型,用户可自定义便于记忆、区分的连接名。 kafka_link Kafka broker Kafka broker的IP地址和端口。 192.168.1.1:9092 单击“显示高级属性”,然后单击“添加”,您可以添加客户端的配置属性。所添加的每个属性需配置属性名称和
下载CDM集群日志 操作场景 本章节指导用户获取集群的日志。集群的日志可用于查看作业运行记录,定位作业失败原因等。 前提条件 已创建CDM集群。 操作步骤 登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 或参考访问DataArts Studio实例控制台,登录DataArts
问题描述 CDM作业配置源端MongoDB添加字段,目的端MongoDB数据库字段映射,作业运行后,目的端数据库查看,数据存在问题,没有迁移成功。 故障分析 查看文档提示CDM通过获取样值的方式无法获得所有列。 添加字段,因为MongoDB是文档数据库,没有scheme概念。CDM字段映射取的是第一条的json
联系SRE查看cdm后台日志:/var/log/cdm/local/framework.log,搜索关键字:cluster running task,如果运行的并发数与available的并发数一致,则说明此时并发数已到达集群上限。 集群内存使用达到阈值 联系SRE查看cdm后台
DDM SAP HANA linkConfig.host 是 String 数据库服务器地址。 linkConfig.port 是 String 数据库服务器的端口号。 linkConfig.databaseconfig 否 枚举 创建Oracle连接时才有该参数,选择Oracle数据库连接类型:
作业管理 查询作业 删除作业 修改作业 随机集群创建作业并执行 停止作业 指定集群创建作业 启动作业 查询作业状态 查询作业执行历史 父主题: API
、网络流出速率、CPU使用率、内存使用率、磁盘利用率、失败作业率等信息。 关于CDM支持的监控指标,以及如何创建监控告警规则等内容,请参见查看监控指标。 父主题: 安全
创建源数据连接,一直报错用户名和密码错误,但是实际填的没有错 问题描述 创建Mysql链接,确认过用户名、密码没有错,同样的配置,在roma上建立数据连接能成功。 故障分析 查看后端日志,考虑用户Mysql侧有白名单限制,测试内网相通的另一台ECS Mysql客户端使用这个用户链接。 解决方案 再次核实账号密码无误
删除连接 √ √ √ × 创建作业 √ √ √ × 查询作业 √ √ √ √ 修改作业 √ √ √ × 启动作业 √ √ √ × 停止作业 √ √ √ × 查询作业状态 √ √ √ √ 查询作业执行历史 √ √ √ √ 删除作业 √ √ √ ×
对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间,请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式,实现导出满足规则的所有数据库。例如:表名配置为user_[0-9]{1,2},会匹配 user_0 到
域和规格,如果非相同区域和规格,则无法使用套餐包。CDM集群规格和区域可以通过进入CDM主界面,进入“集群管理”,单击集群列表中的集群名称查看。 如果套餐包和实际的CDM集群具有相同区域和规格,则以下情况也会产生按需费用: 如果您先购买按需计费增量包,再购买套餐包,则在购买套餐包
迁移作业时,需要一个RestAPI节点去周期判断迁移是否成功,如果CDM迁移成功,再去做计算操作。查询CDM迁移是否成功的API,具体请参见《云数据迁移API参考》中“查询作业状态”章节。 运行CDM作业的REST节点配置完成后,添加等待CDM作业完成节点,节点属性为: 节点名称:等待作业运行完成。
e增量迁移,以及使用Where条件配合时间变量函数实现增量数据迁移。 事务模式迁移 支持当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 字段转换 支持去隐私、字符串操作、日期操作等常用字段的数据转换功能。 文件加密 在迁移文件到文件系统时,CDM支持对写入云端的文件进行加密。
hash 进行查询或使用。 BITMAP BITMAP 类型是一个二进制类型。BITMAP 类型只能用于聚合类型的表(Aggregation Table),并且必须指定聚合类型为 BITMAP_UNION。 BITMAP 类型主要用于精确去重场景下,对数据进行预聚合。同时也可以用于如用户画像场景存放用户ID等。
hash 进行查询或使用。 BITMAP BITMAP 类型是一个二进制类型。BITMAP 类型只能用于聚合类型的表(Aggregation Table),并且必须指定聚合类型为 BITMAP_UNION。 BITMAP 类型主要用于精确去重场景下,对数据进行预聚合。同时也可以用于如用户画像场景存放用户ID等。
附录 状态码 错误码
连接是用户基于连接器创建的用于连接某个具体数据源的对象。 创建连接时需要指定连接的名称、连接器类型,以及数据源的地址、鉴权信息,例如连接到MySQL数据库需要主机地址、端口号、用户名、密码等配置信息。 一个连接被创建后可以被多个作业引用,且既可以作为源连接,也可以作为目的连接。 作业 作业是指用户创建的数据迁
能会影响集群正常运行。请酌情设置,无特殊场景请使用默认值。例如:64 64 单击“保存”,或者“保存并运行”回到作业管理界面,可查看作业状态。 作业状态有New,Pending,Booting,Running,Failed,Succeeded,stopped。 其中“Pendin
创建并管理CDM集群 创建CDM集群 解绑/绑定CDM集群的EIP 重启CDM集群 删除CDM集群 下载CDM集群日志 查看并修改CDM集群配置 管理集群标签 管理并查看CDM监控指标