检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
事务模式迁移 CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果
事务模式迁移 CDM的事务模式迁移,是指当CDM作业执行失败时,将数据回滚到作业开始之前的状态,自动清理目的表中的数据。 参数位置:创建表/文件迁移的作业时,如果目的端为关系型数据库,在目的端作业配置的高级属性中,可以通过“先导入阶段表”参数选择是否启用事务模式。 参数原理:如果
集群管理 查询集群详情 删除集群 查询所有可用区 查询支持的版本 查询版本规格 查询规格详情 查询所有集群的企业项目ID 查询集群的企业项目ID 查询集群实例信息 修改集群 重启集群 启动集群 停止集群(待下线) 创建集群 查询集群列表 父主题: API
20次/min 查询支持的版本 查询并显示支持的集群版本。 20次/min 查询版本规格 查询并显示集群版本规格。 20次/min 查询规格详情 查询并显示集群规格详情。 20次/min 查询所有集群的企业项目ID 查询并显示所有集群的企业项目ID。 20次/min 查询集群的企业项目ID
作业管理 查询作业 删除作业 修改作业 随机集群创建作业并执行 停止作业 指定集群创建作业 启动作业 查询作业状态 查询作业执行历史 父主题: API
在CDM监控页面,可查看所有监控指标的小图。 图1 查看监控指标 单击小图右上角的,可进入大图模式查看。 您可以在左上角选择时长作为监控周期,查看一段时间的指标变化情况。 父主题: 管理并查看CDM监控指标
数据库是否异常,将日志中打印查询源端的sql在Mysql客户端执行,看是否报错以及报错情况: 发现执行查询语句,全表查询,报错“Lost connection to MySQL server during query”,再次尝试执行count语句,查询数据,发现成功。 根据分析,
lumn表示字段名,data表示查询条件,例如“last_name:Smith”。 另外,如果查询条件data为带空格的字符串,则需要用双引号包围。如果不指定column,则会对所有字段以data进行匹配。 多条查询条件时,可通过连接词组合多个查询条件,格式为column1:data1
单击集群名称进入“现有集群”页面,查询弹性ip,如下图所示。 通过弹性IP地址,登录MRS集群后台。 用户名:admin 密码:创建集群时的密码 执行ip a | grep wsom命令查询MRS集群的浮动ip(wsom标志),如下图所示。 返回创建MRS连接界面,输入查询到的IP,创建连接成功。
查看审计日志 如何查看审计日志 支持云审计的关键操作
如果选择界面没有待选择的表,请确认表是否已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 迁移行为 将记录迁移到MongoDB目的端时,选择需要进行的插入行为操作。 新增:将文件记录直接插入指定的集合。 有则新增,无则替换:以指定的过滤键作为查询条件。如果在集合中找到匹配的记录,则替换该记
√ √ × × 集群绑定/解绑EIP √ × × × 查询集群列表 √ √ √ √ 查询集群详情 √ √ √ √ 重启集群 √ √ × × 修改集群配置 √ √ × × 删除集群 √ √ × × 创建连接 √ √ √ × 查询连接 √ √ √ √ 修改连接 √ √ √ × 删除连接
D对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 调用API获取项目ID
析待迁移的数据。 查看历史记录 查看作业执行结果及最近30天内的历史信息,包括历史执行记录、读取和写入的统计数据,在历史记录界面还可查看作业执行的日志信息。 查看作业日志 在历史记录界面可查看作业所有的日志。 也可以在作业列表界面,选择“更多 > 日志”来查看该作业最近的一次日志。
1/{project_id}/clusters cdm:cluster:create √ × 查询集群列表 GET /v1.1/{project_id}/clusters cdm:cluster:list √ × 查询集群详情 GET /v1.1/{project_id}/clusters/{cluster_id}
说明 取值样例 源连接名称 选择已配置的LogHub(SLS)连接。 sls_link 日志库 目标日志库的名称。 - 单次查询数据条数 一次从日志服务查询的数据条数。 128 数据消费开始时间 数据消费的开始时间位点,即日志数据到达LogHub(SLS)的时间,yyyyMMddHHmmss格式的时间字符串。
dis,其中Redis必须为Hash数据格式。 全部字段添加完之后,检查源端和目的端的字段映射关系是否正确,如果不正确可以拖拽字段调整字段位置。 单击“下一步”后保存作业。 解决方法二:修改JSON文件 获取源端HBase待迁移的表中所有的字段,列族与列之间用“:”分隔,例如: rowkey:rowkey
已经创建,或者对应连接里的账号是否有元数据查询的权限。 COLLECTION 高级属性 查询筛选 创建用于匹配文档的筛选条件,CDM只迁移符合条件的数据。例如: 按表达式对象筛选:例如{'last_name': 'Smith'},表示查找所有“last_name”属性值为“Smith”的文档。
保存并提交作业版本,单击“测试运行”,执行数据开发作业。 数据开发作业执行成功后,单击右上角的“前往监控”,进入“作业监控”页面,查看生成的任务或实例是否符合需求,如图6所示。 图6 查看运行结果
选参数中可以配置查询筛选。 图1 MongoDB查询筛选 此参数支持配置为时间宏变量,例如起始时间配置为{"ts":{$gte:ISODate("${dateformat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,DAY)}")}},表示查找ts字段中大于时