检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FOR_SRC 迁移完成后,一致性校验时读取源端对象元数据失败,一般是由于源端流控导致。 重试工作流/任务,如果仍然失败排查下源端指定对象的元数据情况。 READ_ATTRIBUTE_FAIL_FOR_DST 迁移完成后,一致性校验时读取目的端端对象元数据失败,一般是由于目的端流控导致。
服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,填写与目的端ClickHouse 服务器通信的HTTPS 端口。 表4 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“Hive-
服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,填写与目的端ClickHouse 服务器通信的HTTPS 端口。 表4 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“Hive-
删除分区,而是在运行时覆盖那些有数据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql
删除分区,而是在运行时覆盖那些有数据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql
Agent,方法请参见安装Linux版本的MgC Agent。 注册MgC Agent用户:在浏览器中访问Linux主机的网卡IP地址+端口(27080),如:https://x.x.x.x:27080。首次访问后会进入注册页面,分别输入用户名、密码,确认密码无误后,单击《隐私政策声明》,仔细阅读后,勾选
方法请参见安装Linux版本的Edge工具。 注册Edge用户:在浏览器中访问Linux主机的网卡IP地址+端口(27080),如:https://x.x.x.x:27080。首次访问后会进入注册页面,分别输入用户名、密码,确认密码无误后,单击《隐私政策声明》,仔细阅读后,勾选
如果开启了用户认证,请在ip:port前加上用户名@。例如:http://user@ip1:port1,http://ip2:port2 如果开启了https认证,将“http://”改成“https://”。 父主题: 采集器参数配置说明
配置存储策略选择“保留源端存储类型”时,源端存储类型与华为云存储类型之间的转换关系参见表1。括号内的数值分别代表:每月每GB容量费用|每万次读取请求费用|每万次写入请求费用|每GB标准取回费用(标准存储类型不涉及)。表中费用数据仅供参考,具体以各云厂商提供的数据为准。 下表中各云厂
非安全集群下,与源端ClickHouse 服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,与源端ClickHouse 服务器通信的HTTPS 端口。 表4 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Hive-M
影响大对象迁移速度的关键因素有哪些? 影响小对象迁移速度的关键因素有哪些? 如何监控和查看影响迁移速度的关键指标? 为什么存储迁移工作流进度长时间没有变化? 将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理?
机上打开浏览器,输入地址“https://步骤7.输入的IP:步骤8.提示的端口号”,即可访问MgC Agent的用户注册页面。例如:步骤7输入的IP为192.168.x.x,步骤8提示的端口号为27080,则MgC Agent的访问地址为:https://192.168.x.x:27080。
安全集群下,与MRS ClickHouse 服务器通信的HTTPS 端口。 可以登录目的端集群的FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,搜索“https_port”参数获取。 分别创建源端阿里云EMR ClickHouse和目的端MRS
创建源端组件连接 对大数据组件数据进行一致性校验时,需要与大数据组件建立连接,用于数据查询。 目前支持创建源端连接的大数据组件包括: Doris HBase ClickHouse Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据)
用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。 SMN消息发送配置
用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。 SMN消息发送配置
用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。 SMN消息发送配置
用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。 SMN消息发送配置
选择在完成准备工作时,创建的集群作为迁移集群。 根据表2、表3,配置源端、目的端信息。 表2 源端信息参数说明 参数 说明 数据站点类型 选择“HTTP/HTTPS数据源”。 列表路径 填写在步骤二存放URL列表文件的文件夹名称(在本文示例中为minioUrl/),注意要在文件夹名称后面加上“/”。
非安全集群下,与ClickHouse 服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,与ClickHouse 服务器通信的HTTPS 端口。 表6 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建