检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置 覆盖策略 对已有表的处理策略 跳过:如果目的端已经存在同名的数据表,将忽略该表,不会对其进行任何操作。 重建:如果目的端已经存在同名的数据表,该表及其数据将被完全删除,并根据源端的定义重新创建。 目的端连接 选择创建的目的端DLI
安全集群下,与MRS ClickHouse 服务器通信的HTTPS 端口。 可以登录目的端集群的FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,搜索“https_port”参数获取。 分别创建源端阿里云EMR ClickHouse和目的端MRS
选择创建的源端连接。 预估项目周期(天)(可选) 配置后,系统会在任务执行时检查表的生命周期。若表的生命周期在项目的预期结束时间之前终止,则忽略该表。不配置则默认迁移所有表。 MaxCompute参数 非必填参数,一般为空。如有需要,可参考MaxCompute参数文档进行配置。 数据范围
非安全集群下,与ClickHouse 服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,与ClickHouse 服务器通信的HTTPS 端口。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。
然后根据“匹配源端规格”的推荐逻辑,如果X实例的4U8G没有售完,则会推荐4U8G的X实例规格(x1.4u.8g)。 注意: 如果选择开启“忽略样本过少性能数据”,且采样的性能数据少于性能数据范围(天) x 288(采集默认5min一次,一天288次) x 50%,则不会根据性能进行调整。
Kafka采集器(app-discovery-kafka) 通过连接到Kafka节点,获取Kafka节点IP、版本、消费者信息等。参数配置说明参见表1。 表1 Kafka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-kafka-xxx
如果开启了用户认证,请在ip:port前加上用户名@。例如:http://user@ip1:port1,http://ip2:port2 如果开启了https认证,将“http://”改成“https://”。 父主题: 采集器参数配置说明
影响大对象迁移速度的关键因素有哪些? 影响小对象迁移速度的关键因素有哪些? 如何监控和查看影响迁移速度的关键指标? 为什么存储迁移工作流进度长时间没有变化? 将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理?
不会对源端数据进行修改。并提供了“导入本地文件”与“在线采集”两种采集方式。 数据传输 迁移中心为了确保数据传输安全,采用加密通道(HTTPS、SSH)进行数据传输。 凭证加密 在线采集时,采集凭证会加密存储在MgC服务端。用户也可以通过在源端部署Edge实施采集,采集凭证加密存储在本地Edge。
上传成功后,返回MgC控制台,在导入目的端配置窗口的下拉列表中,选择存放在OBS桶中的目的端配置文件。 单击“确认”导入目的端配置文件。 flavor参数为空时,忽略该行。 disk或image参数为空时,保持原有配置。 disk数量跟源端不一致时,会报磁盘数量不一致错误。 磁盘类型跟flavor冲突时,会报磁盘类型错误。
用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。 SMN消息发送配置
MRS ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍MRS ClickHouse版本间数据迁移后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edge并注册用户,方法请参见安装Linux版本的Edge工具。
请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 OMS.03005 列表桶失败 请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 OMS.03009 验证源端cdn失败 请检查cdn配置是否正确。 OMS.03010 挂载命令执行失败 NAS无法挂载,请检查连接参数或网络。 OMS.03011
采集项列表 本节为您列出各类型采集方式所包含的采集项以及用途。 网段扫描 采集项 说明 作用 ip 主机IP 用于深度采集 port 主机端口 用于深度采集 osType 系统类型 用于深度采集 name 主机名称 用于深度采集 主机(含深度采集) 采集项 说明 作用 name 主机名称
阿里云 ClickHouse迁移至MRS ClickHouse数据校验 本文主要介绍将阿里云 ClickHouse数据迁移至华为云MRS ClickHouse后,使用迁移中心 MgC进行数据一致性校验的步骤和方法。 准备工作 需要先在源端内网环境中安装用于配合数据校验的工具Edg
用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。 SMN消息发送配置
创建元数据连接 创建元数据来源类型的连接,获取源端大数据库表清单。 目前支持的连接类型,参见表1。 表1 支持的元数据连接类型 类别 连接类型 大数据组件 Hive Metastore Doris HBase ClickHouse Delta Lake(有元数据) Delta Lake(无元数据)
方法请参见安装Linux版本的Edge工具。 注册Edge用户:在浏览器中访问Linux主机的网卡IP地址+端口(27080),如:https://x.x.x.x:27080。首次访问后会进入注册页面,分别输入用户名、密码,确认密码无误后,单击《隐私政策声明》,仔细阅读后,勾选