检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行
check_hostname,True" ca 否 使用了SSL认证的verify_ca模式时,填写CA证书所在路径。 Linux系统MySQL证书默认存放位置取决于MySQL的安装方式和版本。通常MySQL证书存放在以下位置: MySQL 5.6及以下版本:/etc/mysql/ MySQL 5
csv。 ssl_ca_file 否 使用SSL连接,填写CA证书文件(.pem)路径。建议使用一组特定的CA证书,而不是由知名机构颁发签署的服务器证书。 ssl_client_private_key_password 否 如果证书密钥文件中包含的私钥已加密,则需要填写密码或口令短语。
服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,填写与目的端ClickHouse 服务器通信的HTTPS 端口。 表4 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择目的端。 连接名称 默认创建名称为“Hive-
”,授权对象为Edge所在主机的公网IP,端口选择全部。 入方向规则设置完成后,单击“确定”。 步骤五:搭建大数据数据迁移环境 参考大数据数据迁移的准备工作,完成迁移环境搭建。其中,购买ECS选择在阿里云购买一台ECS实例,要求该ECS实例的私有IP地址能够通过SNAT访问外部网
EIP(EIP最多支持同时勾选20个)。 内网:使用内网迁移,适用于同一区域内的迁移场景。 专线:使用专线迁移,通过专线直接访问源端数据。搭建云专线的方法可参考云专线 DC。 - 高级设置 DNS配置(可选) 填写DNS服务器IP地址,用于追加/etc/resolv.conf文件
页面。 选择所有应用程序页签,单击应用程序名称,进入该应用的概述页面。在概要区域可以获取客户端(应用)ID和租户ID。 在左侧导航树选择“证书和密码”,选择“客户端密码”页签,单击“新客户端密码”,创建一个新的密码。新创建的密码只能在创建时立即查看,请务必复制并备份。 父主题: 资源采集
dows主机上打开浏览器,输入地址“https://步骤7.输入的IP:步骤8.提示的端口号”,即可访问Edge的用户注册页面。例如:步骤7输入的IP为192.168.x.x,步骤8提示的端口号为27080,则Edge的访问地址为:https://192.168.x.x:27080。
非安全集群下,与源端ClickHouse 服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,与源端ClickHouse 服务器通信的HTTPS 端口。 表4 Hive Metastore连接参数配置说明 参数 配置说明 所属源 选择源端。 连接名称 默认创建名称为“Hive-M
yml edge.mgc-host MgC服务地址 华南-广州: https://mgc.cn-south-1.myhuaweicloud.com edge.vars.sms-agent-url SMS服务桶地址 https://sms-resource-cn-cn-north-4.obs
创建用户时选择步骤3创建的具有MgC权限的用户组。 获取访问密钥(AK/SK) 账号和IAM用户的访问密钥是单独的身份凭证,即账号和IAM用户仅能使用自己的访问密钥进行API调用/鉴权。获取访问密钥的方法请参见新增访问密钥。
非安全集群下,与ClickHouse 服务器通信的 HTTP 端口。默认为8123。 HTTP SSL/TLS端口 安全集群下,与ClickHouse 服务器通信的HTTPS 端口。 表6 Delta Lake(有元数据)连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建
Kafka采集器(app-discovery-kafka) 通过连接到Kafka节点,获取Kafka节点IP、版本、消费者信息等。参数配置说明参见表1。 表1 Kafka采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-kafka-xxx
如果开启了用户认证,请在ip:port前加上用户名@。例如:http://user@ip1:port1,http://ip2:port2 如果开启了https认证,将“http://”改成“https://”。 父主题: 采集器参数配置说明
SSL/TLS端口 安全集群下,与源端ClickHouse 服务器通信的HTTPS 端口。 可以登录源端集群的FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,搜索“https_port”参数获取。 在元数据采集区域,单击“创建任务
安全集群下,与MRS ClickHouse 服务器通信的HTTPS 端口。 可以登录目的端集群的FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,搜索“https_port”参数获取。 创建阿里云云数据库 Click
安全集群下,与MRS ClickHouse 服务器通信的HTTPS 端口。 可以登录目的端集群的FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,搜索“https_port”参数获取。 分别创建源端阿里云EMR ClickHouse和目的端MRS
用CDN降低源端出口下载流量的费用,可以勾选此选项。在域名输入框中输入自定义域名,并选择传输协议。HTTP协议安全级别低于HTTPS协议,推荐使用HTTPS协议。 源端为阿里云OSS、腾讯云COS时,如果使用了CDN鉴权,还需要选择“鉴权类型”并输入“鉴权密钥”。 SMN消息发送配置
影响大对象迁移速度的关键因素有哪些? 影响小对象迁移速度的关键因素有哪些? 如何监控和查看影响迁移速度的关键指标? 为什么存储迁移工作流进度长时间没有变化? 将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理?
不会对源端数据进行修改。并提供了“导入本地文件”与“在线采集”两种采集方式。 数据传输 迁移中心为了确保数据传输安全,采用加密通道(HTTPS、SSH)进行数据传输。 凭证加密 在线采集时,采集凭证会加密存储在MgC服务端。用户也可以通过在源端部署Edge实施采集,采集凭证加密存储在本地Edge。