检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IP地址。 HTTP端口 非安全集群下,与源端ClickHouse 服务器通信的 HTTP 端口。 可以登录源端集群的FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,搜索“http_port”参数获取。 HTTP
实例”,查看任一FE实例的IP地址。 数据库端口 填写连接到源端Doris数据库的连接端口。 数据库连接端口为Doris FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 数据库名 填写源端Doris数据库名称。
列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
地址。 HTTP端口 非安全集群下,与阿里云EMR ClickHouse 服务器通信的 HTTP 端口。 可以在EMR控制台ClickHouse服务的配置页面,单击server-config页签,查看“http_port”参数获取。 HTTP SSL/TLS端口 安全集群下,与阿里云EMR
ssl_client_certificate_key_file 否 填写证书与其私钥的串联文件(.pem)路径。如果证书的私钥存储在单独的文件中,则应将其与证书文件串联。 auth_source 否 填写MongoDB认证源。 times 是 设置采集次数,1≤取值范围≤1000。 interval
选择主机接入IP,可以为公网IP,也可以是私有IP;迁移预检查通过后,该IP会作为后续主机迁移工作流的资源接入IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。 Linux主机默认22端口,可根据实际情况修改。 凭证 选择主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。
也可以自行输入接入IP。迁移预检查通过后,该IP会作为后续主机迁移工作流的资源接入IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。 Linux主机默认22端口,可根据实际情况修改。 凭证 选择主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。
云”参数配置选择创建集群时所选择的VPC。 配置VPC终端节点完成后,登录弹性文件服务管理控制台,在左侧导航栏选择“通用文件系统 > 文件系统列表”进入文件系统列表页面。 单击文件系统名称,进入该文件系统详情页面。在左侧导航栏选择“权限管理”,单击“添加授权”按钮。 根据表1,配置授权参数,单击“确定”添加完成。
也可以自行输入接入IP。迁移预检查通过后,该IP会作为后续主机迁移工作流的资源接入IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。 Linux主机默认22端口,可根据实际情况修改。 凭证 选择主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。
对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过; 对于文件夹迁移:当文件迁移完成后再比对文件夹大写、
所选的资源必须都来源于基础配置所选的源端平台。 最多添加 100 个桶。 表2 迁移方式说明 迁移方式 说明 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。列表文件需要存放在目的端桶中。 前缀迁移 通过对象名称或者名称前缀过滤迁移,只迁移与对象名称或名称前缀一致的对象。
读取该字段,从而使该字段所在的表元数据迁移失败。 注意事项 CSV模板文件编辑 当使用MgC提供的CSV模板文件进行数据筛选时,请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同
使用步骤1.创建的第一个元数据连接,创建元数据同步任务,将源端的元数据同步至迁移中心。 创建N个Delta元数据连接,除了执行机IP和端口不同以外,其余参数配置需要与步骤1.中的第一个元数据连接保持一致。 “N”需要根据您现有的ECS资源和表的数量来确定。在ECS资源充足且表
MgC。 按表筛选 下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意: 请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。 保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名}
x.csv。 cert_file 否 auth参数值为“3”时,填写SSL cert_file文件绝对路径。 ca_file 否 auth参数值为“3”时,填写SSL ca_file文件绝对路径。 password 否 填写登录用户名对应的密码。 username 否 auth参
公有云 AK/SK 适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方
MgC。 按表筛选 下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意: 请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。 保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名}
当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark
MgC。 按表筛选 下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意: 请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。 保留CSV文件中的第一行不变,从第二行开始,每行填写一个表的迁移信息,格式为“{MC项目名}
选项,并配置安全认证命令。配置前,需要您手动将包含认证密钥的.keytab文件上传至执行机。 keytab文件地址:输入.keytab文件在执行机的存放地址。 keytab文件用户名:输入.keytab文件对应的用户名。 执行命令 可以通过设置Beeline或Spark-sql命令行参数,对数据进行处理。