检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
)。获取方法请参考准备工作。 阿里云访问密钥(AK/SK)准备 检查阿里云迁移账号是否拥有AK/SK以及只读访问云服务器ECS的权限(AliyunECSReadOnlyAccess),如果没有,请参考如下步骤生成AK/SK并添加权限。 登录阿里云RAM控制台。 在左侧导航栏,选择身份管理
口令短语。 ssl_client_certificate_key_file 否 填写证书与其私钥的串联文件(.pem)路径。如果证书的私钥存储在单独的文件中,则应将其与证书文件串联。 auth_source 否 填写MongoDB认证源。 times 是 设置采集次数,1≤取值范围≤1000。
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下:
/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶,并将数据迁移过程中所依赖的 Java 文件(jar包)上传至该OBS桶。
步骤三:评估迁移准备度 该操作主要用于校验源端待迁移主机的基本配置、网络环境和迁移分组。 前提条件 已完成阿里云ECS主机资源采集。 已在MgC Agent添加源端主机凭证。 操作步骤 在资源采集页面的主机资源列表上方选择“目标场景>主机迁移”,此时源端迁移准备度列会出现“配置”按钮,状态为“未就绪”。
在迁移工具Edge上分别添加一条MaxCompute凭证(源端阿里云账号的AK/SK)和数据湖DLI凭证(目的端华为云账号的AK/SK),认证方式选择AK/SK ,添加方法请参考添加资源凭证。 MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包
步骤五:创建主机迁移工作流 当完成所有准备工作和步骤一~步骤四的操作后,即可前往迁移工作流界面,创建主机迁移工作流。 父主题: 阿里云主机迁移至华为云
Agent上添加源端待迁移主机凭证,凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“Windows主机”或“Linux主机”。 父主题: 阿里云主机迁移至华为云
1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。
填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 校验完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。 测试连接通过后,单击“确认”按钮,创建执行机连接完成。
1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。
填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 校验完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与执行机建立连接,测试通过代表与执行机连接成功。 测试连接通过后,单击“确认”按钮,创建执行机连接完成。
Agent还提供了工作流模块,用于配合云端迁移工作流任务。 逻辑架构 MgC Agent作为MgC部署在客户云环境网络边缘的工具,其主要作用是执行数据采集和数据迁移。在特定的迁移场景中,这些操作需要在客户自己的云网络环境中执行,MgC Agent扮演着连接MgC和客户网络的桥梁角色,确保数据迁移过程的顺畅和安全。
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark
元数据增量感知 识别出上一次迁移后,在源端数据库中发生变化的元数据,并同步至目的端华为云数据湖探索(DLI)。 前提条件 已创建源端连接。 已创建目的端连接。 最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark
问题,建议使用Beeline作为客户端工具进行作业对数。 在进行ClickHouse数据校验时,如果源端阿里云的ClickHouse版本为21.8.15.7,目的端华为云的ClickHouse版本为23.3.2.37,由于这两个版本在处理IPv4和IPv6字段类型以及相关函数计算结果上存在差异,因此无法进行字段校验。
校验任务不支持跨天执行,执行过程中如果跨0点将导致校验结果异常,请合理规划任务以避免跨天运行。 在进行ClickHouse数据校验时,如果源端阿里云的ClickHouse版本为21.8.15.7,目的端华为云的ClickHouse版本为23.3.2.37,由于这两个版本在处理IPv4和IPv6字段类型以及相关函数计算结果上存在差异,因此无法进行字段校验。
收集大数据服务的资源使用信息,这些信息将用于MgC上的报告生成,以便于进行性能优化。 须知: 使用该功能,需要MgC Agent添加的华为云账号AK/SK拥有MRS服务和DLI服务的只读权限(ReadOnly)。 如果所选凭证与登录迁移中心 MgC的账号凭证相同,请勾选“所选凭证
选择源端云平台,目前支持的云平台有阿里云、华为云、AWS、腾讯云、Azure、七牛云、金山云。 是 凭证 选择源端对应的凭证,如未提前添加凭证,请单击“新建凭证”,填写相应参数,校验并保存凭证。 阿里云、华为云、AWS、腾讯云、七牛云、金山云认证方式请选择“AK/SK”,并输入源端账号的AK/SK。 A
凭证。 MySQL节点IP:输入MySQL数据库服务器的IP地址。 MySQL服务端口:输入MySQL数据库服务的端口号。 数据库名:输入存储Hive表元数据的数据库名称。 说明: 请确保填写的MySQL凭证、节点IP、服务端口和数据库名与Hive实际使用的MySQL数据库相匹配,否则会导致数据校验失败。