检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在增量数据校验中,如果通过Metastore查询,当分区数量超过30,000时,可能会因为将所有分区信息加载到内存中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。 不启用:系统通过MetaStore查询Hive表的分区信息。 启用:配置MySQL
在增量数据校验中,如果通过Metastore查询,当分区数量超过30,000时,可能会因为将所有分区信息加载到内存中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。 不启用:系统通过MetaStore查询Hive表的分区信息。 启用:配置MySQL
iam:projects:listProjects(查询租户项目) eps:enterpriseProjects:list(查看企业项目列表) vpc:subnets:get(查询子网列表或详情) vpc:securityGroups:get(查询安全组列表或详情) vpc:vpcs:get(查询虚拟私有云详情) 迁移方案配置
选择源端主机凭证,如未提前在Edge上添加源端主机凭证,请前往Edge控制台添加,并同步至迁移中心。 添加成功后,在资源列表页面的主机页签,可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用管理”,进入应用管理页面。在页面左上角的当前项目下拉列表中选择迁移项目。
iam:projects:listProjects(查询租户项目) eps:enterpriseProjects:list(查看企业项目列表) vpc:subnets:get(查询子网列表或详情) vpc:securityGroups:get(查询安全组列表或详情) vpc:vpcs:get(查询虚拟私有云详情) 迁移方案配置
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 旧版
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明 父主题: 新版
<FILE-NAME> 共享下载链接和文件名之间用制表符隔开,子文件夹的文件名需要包含子文件夹名称。关于URL列表文件的更多要求和限制,请查看存储迁移的约束与限制有哪些?。 例如: http://100.85.xxx.xx:xxxx/bucket-public01/dragon.png
启用:记录存储迁移过程中的日志,便于查看和定位迁移中出现的问题。 不启用:不记录存储迁移过程中的日志。 - 参数配置完成后,单击“确认”开始创建集群。在迁移集群列表中查看集群状态,状态详情参见集群状态说明。如果集群状态为创建失败,将鼠标移动到“创建失败”上,可以查看失败原因。在解决失败原因后,可以通过操作列的“更多
选择源端主机凭证,如未提前在MgC Agent上添加源端主机凭证,请前往MgC Agent控制台添加,并同步至迁移中心。 添加成功后,在主机资源列表,可以查看添加的主机资源。 添加数据库 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。 单击左侧导航栏的“源端发现>应用管理”,进入应用管理页面。
启用:记录存储迁移过程中的日志,便于查看和定位迁移中出现的问题。 不启用:不记录存储迁移过程中的日志。 - 参数配置完成后,单击“确认”开始创建集群。在迁移集群列表中查看集群状态,状态详情参见集群状态说明。如果集群状态为创建失败,将鼠标移动到“创建失败”上,可以查看失败原因。在解决失败原因后,可以通过操作列的“更多
迁移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入任务进度页签,可以查看该任务产生的运行实例以及迁移进度。 单击进度统计列的“查看”,进入进度详情页面。可以查看元数据的增量感知结果并导出任务结果。 单击进度详情页面右上角的“打开DDL编辑
<PORT>:Ceph RGW服务的实际访问端口号。 如果您要迁移的桶数据可以直接通过浏览器访问,请跳过步骤1,直接进行步骤2.操作。 查看源端桶是否已经设置了访问策略,命令格式如下: s3cmd info s3://<BUCKET-NAME> 如果返回结果中Policy参数值
在增量数据校验中,如果通过Metastore查询,当分区数量超过30,000时,可能会因为将所有分区信息加载到内存中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。 不启用:系统通过MetaStore查询Hive表的分区信息。 启用:配置MySQL
在增量数据校验中,如果通过Metastore查询,当分区数量超过30,000时,可能会因为将所有分区信息加载到内存中而导致内存溢出(OOM)。因此,使用MySQL作为元数据仓可以有效地解决这一问题。 不启用:系统通过MetaStore查询Hive表的分区信息。 启用:配置MySQL
迁移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入任务进度页签,可以查看该任务产生的运行实例以及迁移进度。 单击进度统计列的“查看”,进入进度详情页面。可以查看元数据的增量感知结果并导出任务结果。 单击进度详情页面右上角的“打开DDL编辑
迁移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入任务进度页签,可以查看该任务产生的运行实例以及迁移进度。 单击进度统计列的“查看”,进入进度详情页面,可以查看并导出任务结果。 父主题: 迁移实施
/ 执行如下命令,启动MgC Agent。 ./start.sh 当出现如下图所示提示时,表示MgC Agent已经启动。 执行如下命令,查看MgC Agent进程。 ps -ef |grep edge 当出现如下图所示提示时,表示MgC Agent进程已经启动。 父主题: 常见问题
资源采集 资源采集常见问题和处理方法 如何查看采集失败原因? 公网采集失败,提示:“网络连接超时”或“其他异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限?
迁移时,单击操作列的“运行”,手动启动迁移。 迁移任务运行后,单击操作列的“查看实例”,进入任务进度页签,可以查看该任务产生的运行实例以及迁移进度。 单击进度统计列的“查看”,进入进度详情页面,可以查看并导出任务结果。 父主题: 创建迁移任务