检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
情页面。 选择“监控”页签,查看NAT网关下出、入方向流量的变化情况。 查看专线迁移的网络流出、流入带宽指标的方法如下: 登录华为云管理控制台,单击“服务列表 > 管理与监管 > 云监控服务 CES”,进入总览页面。 选择页面左侧的“云服务监控”,进入云服务监控页面。 单击云专线
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据)
创建执行机连接 执行机是获取数据的任务执行单元,需要分别与源端和目的端的执行机建立连接,然后执行数据统计,统计结果将用于数据校验。 以下大数据组件需要通过创建执行机连接来进行数据校验: Hive Metastore Delta Lake(有元数据) Delta Lake(无元数据)
tType) 作业ID(JobId) 须知: 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100
tType) 作业ID(JobId) 须知: 模板中目标组件类型和上游组件类型支持的类型包括HiveSQL、MaxCompute。 模板中单元格不允许存在公式,否则会导致解析失败。 模板参数填写完成并保存后,单击窗口的“添加文件”,将填写后的模板文件上传至迁移中心。 注意: 文件大小不能超过100
设备管理 您可以在MgC控制台监控和管理当前项目下,与MgC建立连接的MgC Agent(原Edge)。 前提条件 已在源端安装迁移中心Agent,并与迁移中心连接成功。 查看设备 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的迁移项目。 单击左侧导航栏的“迁移中
模板以及存储数据迁移模板,用户可以根据不同迁移场景,选择合适的迁移模板构建迁移工作流,还可以插入自定义迁移阶段和步骤,支持一键式运行和实时监控迁移进展。
建议:根据迁移需求调整源端和目的端的QPS限制。 迁移集群的网络带宽使用情况:对于小对象迁移,网络带宽可能不是主要限制因素,但如果带宽使用接近上限,仍可能影响迁移速度。 建议:监控网络带宽使用情况,确保有足够的带宽用于迁移。如果发现带宽不足,可以考虑升级带宽或在带宽使用较低的时段进行迁移。 父主题: 存储迁移
MgC内置了由最佳实践总结而来的迁移工作流模板,您可以根据不同迁移场景,选择合适的迁移模板构建迁移工作流,还可以插入自定义任务和脚本,支持一键式运行和实时监控迁移进展。 支持区域: 全部 创建主机迁移工作流 线下主机迁移上云 主机一站式跨可用区迁移 创建存储迁移工作流 大数据数据迁移 支持多种大
迁移中心 MgC内置了由最佳实践总结而来的主机迁移工作流标准模板,您可以根据实际迁移场景,在工作流中插入迁移阶段和步骤,支持一键式运行和实时监控迁移进展。 前提条件 已完成主机资源采集。 已将待迁移主机关联应用。 已完成待迁移主机的规格评估。 操作步骤 登录迁移中心管理控制台。在左
各云厂商的对象存储服务针对用户业务对存储性能、成本的不同诉求,将对象的存储级别进行了区分,区分的普遍依据是对象的访问频度、访问时延、最低存储时间、最低存储单元、数据可靠性、数据可用性等。根据以上依据,华为云OBS提供了以下四种存储类型: 标准存储 访问时延低和吞吐量高,因而适用于有大量热点文件(
为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。
为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。
通道认证:只有经过验证的用户账号才能上传数据,增加了数据传输的安全性。 审计日志: 上传操作会被记录在后台日志中,这些日志可以用于审计和监控数据上传活动,确保所有操作都是可追踪和可验证的。 操作权限与最小权限原则:无论哪种采集方式,都需要具备相应的操作权限,并且遵循最小权限原则,即只授予完成特定任务所需的最小权限。
将购买的主机加入商用生产企业项目。默认项目为default。 企业项目管理提供了一种按企业项目管理云资源的方式,帮助您实现以企业项目为基本单元的资源及人员的统一管理。关于创建和管理企业项目的详情,请参见《企业管理用户指南》。 参数配置完成后,单击“保存”按钮,在模板列表可以查看创建的模板。
将购买的主机加入商用生产企业项目。默认项目为default。 企业项目管理提供了一种按企业项目管理云资源的方式,帮助您实现以企业项目为基本单元的资源及人员的统一管理。关于创建和管理企业项目的详情,请参见《企业管理用户指南》。 参数配置完成后,单击“保存”按钮,在模板列表可以查看创建的模板。
入模板,将需要导入的数据表对应参数填写到模板内。 每个模板最多支持导入10,000张表。 同一表组内的表必须属于同一个元数据来源。 模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。
入模板,将需要导入的数据表对应参数填写到模板内。 每个模板最多支持导入10,000张表。 同一表组内的表必须属于同一个元数据来源。 模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。
步骤为迁移模板的标准步骤,您也可以在工作流步骤中自行添加阶段/步骤。 确定工作流步骤后,单击“运行”按钮,开始迁移。 在工作流步骤页签可以监控迁移进展。如果迁移步骤中包含手动操作,需要您进行手动确认后,才能进行后续步骤。 在主机页签,可以查看每台主机的迁移状态。 父主题: 主机迁移相关最佳实践
迁移对源端和目的端有什么要求? 进行存储迁移时,如何选择集群规格? 影响大对象迁移速度的关键因素有哪些? 影响小对象迁移速度的关键因素有哪些? 如何监控和查看影响迁移速度的关键指标? 为什么存储迁移工作流进度长时间没有变化? 将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理?