检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“配置规则”,进入安全组规则配置页面。 在“入方向规则”页签,单击“添加规则”,弹出“添加入方向规则”对话框。 需要添加一条允许通过TCP协议访问MRS集群开放端口的规则。在源地址填写MgC Agent所在主机的内网IP地址。例如,Hive安全集群,默认开放端口为9083。 入方向规则设置完成后,单击“确定”。
创建用户时选择步骤3创建的具有MgC权限的用户组。 获取访问密钥(AK/SK) 账号和IAM用户的访问密钥是单独的身份凭证,即账号和IAM用户仅能使用自己的访问密钥进行API调用/鉴权。获取访问密钥的方法请参见新增访问密钥。
集群管理 在集群创建完成后,您可以根据实际需求随时调整集群内的流量控制规则和节点信息。 前提条件 已完成集群创建。 添加流量控制规则 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。 在左侧导航栏选择“资源准备>迁移集群”,进入迁移集群页面。 在集群列
集群管理 在集群创建完成后,您可以根据实际需求随时调整集群内的流量控制规则和节点信息。 前提条件 已完成集群创建。 添加流量控制规则 登录迁移中心管理控制台。在左侧导航栏选择“部署>迁移集群”,进入迁移集群页面。 在集群列表中,单击操作列的“管理”,右侧弹出集群详细信息页面。 在
MgC Agent运行时调试日志。 error.log MgC Agent运行时报错日志。 operation.log 操作日志,记录用户对接口调用日志。 plugins.log IoTDA相关日志,记录了MgC Agent与Mgc通过IoTDA交互的消息日志。 run.log MgC
用户的访问密钥。 获取腾讯云访问密钥(SecretId/SecretKey) 添加腾讯云凭证时,需要填写源端资源所在主账号或子账号的访问密钥即 API 密钥。获取方法请参考主账号访问密钥管理或子账号访问密钥管理。 获取七牛云访问密钥(AccessKey/SecretKey) 添加七牛云凭
文件存储批量迁移 本文介绍如何使用迁移中心(MgC)的迁移方案配置功能和文件存储批量迁移模板,以高效完成文件存储的批量迁移工作。 源端支持的类型:NAS_NFS_V3_MOUNT、NAS_NFS_V3_PROTOCOL、NAS_GFS。 目的端支持的类型:NAS_NFS_V3_MOUNT。
和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point 填写源端MaxCompute服务所在地域的VPC网络Tunnel
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point 填写源端MaxCompute服务所在地域的VPC网络Tunnel
果解冻失败,则判定该对象迁移失败并跳过,继续迁移其余对象。 说明: 在数据迁移时,系统会对所有数据发起取回操作,源端云服务商会收取相应的API调用费用和存储费用。 过滤配置 通过黑、白名单以及时间段过滤迁移文件。过滤策略详细介绍请参见过滤策略说明。 SMN消息发送配置 选择是否使
spark-sql命令 Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中,可以无缝地使用SQL语句亦或是DataSet API对结构化数据进行查询。更多介绍请参见SparkSQL原理。建议保持默认。 spark-submit命令 通过Spark基本shell命令,提交Spark应用。命令为:
spark-sql命令 Spark SQL是Spark中用于结构化数据处理的模块。在Spark应用中,可以无缝地使用SQL语句亦或是DataSet API对结构化数据进行查询。更多介绍请参见SparkSQL原理。建议保持默认。 spark-submit命令 通过Spark基本shell命令,提交Spark应用。命令为:
创建并执行DLI校验任务时,出现大量失败表,查看MgC Agent(原Edge)日志报错信息如下: 问题分析 出现该问题可能是因为请求已达到接口流控上限。 解决方法 请联系技术支持,提高接口流控的阈值。 父主题: 大数据校验
如何迁移XEN规格的主机? 由于华为云使用的XEN虚拟化平台所有版本都停售,因此需要您在迁移前将主机规格从XEN规格变更为KVM规格。XEN规格停售详细介绍请参见XEN实例停止服务说明及常见问题。 迁移准备 检查主机是否为XEN规格 可以在主机的基本信息页面,通过主机规格名称来判
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point:填写源端MaxCompute服务所在地域的VPC网络Tunnel
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point:填写源端MaxCompute服务所在地域的VPC网络Tunnel
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point:填写源端MaxCompute服务所在地域的VPC网络Tunnel
端所在地域为“香港”,则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point:填写源端MaxCompute服务所在地域的VPC网络Tunnel
如何监控和查看影响迁移速度的关键指标? 迁移集群指标 迁移集群包含的关键指标和说明参见下表。 指标 作用 说明 CPU使用率 监控CPU使用状态 迁移小文件时,该指标比较重要,建议CPU使用率接近但不超过90%。 外网络流入、流出速率 观察网络流量流入、流出速率变化情况 迁移大文件时,该指标比较重要,建议速率能达到2