检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
脚本执行限制:每次执行脚本时最多支持同时修改100台主机的hosts配置,以避免脚本执行时间过长。 脚本功能与使用场景详细说明参见下表。 脚本名 功能描述 使用场景 update_hosts_linux.sh 批量更新源端Linux主机的/etc/hosts文件。脚本会自动记
如果是,请将源端主机开机后重试。 如果否,请继续执行步骤2.。 在安装MgC Agent的主机,打开命令行窗口,使用ping命令测试与源端主机的公网IP是否连通;使用telnet命令测试源端主机的端口(如22端口)是否可以访问。命令格式分别为:ping {源端主机IP地址}、telnet
maxcompute.aliyun-inc.com” spark.hadoop.odps.tunnel.quota.name - 填写访问MaxCompute使用的Quota名称。 否 sc_type A、B、C 计算资源类型,目前指定参数A, B, C。如果不指定,则按最小类型创建。 A:(8核3
Agent的主机规格最低要求为8U16G,且可使用内存不小于8G。 Windows主机:MgC Agent最多同时采集500台Windows主机,当同时采集500台Windows主机时,安装MgC Agent的主机规格最低要求为16U32G,且可使用内存不小于8G。 前提条件 已通过在线
Agent的主机规格最低要求为8U16G,且可使用内存不小于8G。 Windows主机:MgC Agent最多同时采集500台Windows主机,当同时采集500台Windows主机时,安装MgC Agent的主机规格最低要求为16U32G,且可使用内存不小于8G。 前提条件 已通过关联资源或手动添加等方式获取主机资源。
{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置
{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 企业项目ID(可选)
关于存储迁移的约束与限制请查看存储迁移的约束与限制有哪些? 源端为阿里云OSS:当源端对象的存储类型是深度冷归档存储时,无法使用MgC提供的解冻归档数据功能直接迁移,需要在源端先手动解冻后再迁移。 准备工作 华为账号准备 使用MgC之前,您需要拥有一个华为账号或一个可用于访问MgC的IAM用户,并获取账号/IAM用
{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置
Agent(原Edge)需要的端口,所需端口请查看通信矩阵。 安全组的出方向规则中,需要包含8883端口。 操作系统为:CentOS 8.x 推荐规格不小于4U8G。如果使用大数据相关功能,推荐规格不小于8U16G。 不建议将MgC Agent安装在源端待迁移的主机上,主要原因包括: 资源消耗:MgC Agen
{表名}”,其中MC项目名代表MaxCompute项目名称,表名代表具体的表名称。 须知: 每行的“MC项目名”和“表名”之间使用英文逗号隔开,不要使用空格或其他分隔符。 每添加完一个表的信息后,使用回车键换行。 完成所有表信息的添加后,保存CSV文件的更改。 将编辑并保存好的CSV文件上传至MgC。 目的端配置
为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite.enabled false 当前配置设置为“false”时,DLI在覆盖写之前,会删除所有符合条件的分区。例如,分区表中有一个“2021-01”的分区,当使用INSERT O
输入需要进行校验的DLI队列名称。队列类型必须是SQL队列。 采集资源使用信息 可选参数。开启后,通过该连接创建的统计任务将收集大数据服务的资源使用信息,这些信息将用于MgC上的报告生成,以便于进行性能优化。 须知: 使用该功能,需要MgC Agent添加的华为云账号AK/SK拥有MR
为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite.enabled false 当前配置设置为“false”时,DLI在覆盖写之前,会删除所有符合条件的分区。例如,分区表中有一个“2021-01”的分区,当使用INSERT O
IP地址段:192.168.52.0/24 所有IP地址:0.0.0.0/0 容器 配置文件 配置文件格式必须为.json文件或.yml文件。 添加凭证 使用注册的用户名、密码登录MgC Agent控制台。 在左侧导航树选择“云边协同 > 凭证列表”,进入凭证列表页面。 单击列表上方的“创建凭证”按钮,弹出创建凭证窗口。
在页面右上角搜索框中输入“Edge”,筛选出安装的MgC Agent相关软件,单击软件名称,鼠标右键选择“卸载/更改”,即可将软件卸载。 方法二 使用快捷键【win+i】打开“Windows设置”,单击“应用”,进入应用与功能页面。 在搜索框中输入“Edge”,筛选出安装的MgC Age
联到应用窗口。 在下拉列表中选择需要关联的应用。未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述;根据实际需求,选择业务场景、使用场景以及目的端区域,单击“创建”按钮,应用创建成功。 选择应用后,单击“确定”。在各资源的已关联应用列,查看资源所关联应用。 父主题: 资源采集
迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。 建议:提升集群规格配置或增加计算资源(如ECS实例)。 系统性能管理:在迁移期间,系统的性能资源(如CPU、内存)可能会被被其他任务占用,从而影响迁移速度。 建议:在迁移期间,对占用系
联到应用窗口。 在下拉列表中选择需要关联的应用。未提前创建应用,单击“新建应用”,输入自定义的应用名称和描述;根据实际需求,选择业务场景、使用场景以及目的端区域,单击“创建”按钮,应用创建成功。 选择应用后,单击“确定”。在各资源的已关联应用列,查看资源所关联应用。 父主题: 资源采集
如果端口填写错误,请修改为正确端口后重试。 如果端口填写正确,请继续执行步骤2.。 在安装MgC Agent(原Edge)的主机,打开命令行窗口,使用telnet命令测试源端主机的端口是否可以访问。命令格式分别为:telnet {源端主机IP地址} {端口}。 如果端口无法访问,请检查源