检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建集群资源失败 连接中 等待master节点上线,并开始创建和安装其他节点 健康 所有节点均处于在线状态 亚健康 部分迁移节点和列举节点在线,并且至少存在一个迁移节点和一个列举节点在线 不可用 所有迁移节点或列举节点不在线 离线 master节点离线,可能是网络中断、ECS删除等原因,请排查Vpcep
进入集群HBase客户端的lib目录,执行如下命令,复制新包并存放到指定目录。请根据实际情况替换xxxx@xxx.xx.xx.xx为MgC Agent所在主机的用户名和IP地址。 scp hadoop-c* hadoop-m* hadoop-y* zookeeper-* hbase-* opentracing-*
选择“连接管理”,单击“创建连接”,右侧弹出新增连接窗口。 图7 创建连接 连接类型选择“CloudTable(ClickHouse)”,单击“下一步”,进入详细配置页面。 根据ClickHouse组件参数配置说明,配置连接参数后,单击“测试连接”按钮,测试通过代表连接成功。 表4
根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 IP 选择主机接入IP,可以为公网IP,也可以是私有IP;在需要使用代理连接主机的情况下,也可以自行输入接入IP。迁移预检查通过后,该IP会作为后续主机迁移工作流的资源接入IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。
根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。 IP 选择主机接入IP,可以为公网IP,也可以是私有IP;在需要使用代理连接主机的情况下,也可以自行输入接入IP。迁移预检查通过后,该IP会作为后续主机迁移工作流的资源接入IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。
执行时间 设置作业自动执行时间。当作业激活后,每天都会在设置的时间自动执行。 高级选项 并发连接数:进行数据统计时,单个执行机的任务并发数。默认为3,取值范围:1~10。 注意: 在创建阿里云Hive校验任务时,请根据源端数据量和EMR Master节点的规格,合理设置并发连接数。建议按照以下两个条件进行设置:
的AK/SK获取方法请参考如何获取云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。
迁移中心Agent绑定 选择在源端环境安装的MgC Agent。 接入IP 选择主机接入IP,可以为公网IP,也可以是私有IP;在需要使用代理连接主机的情况下,也可以自行输入接入IP。迁移预检查通过后,该IP会作为后续主机迁移工作流的资源接入IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。
解决方法 请按照以下步骤,手动启动MgC Agent进程: 执行如下命令,进入MgC Agent安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令,启动MgC Agent。 ./start.sh 当出现如下图所示提示时,表示MgC Agent已经启动。
安装MgC Agent(原Edge)的主机有哪些要求? 安装Windows版本的主机要求 可以连接外网(公网),并检查是否能够访问MgC和IoTDA服务的域名,具体需要检查的域名请查看域名列表。 检查是否已开放MgC Agent(原Edge)需要的端口,所需端口请查看通信矩阵。 PowerShell
的AK/SK获取方法请参考如何获取云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。
洞及威胁,协助企业优化安全策略,强化访问控制与身份验证机制,提升系统安全性及员工安全意识。 业务架构调研:通过业务架构调研问卷,全面掌握业务需求与挑战,精准定位业务痛点,评估迁移风险,科学制定迁移计划,确保迁移项目的高成功率 运维架构调研 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择迁移项目。
调用SDK:通过调用Amazon EKS服务提供的API,获取容器、虚拟机等资源信息。 接口返回:MgC接收API调用的返回值,这些返回值通常包含丰富的资源数据。 解析数据:MgC将返回的数据进行解析,提取关键信息,如节点数、虚拟机核数等。然后将这些关键信息保存到数据库中,为后续分析和迁移提供支持。
查看并导出执行结果 每运行一次迁移任务,即会生成一条任务实例。在任务实例的进度详情页面,可以查看并导出任务的执行结果。 导出的结果文件可以在生成的15天内下载,15天后自动删除。 前提条件 已创建迁移任务并运行。 操作步骤 在任务进度列表,单击进度统计列的“查看”,进入进度详情页面。
资源采集常见问题和处理方法 如何查看采集失败原因? 公网采集失败,提示:“网络连接超时”或“其他异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限?
式化,然后将源端数据迁移到该主机。 如果后续主机迁移工作流是公网迁移,所绑定目的端主机需要能访问公网。 选择绑定的目的端主机所在区域需要与源端主机关联的应用处于同一区域。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“设计>迁移方案设计”,进入迁移方案设计页面。在页面左上角的当前项目下拉列表中选择迁移项目。
填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移中心 Agent(MgC Agent)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云
Metastore凭证文件获取方法 参考访问FusionInsight Manager登录Manager,进入系统页面。 在左侧导航栏,选择“权限>用户”,进入用户页面。 在用户列表,选择要在MgC Agent(原Edge)添加凭证的用户,单击操作列“更多>下载认证凭据”,可以下载凭证文件中的krb5
大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明 父主题: 旧版
目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable) 上游连接名称(SourceConnectionName)