检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移中心 Agent(MgC Agent)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf
如何重启MgC Agent(原Edge)? Windows版本 打开MgC Agent所在主机的“任务管理器”。 选择“服务”页签,找到名为“Edge_Tomcat ”的服务,鼠标右键,单击“开始”,即可手动启动MgC Agent进程。 Linux版本 执行如下命令,进入MgC Agent安装目录中的scripts目录。
MongoDB采集器(app-discovery-mongodb) 采集MongoDB服务信息,获取客户端连接信息。参数配置说明参见表1。 表1 MongoDB采集器参数配置说明 参数 必选 配置说明 output_path 否 自定义采集结果(app-discovery-mongodb-xxx
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
path参数为必填项。 模板参数填写完成并保存后,单击导入窗口的“添加文件”按钮,将填写后的模板文件上传。 上传成功后,单击“确认”按钮,系统开始导入,并且会在任务实例管理页签中的任务实例列表中,新增一条导入数据表的任务实例记录。您可以通过任务实例查看导入状态。 父主题: 采集元数据
path参数为必填项。 模板参数填写完成并保存后,单击导入窗口的“添加文件”按钮,将填写后的模板文件上传。 上传成功后,单击“确认”按钮,系统开始导入,并且会在任务实例管理页签中的任务实例列表中,新增一条导入数据表的任务实例记录。您可以通过任务实例查看导入状态。 父主题: 采集元数据
如何获取Linux版本的MgC Agent(原Edge)各种运行日志? 查看MgC Agent各种日志文件 执行如下命令,进入MgC Agent安装目录中的日志目录。该目录包含了MgC Agent运行时产生的各种日志文件。 cd /opt/cloud/Edge/logs/edge-server
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:
创建一个文本文件,包含需要追加到源端主机hosts文件中的内容,并确保该文件能被访问。文件内写入相关云服务的接口域名映射,并以#Migration-proxy-start开始,以#Migration-proxy-end结束。相关云服务的接口域名映射需要根据具体的环境而定,请联系对应局点的环境接口人获取。 示例:
解决方法 请按照以下步骤,手动启动MgC Agent进程: 打开MgC Agent所在主机的“任务管理器”。 选择“服务”页签,找到名为“Edge_Tomcat ”的服务,鼠标右键,单击“开始”,即可手动启动MgC Agent进程。 重新打开MgC Agent,进入注册页面。 父主题:
部分常见的错误原因参见下表。如无法自行解决,请联系对应云服务技术支持人员或提交工单。 原因 描述 处理方法 Ecs.0319 check capacity: capacity is not enough. 用户ecs配额不足 申请扩大容量,增加配额。更多信息查询:弹性云服务器 ECS错误码 Vpc.0702
password 否 开启用户认证时,填写Eureka服务器访问密码,多个密码之间用逗号分隔(按照endpoint的顺序对应输入),若某个服务器无密码,用空格代替。例如:password1, ,password2 endpoint 是 填写Eureka服务器地址,如果是集群,地址之间用逗号分隔。例如
orkflow.0503:SMS migration task failed 'SMS.xxxx' 问题分析 在迁移过程中,源端会和目的端服务器建立一个SSH连接用于传输数据。如果无法成功建立SSH连接,则会导致迁移失败。 解决方法 单击任务详情,进入SMS任务详情页面。 查看具
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象。
所示,单击任务详情(即目的端名称),可以直接跳转到SMS控制台的对应迁移任务详情页面,查看迁移进度。 图1 主机迁移阶段 直接前往主机迁移服务 SMS控制台,查看每台主机的迁移进度详情。 父主题: 主机迁移工作流
填写登录用户名对应的密码。 username 是 填写RabbitMQ管理插件登录用户名。 server_port 是 填写RabbitMQ服务端口。例如:5672 plugin_port 是 填写RabbitMQ管理插件端口。例如:15672 host 是 填写连接RabbitMQ的IP地址。例如:127
其中general_log_file代表日志文件路径。Linux路径示例:/data/log/mysql_general.log 重启MySQL服务。 net stop mysql net start mysql 父主题: 采集器参数配置说明
登录目的端主机,鼠标右键单击开始菜单。 单击“运行”,输入cmd,进入命令行提示符界面。 执行diskpart,启动磁盘管理工具。 执行list disk,列出当前服务器所有磁盘。 如下图所示,磁盘0处于“联机”状态,磁盘1处于“脱机”状态。 执行select disk 1选择脱机状态的磁盘(根据实际情况,选择对应的脱机磁盘)。
配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config
配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的存储路径填写到此处。 cat ~/.kube/config