检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive校验的sum统计结果显示未达标 问题描述 对Hive进行大数据校验,Hive中的double字段保存的值为 1.7976931348623157E308 和 -1.7976931348623157E308 时 sum 统计结果显示未达标。 问题分析 使用spark-sql
ClickHouse Delta Lake(有元数据) Delta Lake(无元数据) Hudi(有元数据) Hudi(无元数据) 大数据云服务 MaxCompute 阿里云云数据库ClickHouse 前提条件 已完成准备工作。 操作步骤 创建元数据连接的详细介绍请参考创建元数据连接。
path参数为必填项。 模板参数填写完成并保存后,单击导入窗口的“添加文件”按钮,将填写后的模板文件上传。 上传成功后,单击“确认”按钮,系统开始导入,并且会在任务实例管理页签中的任务实例列表中,新增一条导入数据表的任务实例记录。您可以通过任务实例查看导入状态。 父主题: 采集元数据
大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎,如Hive、Hbase、Doris和MaxCompute等,提供了一致性校验方法。通过一致性校验,您可以更加放心地进行大数据迁移操作,确保数据的准确性和可靠性,从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验:
创建一个文本文件,包含需要追加到源端主机hosts文件中的内容,并确保该文件能被访问。文件内写入相关云服务的接口域名映射,并以#Migration-proxy-start开始,以#Migration-proxy-end结束。相关云服务的接口域名映射需要根据具体的环境而定,请联系对应局点的环境接口人获取。 示例:
部分常见的错误原因参见下表。如无法自行解决,请联系对应云服务技术支持人员或提交工单。 原因 描述 处理方法 Ecs.0319 check capacity: capacity is not enough. 用户ecs配额不足 申请扩大容量,增加配额。更多信息查询:弹性云服务器 ECS错误码 Vpc.0702
password 否 开启用户认证时,填写Eureka服务器访问密码,多个密码之间用逗号分隔(按照endpoint的顺序对应输入),若某个服务器无密码,用空格代替。例如:password1, ,password2 endpoint 是 填写Eureka服务器地址,如果是集群,地址之间用逗号分隔。例如
orkflow.0503:SMS migration task failed 'SMS.xxxx' 问题分析 在迁移过程中,源端会和目的端服务器建立一个SSH连接用于传输数据。如果无法成功建立SSH连接,则会导致迁移失败。 解决方法 单击任务详情,进入SMS任务详情页面。 查看具
将HTTP/HTTPS数据源迁移到OBS时,如果存在URL不同但对象名称相同的情况,会如何处理? 当从HTTP/HTTPS数据源迁移数据到对象存储服务(OBS)时,由于OBS不区分URL差异,只识别对象名称,因此同名对象会根据创建工作流时,迁移配置中所选的“同名覆盖方式”策略进行处理,目的端同一目录下不会出现同名对象。
所示,单击任务详情(即目的端名称),可以直接跳转到SMS控制台的对应迁移任务详情页面,查看迁移进度。 图1 主机迁移阶段 直接前往主机迁移服务 SMS控制台,查看每台主机的迁移进度详情。 父主题: 主机迁移工作流
填写登录用户名对应的密码。 username 是 填写RabbitMQ管理插件登录用户名。 server_port 是 填写RabbitMQ服务端口。例如:5672 plugin_port 是 填写RabbitMQ管理插件端口。例如:15672 host 是 填写连接RabbitMQ的IP地址。例如:127
登录目的端主机,鼠标右键单击开始菜单。 单击“运行”,输入cmd,进入命令行提示符界面。 执行diskpart,启动磁盘管理工具。 执行list disk,列出当前服务器所有磁盘。 如下图所示,磁盘0处于“联机”状态,磁盘1处于“脱机”状态。 执行select disk 1选择脱机状态的磁盘(根据实际情况,选择对应的脱机磁盘)。
其中general_log_file代表日志文件路径。Linux路径示例:/data/log/mysql_general.log 重启MySQL服务。 net stop mysql net start mysql 父主题: 采集器参数配置说明
配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config
配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的存储路径填写到此处。 cat ~/.kube/config
y-k8s-conntrack\config\kube-config\xxx.yaml 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config
添加阶段/步骤 您可以在工作流标准模板的迁移阶段/步骤,添加卡点,对迁移阶段/步骤进行控制。 只有迁移阶段/步骤状态为等待中/暂停,才可以选择该阶段/步骤进行添加。迁移阶段/步骤处于运行中/完成状态时,无法添加。 如果上一阶段/步骤处于运行中/暂停/完成状态,该阶段/步骤只能选择添加后置阶段/步骤。
查看血缘关系 前提条件 已创建血缘采集任务,且状态为“已完成”。 操作步骤 登录迁移中心管理控制台。 在左侧导航栏选择“调研>大数据血缘”,进入大数据血缘页面。在页面左上角的当前项目下拉列表中选择迁移项目。 在血缘采集区域,单击“查看血缘图”,进入血缘图页面。 通过数据库名、表名
如何升级Edge至最新版本? 问题描述 在迁移中心的设备列表中,当设备的版本列出现“可升级”提示时,代表当前安装的Edge并非最新版本,为了不影响功能的正常使用,此时需要您将Edge升级为最新版本。 操作步骤 在安装旧版本Edge的Windows主机,登录迁移中心管理控制台。 在
配置rollback_hosts_win.ps1脚本 根据提供的脚本示例,结合实际情况,修改示例中的相关配置。 前提条件 已完成准备工作。 操作步骤 在执行脚本的主机上创建一个名为“rollback_hosts_win.ps1”的文件,然后将以下脚本示例的内容复制到文件中。 # Configuration