检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,
出现该报错是因为:远程服务器的WinRM服务未启动或者配置不正确。 解决方法 验证执行机能否 ping 通远程服务器。如果可以ping通,请执行步骤2。 确认远程服务器的 WinRM 服务5985端口是否已对执行机开放。确认开放请执行步骤3。 检查远程服务器的登录凭证是否正确。确认凭证正确无误后,请执行后续步骤。
出于安全考虑,建议使用源端服务器的WinRMhost(即主机名或IP地址)替换TrustedHosts 的值"*"。不替换代表信任任意主机。 测试远程连接。 使用以下命令测试与源端服务器的连接,“登录账号”和“源端服务器IP”需要替换为源端服务器实际的登录账号和IP地址。 Enter-PSSession
客户端,进行sql操作,出现用同一个命令存在返回值不同的情况。 这是因为在进行大数据对数的求和计算时,由于分布式计算顺序的不确定性,可能会导致计算结果的不一致性。特别是处理接近或等于double类型最大值(1.7976931348623157E+308)的数据时,加上一个较小的数值(如2.0)可能会导致数
数据库链接 填写连接源端ClickHouse集群的外网地址。可以在集群信息页面,查看外网地址。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与云服务建立连接,测试通过代表与云服务连接成功。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 在连接管理页面,可以查看
MgC主机工作流资源与SMS迁移服务器列表之间的映射关系 MgC主机资源列表与SMS迁移服务器列表之间的映射关系,如下图所示。 列表字段映射关系参见下表: MgC主机资源列表 SMS迁移服务器列表 字段类型 主机名 服务器名称 源端主机的hostname IP地址 源端IP 源端主机的IP 镜像
息并与云服务建立连接,测试通过代表与云服务连接成功。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建源端连接
当前仅支持非安全集群(普通集群)。 数据库链接 填写连接到CloudTable(HBase)的数据库链接地址。可以在HBase集群的基本信息获取,对应参数为“ZK链接地址(内网)”。 参数配置完成后,单击“测试连接”,系统会校验配置信息并与云服务建立连接,测试通过代表与云服务连接成功。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。
参数配置完成后,单击“测试连接”,系统会校验配置信息并与云服务建立连接,测试通过代表与云服务连接成功。 测试连接通过后,单击“确认”按钮,创建云服务连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建目的端连接
本地发现与采集 MgC Agent(原Edge)提供了本地发现和采集功能,允许在未连接迁移中心的情况下,直接在本地进行主机资源的发现与采集。 使用须知 需要进行本地采集,应避免连接迁移中心。MgC Agent与迁移中心(MgC)连接后,本地采集功能将不再可用,MgC Agent的主要
Agent,如果您没有空闲的云主机,可以购买一台按需收费的主机,规格推荐4U8G。对该主机的要求以及MgC Agent的安装方法请参见安装Windows版本的MgC Agent。 连接迁移中心。 MgC Agent安装完成并注册用户后,将MgC Agent与迁移中心进行连接,方法请参考连接迁移中心。
执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口。 Spark客户端目录 填写Spark客户端的安装目录路径。 环境变量地址 填写环境变量文件(配置文件)的绝对路径,例如:
执行机凭证 选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口。 Spark客户端目录 填写Spark客户端的安装目录路径。 环境变量地址 填写环境变量文件(配置文件)的绝对路径,例如:
校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建目的端连接
参数配置完成后,单击“测试连接”,系统会校验配置信息并与组件建立连接,测试通过代表与组件连接成功。 测试连接通过后,单击“确认”按钮,创建大数据组件连接完成。 在连接管理页面,可以查看创建的连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建目的端连接
bat。完成EdgeTomcat服务器JVM参配置。 该配置只对启动脚本启动的MgC Agent生效,开机或者服务自动启动的MgC Agent不生效。 重启EdgeTomcat服务器。 若主机上MgC Agent还在运行,则需先停止Edge Tomcat服务器以及采集器插件,再重新启动MgC
单个MgC项目中,与MgC连接的MgC Agent数量(不区分状态)最多为5个。 前提条件 已下载并安装迁移中心Agent,并完成用户注册。 操作步骤 使用注册的用户名、密码登录MgC Agent控制台。 在总览页面,单击页面右上角的“连接”按钮,右侧弹出连接迁移中心页面。 图1 连接迁移中心
选择执行机的登录凭证。凭证的添加方法请参考添加资源凭证中的大数据-执行机。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址
与执行机连接成功。 测试连接通过后,单击“确认”按钮,创建执行机连接完成。 在连接管理页面,可以查看创建的执行机连接列表以及基本信息。单击操作列的“修改连接”,可以修改连接参数配置。 父主题: 创建目的端连接
约束与限制 本文介绍迁移中心(MgC)在使用过程中的约束与限制,包括MgC服务的使用限制,进行主机迁移、跨可用区(AZ)迁移和存储迁移时存在的约束与限制。 MgC区域限制 MgC部署在“华南-广州”区域。虽然MgC为Region级服务,但提供了全局服务的能力。即在一个Region