检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” 问题描述 对Hive进行大数据校验,校验任务执行成功,查看校验结果,发现部分字段的“源端数据”和“目的端数据”显示为“0”或“-1”。 问题分析 出现该问题可能是因为数值超出了Hive支持的数值范围。 在数据处理中,
说明 名称 用户自定义 采集设备 选择源端注册的Edge设备。 类型 主机实际系统类型 IP 填写主机IP。 如果采集的主机与安装Edge的主机处于同一VPC内,可以填写私有IP,否则需要填写公网IP。 端口 主机开放端口。 Windows主机默认为5985端口,无法修改。 Linu
卸载Linux版本 本文介绍卸载Linux版本Edge的方法。 操作步骤 执行如下命令,进入Edge安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令,启动Edge卸载脚本。 ./uninstall.sh 当出现如下图所示提示时,表示Linux版的Edge需要更新环境变量。
txt文件中。 周期性日志归档:系统会自动在每月初将audit.log文件压缩为zip包并存储到 {Edge安装路径}/logs/audit/目录下,压缩包名称为:年份-月份.zip,例如:2024-xx.zip。 父主题: 云边协同
法自动启动。 解决方法 请按照以下步骤,手动启动Edge进程: 执行如下命令,进入Edge安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令,启动Edge。 ./start.sh 当出现如下图所示提示时,表示Edge已经启动。 执行如下命令,查看Edge进程。
如何获取Azure对象存储深度采集所需凭证? 在对Azure云平台对象存储资源进行深度采集时,需要使用“存储账户”和“密钥”作为采集凭证,本节介绍获取Azure“存储账户”和“密钥”的方法。 登录 Azure 门户中转到存储账户。 在左侧导航栏选择“安全性和网络 > 访问密钥” ,即可看到“存储账户名称”和“密钥”。
影响大对象迁移速度的关键因素有哪些? 在迁移大对象的过程中,迁移集群的以下几个关键因素可能会影响迁移速度: 网络带宽限制:网络带宽不足,可能成为迁移速度的主要制约因素。 建议:升级带宽或选择低峰时段进行迁移。 迁移集群规格:如果迁移集群的规格小于推荐规格(8U16G)可能会因处理能力不足,成为迁移速度的制约因素。
令格式分别为:telnet {源端主机IP地址} {端口}。 如果端口无法访问,请检查源端主机安全组入方向规则中,协议端口号为TCP:5985(Windows)/22(Linux)和ICMP:全部的源地址是否配置为安装Edge主机的公网IP。确认安全组规则配置无误后,重新进行迁移准备度检查。
在节点信息区域,单击“新增节点>迁移节点”,弹出添加节点页面。 根据实际需求,选择节点的ECS规格,并输入需要增加的节点数量,节点数量需要同时满足如下要求: 迁移节点数+列举节点数+1 ≤100 迁移节点数+列举节点数+1 ≤子网可用IP数 单击“确认”,节点新增完成,系统开始为迁移节点安装迁移插件。添
类型数据格式,在迁移之前,需要将所有datetime类型的字段转换为字符串(STRING)格式。 MaxCompute不支持varchar和char类型字段,在迁移之前,需要将所有varchar和char类型的字段转换为字符串(STRING)格式。 元数据迁移不支持事务表(即DD
创建目的端云服务连接 对大数据云服务数据进行一致性校验时,需要分别与源端和目的端云服务建立连接,用于数据查询和计算。 目前支持创建目的端连接的大数据云服务包括: 数据湖探索(DLI) CloudTable(ClickHouse) CloudTable(HBase) 操作步骤 登录迁移中心管理控制台。
如果源端对象的元数据包含mtime(修改时间),由于PFS桶中mtime代表最后修改时间,那么当源端对象迁移到目的端后实际修改时间晚于mtime,在这种情况下,系统会报告元数据对比失败,但实际上数据迁移是成功的,您可以前往目的端确认对象是否已成功迁移。 场景二: 当源端和目标端的
即表头),请按照以下顺序和参数名称填写,并在表头下方的行中,填写每个需要采集的Windows主机的具体参数值。其中IP、USER和PASSWORD为必填参数。 IP(REQUIRED) PORT(REQUIRED) USER(REQUIRED) PASSWORD(SENSITIVE)
据可以为目的端磁盘调整提供参考。 通过绑定目的端进行磁盘缩容 单击左侧导航栏的“设计>迁移方案设计”,进入迁移方案设计页面。 单击目的端规格配置框中的“目的端配置表”,进入目的端配置表页面。 在资源配置明细的主机页签,单击主机资源绑定目的端列的“去绑定”,弹出绑定目的端窗口。 选
选择创建集群时所选择的VPC。 读写权限 选择“读写”。 用户权限 在下拉列表中选择“root用户不匿名(no_root_squash)”。 授权地址条目 选择“所有IP地址”。 父主题: SFS1.0迁移至SFS 3.0
迁移对源端和目的端有什么要求? 迁移会占用源端和目的端大量的QPS(每秒查询率)和带宽。因此,建议在迁移前先进行测试,以评估实际迁移过程中源端和目的端的QPS和带宽占用情况。如果占用率过高,请调整源端和目的端QPS和带宽限制,以确保对现有业务的影响最小化。 父主题: 存储迁移
慎使用“不覆盖”策略。 直接覆盖 对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 条件覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过;
创建源端统计任务时,选择源端执行机连接。 创建目的端统计任务时,选择目的端执行机连接。 DLI连接 数据湖探索(DLI)组件配置参数,创建目的端统计任务。选择创建的目的端DLI连接。 Doris连接 Doris组件配置参数。 创建源端统计任务时,选择源端Doris连接。 创建目的端统计任务时,选择目的端Doris连接。
可对所有“待评估”状态的主机进行风险评估。 如果仅需要评估部分主机,可以在列表中勾选需要评估的主机;也可以通过上方的搜索框,根据主机名称、IP地址、所属平台、关联的应用等条件过滤列表中的主机资源,然后勾选需要评估的主机。勾选完成后,单击“批量评估”按钮,在弹出的对话框中确认待评估
计费说明 在创建迁移集群时,会产生以下费用: 创建Master节点、迁移节点和列举节点会产生ECS服务费用。具体计费详情请参见ECS按需计费说明或ECS价格计算器。 如果您使用公网迁移时,会产生NAT网关服务费用。计费详情请参见NAT网关计费说明或NAT价格计算器。 启用LTS服