检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明
端口占用:Edge会占用源端主机上的一些端口,也可能会对源端业务产生影响。 安装完成并注册用户后,将Edge与迁移中心进行连接,方法请参考连接迁移中心。 连接成功后,需要在Edge上添加源端待迁移主机凭证,凭证的添加方法请参考添加资源凭证。资源类型请根据实际情况选择“Windows主机”或“Linux主机”。
不支持源端路径为软链接路径的迁移。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。 不支持软连接的迁移:NAS_SMB的迁移、NAS_NFS到OBS的迁移。 NAS_NFS到NAS_NFS的迁移和阿里云 OSS到NAS_NFS的迁移,
上云操作 连接迁移中心 添加/修改华为云凭证
迁移其他云平台存储数据至华为云 适用场景 通过独立专享迁移集群以及配置迁移专线,简单、快捷实现对象存储、文件存储一站式上云,提升上云效率。本文介绍如何使用迁移中心MgC将其他云平台的对象存储或文件存储数据迁移到华为云。 当前支持以下区域(Region): 华北-北京四 华北-乌兰察布一
要调整目录权限或选择其他路径。 检查源端主机连通性 网络连接检查:确保执行脚本的主机能够通过网络访问所有源端主机。 SSH端口开放检查:确保源端主机的SSH端口(默认是22)已开放,允许从执行脚本的主机通过SSH协议进行连接。 SSH访问权限设置 SSH服务配置:确保所有源端主机
目标数据库(TargetDataset) 目标表(TargetTable) 目标连接名称(TargetConnectionName) 目标组件类型(TargetComponentType) 上游数据库(SourceDataset) 上游表(SourceTable) 上游连接名称(SourceConnectionName)
采集元数据 创建元数据连接 创建并运行元数据同步任务 创建并运行数据湖元数据同步任务 查看元数据 父主题: 大数据血缘
常见问题 如何启用 PowerShell 远程管理模块 如何启用 WinRM 服务 执行脚本后报错:连接到远程服务器失败,且登录凭证信息正确 父主题: 批量修改与还原源端Windows主机的Host配置
若是由启动脚本启动的Edge,则寻找 java.exe 的程序,查看其对应pid。若有多个 java.exe 的程序的情况,解决方法如下: 多个 java.exe 的程序,在查询了某个java程序JVM信息后,可通过命令提示符返回的内容中 java_class_path 字段的值来判
MgC在统一身份认证服务(IAM)能力基础上,为用户提供细粒度的权限管理功能,帮助用户灵活便捷地对账号下的IAM用户设置不同的MgC资源权限,结合权限策略实现权限隔离。 以下是使用MgC不同功能时,IAM用户需要配置的权限。为IAM用户配置权限的方法请参考创建自定义策略。 功能 权限Action
NAS无法挂载,请检查连接参数或网络。 OMS.03011 写入流失败 请重试,如果依然无法解决问题,请联系技术支持人员或提交工单。 OMS.03015 连接smb失败 SMB服务器无法连接,请检查连接参数或网络。 OMS.03021 执行命令失败 请检查NAS服务器连接参数或网络。 MgC错误码
99、8900端口。 安装Edge的主机 建议在源端内网环境中准备一台用于安装Edge的Windows主机,并确保该Windows主机可以连接公网。 安装Edge的Windows主机,powershell版本需要大于3.0。可以在powershell命令窗口使用$host指令查看版本号。
通过HTTP迁移Ceph存储数据到华为云OBS 本文介绍如何使用迁移中心(MgC)的存储迁移工作流,实现通过HTTP协议将Ceph存储的数据迁移至华为云对象存储服务(OBS)的方法。 支持的区域 当前支持以下区域(Region): 华北-北京四 华北-乌兰察布一 华南-广州 华东-上海一
创建项目 通过创建迁移项目,可以实现不同迁移资源间的隔离。例如:您可以为迁移阿里云资源、AWS资源分别创建项目,通过项目将不同来源的资源进行隔离。 操作步骤 登录迁移中心管理控制台。 单击左侧导航栏的“配置管理”,进入配置管理页面。选择“项目管理”页签,单击“创建项目”。 在弹出
通过HTTP迁移MinIO存储数据到华为云OBS 本文介绍如何使用迁移中心(MgC)的存储迁移工作流,实现通过HTTP协议将MinIO存储的数据迁移至华为云对象存储服务(OBS)的方法。 支持的区域 当前支持以下区域(Region): 华北-北京四 华北-乌兰察布一 华南-广州 华东-上海一
Edge安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失
资源采集 资源采集常见问题和处理方法 如何查看采集失败原因? 公网采集失败,提示:“网络连接超时”或“其他异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限?
华南-广州 华东-上海一 华东-上海二 华东-青岛 西南-贵阳一 中国-香港 亚太-新加坡 内网迁移 支持在同一Region内通过内网进行迁移。 软连接处理 MgC不支持源端路径为软链接的迁移。如果源端包含软链接,请进行如下处理: 填写实际的文件路径。 迁移完成后,手动在目的端创建相应的软链接。
要写入单个文件的最大记录数。如果该值为零或为负,则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE