检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dli.spark.jars:填写在完成准备工作时存放fastjson-1.2.54.jar和datasource.jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://m
如何查看采集失败原因? 公网采集失败,提示:“网络连接超时”或“其他异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限? 转换CSV文件编码为UTF-8
在MgC控制台为本次采集创建独立的项目(建议创建简单项目),方法请参考项目管理。 Azure认证信息准备 提前获取AKS所在应用客户端的密码、购买AKS的订阅ID,对应应用的租户ID、客户端(应用)ID。这些认证信息的获取方法请参见如何获取添加Azure凭证所需的信息? 添加源端凭证 在MgC控制台添加Azure认
它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。 父主题: 采集器参数配置说明
keytab五个文件。获取方式参见大数据-Hive Metastore凭证文件获取方法。 大数据-数据湖搜索(DLI) AK/SK 输入华为云账号的AK/SK。获取方法请参考如何获取AK/SK。 大数据-MaxCompute AK/SK 输入源端阿里云账号的AK/SK。获取方法请参考查看RAM用户的AccessKey信息。
它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的存储路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。 父主题: 采集器参数配置说明
费用都遵循源端云服务商的计费规则并由其向您收取。 操作流程 操作步骤 说明 准备工作 注册华为账号、开通华为云,并为账户充值。 获取账号迁移权限。 获取目的端账号的AK/SK。 在MgC控制台创建迁移项目 在MgC控制台创建迁移集群。 创建目的端弹性文件系统。 步骤一:创建全量迁移工作流
机的密码。源端主机为华为云ECS时,请参考在控制台重置ECS密码。源端非华为云ECS主机,需要您自行获取重置密码的方法。 如果您不确定用户名是否正确,请联系源端主机的管理员以获取正确的用户名和密码。 确认用户名和密码无误后,更新在Edge上添加的源端主机凭证信息,然后重新进行迁移准备度检查。
配置说明 桶类型 支持并行文件系统和标准桶两种类型。 对象存储终端节点 填写日志桶所在区域的终端节点(Endpiont),获取方法请参见地区和终端节点。单击“校验”,获取桶列表。 桶名称 在下拉列表中,选择需要作为日志桶的桶名。 自定义文件夹(可选) 指定日志文件和内容校验结果在日志桶
服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 云上凭证的存储有效期为7天,超过7天后,凭证会过期,需要重新输入。 操作步骤 登录迁移中心管理控制台。
创建用户并加入用户组 创建用户时选择步骤3创建的具有MgC权限的用户组。 获取访问密钥(AK/SK) 账号和IAM用户的访问密钥是单独的身份凭证,即账号和IAM用户仅能使用自己的访问密钥进行API调用/鉴权。获取访问密钥的方法请参见新增访问密钥。
xxx.yaml 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。 父主题: 采集器参数配置说明
如何查询Edge当前版本? 采集失败,提示:The collector is not installed如何处理? 大数据-Hive Metastore凭证文件获取方法 Edge安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查
全量校验:全量对比所有数据,适用于需要对比历史数据的场景。 日级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。支持单日或连续多日增量数据的统计,是最常用的校验方式。 小时级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。在24小时内自动进行多次校验,可以
项目 选择DLI在目的端区域用于接收数据的项目。如果未勾选“所选凭证与登录迁移中心凭证相同”,则需要手动填写项目ID。项目ID的获取方法请参考获取项目的名称和ID。 队列名称 输入完成准备工作时,创建的SQL队列名称/通用队列名称。 当配置SQL队列连接时,填写SQL队列名称。
Doris”,查看“Leader所在的主机”获取。 数据库端口 填写目的端Doris集群部署的服务器的端口。 可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,搜索“query_port”获取。 数据库名 填写目的端Doris数据库名称。
PowerShell 如果配置失败,请参考 PowerShell 帮助文档中的 about_Remote_Troubleshooting 获取解决方案。 父主题: 常见问题
在主机列表中可以查看发现的主机资源。 如果后续需要对主机进行迁移,建议对主机进行深度采集。 为确保采集过程具备充分的系统访问权限,从而能够获取到必要的信息和数据。对主机深度采集的凭证要求如下: 对Linux主机进行深度采集时,请添加Root账号和密码作为采集凭证。 对Window
跨可用区迁移场景仅支持扩容,即使配置缩容,系统也会自动创建一个与源端磁盘容量相同的目的端磁盘。 获取源端主机磁盘信息 在进行目的端主机磁盘缩容前,需要先完成源端主机资源的发现与深度采集,获取源端主机的磁盘信息。 请根据实际情况,选择主机发现与采集方法。 公网采集 内网采集 手动添加
OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理? 关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 如何解决迁移集群创建失败问题 如何获取微软云的访问凭证 存储工作流执行失败,列表提示“COMPARISON_ATTRIBUTE_NOT_SAME”,如何处理? 存储类型介绍