检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
dli.spark.jars:填写在完成准备工作时存放fastjson-1.2.54.jar和datasource.jar包的OBS路径,以数组形式传入,路径带双引号,以英文逗号隔开。例如:["obs://mgc-test/data/datasource.jar","obs://m
例如:不能设置时间段为23:00~01:00。 设置完成后,单击“保存”,完成添加。 获取迁移失败/跳过/成功资源列表文件 在文件统计区域,可以查看存放迁移失败/跳过/成功的资源列表文件路径。单击路径,可以进入存放文件的OBS桶,获取对应列表文件。 查看迁移流量统计 在流程统计区域,可以查看该资源近
keytab五个文件。获取方式参见大数据-Hive Metastore凭证文件获取方法。 大数据-数据湖搜索(DLI) AK/SK 输入华为云账号的AK/SK。获取方法请参考如何获取AK/SK。 大数据-MaxCompute AK/SK 输入源端阿里云账号的AK/SK。获取方法请参考查看RAM用户的AccessKey信息。
它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。 父主题: 采集器参数配置说明
它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的存储路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。 父主题: 采集器参数配置说明
一致性校验需要将源端和目的端的数据进行对比。执行机作为任务调度和下发单元,负责获取这些数据。由于执行机需要从大数据组件中获取数据,因此需要在执行机安装大数据组件的命令行客户端(MRS/CDH)。通过客户端执行机与大数据组件即可进行交互,从而获取必要的数据。 同时,为了确保客户端能够成功连接到集群并执行
配置说明 桶类型 支持并行文件系统和标准桶两种类型。 对象存储终端节点 填写日志桶所在区域的终端节点(Endpiont),获取方法请参见地区和终端节点。单击“校验”,获取桶列表。 桶名称 在下拉列表中,选择需要做为日志桶的桶名。 自定义文件夹(可选) 指定日志文件和内容校验结果在日志桶
机的密码。源端主机为华为云ECS时,请参考在控制台重置ECS密码。源端非华为云ECS主机,需要您自行获取重置密码的方法。 如果您不确定用户名是否正确,请联系源端主机的管理员以获取正确的用户名和密码。 确认用户名和密码无误后,更新在Edge上添加的源端主机凭证信息,然后重新进行迁移准备度检查。
服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 云上凭证的存储有效期为7天,超过7天后,凭证会过期,需要重新输入。 操作步骤 登录迁移中心管理控制台。
创建用户并加入用户组 创建用户时选择步骤3创建的具有MgC权限的用户组。 获取访问密钥(AK/SK) 账号和IAM用户的访问密钥是单独的身份凭证,即账号和IAM用户仅能使用自己的访问密钥进行API调用/鉴权。获取访问密钥的方法请参见新增访问密钥。
xxx.yaml 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用如下命令,将获取到的信息粘贴到一个自建的yaml文件里,再将yaml文件的绝对路径填写到此处。 cat ~/.kube/config 须知: 一个k8s集群只需要获取一个配置信息。 父主题: 采集器参数配置说明
如何卸载Edge? 采集失败,提示:The collector is not installed如何处理? 大数据-Hive Metastore凭证文件获取方法 Edge安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查
全量校验:全量对比所有数据,适用与需要对比历史数据的场景。 日级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。支持单日或连续多日增量数据的统计,是最常用的校验方式。 小时级增量校验:依靠元数据中的创建或更新时间,获取数据变化(增量)分区,再进行校验。在24小时内自动进行多次校验,可以
项目 选择DLI在目的端区域用于接收数据的项目。如果未勾选“所选凭证与登录迁移中心凭证相同”,则需要手动填写项目ID。项目ID的获取方法请参考获取项目的名称和ID。 队列名称 输入完成准备工作时,创建的SQL队列名称/通用队列名称。 当配置SQL队列连接时,填写SQL队列名称。
PowerShell 如果配置失败,请参考 PowerShell 帮助文档中的 about_Remote_Troubleshooting 获取解决方案。 父主题: 常见问题
OBS迁移到NAS,如果源端存在同名但大小写不同的对象,会如何处理? 关于OBS、NAS和SMB存储系统之间进行异构迁移的对象长度限制说明 如何解决迁移集群创建失败问题 如何获取微软云的访问凭证
跨可用区迁移场景仅支持扩容,即使配置缩容,系统也会自动创建一个与源端磁盘容量相同的目的端磁盘。 获取源端主机磁盘信息 在进行目的端主机磁盘缩容前,需要先完成源端主机资源的发现与深度采集,获取源端主机的磁盘信息。 请根据实际情况,选择主机发现与采集方法。 公网采集 内网采集 手动添加
Doris”,查看“Leader所在的主机”获取。 数据库端口 填写Doris集群部署的服务器的端口。可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,搜索“query_port”获取。 数据库名 填写Doris数据库名称。 表2
p_port”参数获取。 HTTP SSL/TLS端口 安全集群下,与阿里云EMR ClickHouse 服务器通信的HTTPS 端口。 可以在EMR控制台ClickHouse服务的配置页面,单击server-config页签,查看“http_port”参数获取。 在元数据采集区域,单击“创建任务
加方法请参考添加资源凭证。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。 Hive Metastore凭证文件的获取方法请参考大数据-Hive Metastore凭证文件获取方法。 在MgC控制台左侧导航栏选择“调研 > 大数据血缘”,