检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
号/IAM用户的访问密钥(AK/SK)。获取方法请参考准备工作。 创建应用迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建集群 为本次迁移创建独立的迁移集群,方法请参见创建集群。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统。
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下:
支持迁移的文件类型:普通文件、目录文件、软链接文件、硬链接文件。 注意: 文件句柄被占用或源端文件被删除,均会导致迁移失败。 不支持字符设备文件、块设备文件、套接字、管道文件等特殊文件的迁移。 软链接不支持元数据的迁移。 父主题: 存储迁移
传以下配置文件: 非安全集群(未开启Kerberos认证)需要上传core-site.xml,hdfs-site.xml,yarn-site.xml,mapred-site.xml和hbase-site.xml等5个配置文件。配置文件的获取方法请参考准备运行环境配置文件。集群是否
对于源端和目的端存在的同名文件,源端文件直接覆盖目的端文件。 对象大小与最后修改时间覆盖 对于文件迁移:源端和目的端存在的同名文件,保留最后修改时间较新的文件;如果最后修改时间相同,比较文件大小,大小不同则源端覆盖目的端文件;如果最后修改时间和大小都相同,则跳过; 对于文件夹迁移:当文件迁移完成后
des.csv。 如果使用自定义的配置文件,请参考默认配置文件(nodes.csv)创建新的csv文件。该参数填写新建的csv文件存放路径。 须知: 建议使用采集器提供的默认节点接入配置文件进行采集,如果需要自定义配置文件,请参考默认配置文件(nodes.csv)进行创建。 父主题:
m,取整数。 config_path 是 填写集群配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下: 在需要采集的k8s集群服务器上,使用
建议使用采集器提供的默认节点接入配置文件进行采集,如果需要自定义配置文件,请在默认配置文件基础上进行修改。 config_path 否 填写集群配置文件(yaml文件)的存储路径。或者在采集器的config目录下创建kube-config文件夹,并将集群配置文件放入,则config_pat
支持迁移的文件类型:普通文件、目录文件、软链接文件、硬链接文件。 注意: 文件句柄被占用或源端文件被删除,均会导致迁移失败。 不支持字符设备文件、块设备文件、套接字、管道文件等特殊文件的迁移。 软链接不支持元数据的迁移。
collector is not installed如何处理? 大数据-Hive Metastore凭证文件获取方法 MgC Agent(原Edge)安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查 新增大数据校验数据连接时,凭证列表数据缺失
列表中选择迁移项目。 在血缘采集区域,单击“创建任务”,弹出创建血缘采集任务窗口。 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
选择元数据管理,在大数据血缘分析页签,单击“创建血缘采集任务”,弹出创建血缘采集任务窗口。 图1 创建血缘采集任务 根据实际作业类型,选择文件类型并配置对应参数。 文件类型 参数 配置说明 血缘模板 文件 将血缘模板下载到本地,并填写模板内的参数。其中,如下参数值为必填字段。 目标数据库(TargetDataset)
AWS账号凭证准备 提前获取待采集资源所属AWS账号的AK/SK,方法请参考获取AWS访问密钥(Access keys)。 添加源端凭证 在MgC控制台添加AWS账号凭证作为采集凭证,方法请参考添加凭证。 获取AWS容器集群的登录配置文件 配置文件将作为深度采集的凭证,以允许MgC Agen
异常” 数据源采集失败,如何重新采集? 如何获取云平台凭证(AK/SK)? 如何获取添加Azure凭证所需的信息? 如何获取Azure对象存储深度采集所需凭证? 如何配置采集Azure容器资源所需权限? 转换CSV文件编码为UTF-8 Windows主机进行深度采集后磁盘信息为空或磁盘信息错误
云”参数配置选择创建集群时所选择的VPC。 配置VPC终端节点完成后,登录弹性文件服务管理控制台,在左侧导航栏选择“通用文件系统 > 文件系统列表”进入文件系统列表页面。 单击文件系统名称,进入该文件系统详情页面。在左侧导航栏选择“权限管理”,单击“添加授权”按钮。 根据表1,配置授权参数,单击“确定”添加完成。
\app-discovery-nacos-xxx.csv rules_path 否 填写自定义采集规则文件(properties文件)所在路径。不填则使用采集器提供的默认规则文件,路径为:<采集器安装目录>\config\rules.properties。 例如,C:\Edge\
所选的资源必须都来源于基础配置所选的源端平台。 最多添加 100 个桶。 表2 迁移方式说明 迁移方式 说明 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。列表文件需要存放在目的端桶中。 前缀迁移 通过对象名称或者名称前缀过滤迁移,只迁移与对象名称或名称前缀一致的对象。
在迁移过程中,请确保Excel文件中的库表名称与MaxCompute中的实际表名一致(全部小写)。如果Excel文件中填写的库表名称为大写,迁移任务会因为无法正确识别表名导致无法迁移。 注意事项 CSV模板文件编辑 当使用MgC提供的CSV模板文件进行数据筛选时,请不要使用Exc
所选的资源必须都来源于基础配置所选的源端平台。 最多添加 100 个桶。 表2 迁移方式说明 迁移方式 说明 全量迁移 迁移源端桶/文件夹内的全部数据。 列表迁移 通过列表文件过滤迁移,只迁移列表文件中的对象。列表文件需要存放在目的端桶中。 前缀迁移 通过对象名称或者名称前缀过滤迁移,只迁移与对象名称或名称前缀一致的对象。
读取该字段,从而使该字段所在的表元数据迁移失败。 注意事项 CSV模板文件编辑 当使用MgC提供的CSV模板文件进行数据筛选时,请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。 DLI队列连接选择 元数据迁移和数据迁移需要使用不同