检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MgC对采集结果处理存储等。 图1 采集链路流程 采集参数配置说明 参数 是否必选 配置说明 ip 是 Orcale数据库实例IP。 port 是 Orcale数据库实例端口号。 user 是 Orcale数据库实例账号(拥有select any dictionary权限)。 password
些内容的文件所在路径,您可以根据以下路径自行查找。 下发指令存储在{MgC Agent安装路径}/logs/audit/downlink_command.txt文件中。 上报数据存储在{MgC Agent安装路径}/logs/audit/uplink_data.txt文件中。 周
支持迁移的文件类型:普通文件、目录文件、软链接文件、硬链接文件。 注意: 文件句柄被占用或源端文件被删除,均会导致迁移失败。 不支持字符设备文件、块设备文件、套接字、管道文件等特殊文件的迁移。 软链接不支持元数据的迁移。
填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知:
填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 安装目录 填写MRS/CDH客户端的安装目录路径。即安装客户端时,“./install.sh” 所填写的地址。 SQL文件地址 填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知:
在模板文件中添加分区表信息,然后上传至MgC。 单击“指定分区迁移文件”下的“下载模板”,下载CSV格式的模板。 下载后用记事本打开该CSV模板文件。 注意: 请不要使用Excel对CSV模板文件进行编辑,通过Excel编辑并保存的模板文件无法被MgC识别。 保留CSV文件中的第
255.255 Linux 填写Linux系统类型主机需要扫描的端口。若不需要扫描Linux类型主机,可将端口设为0。 Windows 填写Windows系统类型主机需要扫描的端口。若不需要扫描Windows类型主机,可将端口设为0。 参数配置完成后,单击“确认”,MgC Agent开始主机资源发现。
ols导出的Excel文件可能存在兼容性问题或格式错误。 解决方案 将RVTools导出的Excel文件在Windows操作系统上的Excel软件中打开。 在Excel中,将原有数据复制并粘贴到一个新的Excel文件中。 保存新创建的Excel文件,确保文件格式为.xlsx或.xls。
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
根据源端的磁盘挂载情况在目的端创建相应的磁盘配置。但在实际迁移时,只会迁移源端已挂载、已使用且文件系统兼容的磁盘。因此,在迁移过程中目的端主机只挂载了满足迁移条件的磁盘,而未使用或文件系统不兼容的磁盘则会被剥离,处于“未挂载”状态。 解决方案 参考为ECS挂载磁盘,手动将未挂载的磁盘,挂载回目的端主机。
血缘采集概述 通过血缘采集,可以建立起数据元素之间的关系和依赖关系,从而形成一个清晰的数据血缘图。 目前支持血缘采集的文件类型以及采集须知,参见下表。 文件类型 采集须知 DataArts作业 需要提前导出DataArts作业到华为云OBS桶,并将桶的读写权限委托给迁移中心。 SQL作业
OBS 文件夹和文件路径的最大长度限制均为1023个字节。 NAS 文件夹的最大长度限制为255个字节。 文件路径的最大长度限制为4096个字节。 SMB 文件夹的最大长度限制为226个字节。 文件路径的最大长度限制为32767个字节。 不同迁移方向支持的最大长度限制参见下表: 迁移方向
访问时延低和吞吐量高,因而适用于有大量热点文件(平均一个月多次)或小文件(小于1MB),且需要频繁访问数据的业务场景,例如:大数据、移动应用、热点视频、社交图片等场景。 低频访问存储 适用于不频繁访问(平均一年少于12次)但在需要时也要求快速访问数据的业务场景,例如:文件同步/共享、企业备份等场景。
直接覆盖:后续同名(即使大小写不同)的对象将覆盖目的端文件系统中之前迁移的同名对象。最终,在目的端文件系统中只保留最后迁移的同名对象。 条件覆盖:对于后续迁移的同名(即使大小写不同)对象,根据以下条件决定是否覆盖。 如果最后修改时间较新,则覆盖前一个同名对象。 如果最后修改时间相同,比较文件大小;如果大小不同,则后一个对象覆盖前一个。
须知: 建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 password 是 填写登录用户名对应的密码。 username 是 填写拥有可读权限的登录用户名。 port 是 填写Nacos的访问端口。例如:8848 ip 是 填写N
执行机连接端口 填写连接执行机的端口,默认为22端口。 Spark客户端目录 填写Spark客户端的bin目录的绝对路径 环境变量地址 请添加环境变量文件的绝对路径,示例:/opt/bigdata/client/bigdata_env, 如果该参数不为空,则环境变量文件在命令执行前将被自动“source”
权限要求:被扫描节点开放对应的远程访问端口(内网可访问或对MgC Agent所在主机开放白名单)。默认情况下Windows开放3389端口,Linux开放22端口,也可以单独指定。 采集原理:通过枚举网段下所有IP地址,得到扫描范围,然后依次循环使用TCP连接到对应IP的远程连接端口。如果3389存在
Agent安装目录下(默认为C:\Edge),编辑.\tools\SecAs-1.2.29\bin\catalina.bat,配置参数。 在文件中 “@echo off”的下一行,添加如下信息: set "JAVA_OPTS=-Xms512M -Xmx1024M" 其中“-Xms512M
采集失败,提示:The collector is not installed如何处理? 大数据-Hive Metastore凭证文件获取方法 MgC Agent(原Edge)安装端口被占用,导致无法安装,如何处理? AK/SK验证失败,如何处理? Windows服务器WinRM服务配置与故障排查
项目。 单击存储迁移成本调研框,进入存储迁移成本调研参数配置页面。 在源端详情区域,根据实际情况,选择源端平台和源端类型,并输入源端文件个数、总文件大小。 在目的端详情区域,选择目的端区域和目的端类型。 在高级特性选择网络模式、偏好设置,并输入期望迁移时间。 配置完以上参数后,单