检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”的服务，鼠标右键，单击“开始”，即可手动启动MgC Agent进程。 Linux版本 执行如下命令，进入MgC Agent安装目录中的scripts目录。 cd /opt/cloud/Edge/scripts/ 执行如下命令，启动MgC Agent。 ./start.sh 当出现如下图所示提示时，表示MgC Agent已经启动。
（可选）网络打通 当创建的集群选择的VPC与SFS服务使用的VPC不是同一个时，需要进行额外的网络配置，以确保SFS 1.0、SFS 3.0和集群之间的网络连通。 SFS 1.0网络打通 SFS 1.0通过创建对等连接来打通网络，方法请参考创建相同账户下的对等连接。 SFS 3.0网络打通
填写需要进行元数据同步的数据库名称，如果有多个数据库，库名之间用逗号隔开。不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可以提高同步效率，但会占用更多源端连接和MgC Agent所安装主机的计算资源。 在任务管理页签，可以查看已创建的元数据同步任务列表以及参
元数据连接为MaxCompute类型时，该参数为必填参数，不能为空。 并发线程数 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可以提高同步效率，但会占用更多源端连接和MgC Agent所安装主机的计算资源。 在任务管理页签，可以查看已创建的元数据同步任务列表以及参
他元数据连接类型，该参数为可选参数，不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可以提高同步效率，但会占用更多源端连接和迁移工具（Edge)所安装主机的计算资源。 参数配置完成后，单击“确认”按钮，创建元数据同步任务完成。
存储类型为NAS_GFS时，文件存储服务地址可以填写主机名、域名、可选的子域、灵活的端口号和路径表示。 存储类型为NAS_NFS_V3_PROTOCOL和NAS_NFS_V3_MOUNT时，格式为： IP地址:/ IP地址:/ xxx 域名:/ 域名:/ xxx 无论是全量迁移还是列表迁移，源
存储类型为NAS_GFS时，文件存储服务地址可以填写主机名、域名、可选的子域、灵活的端口号和路径表示。 存储类型为NAS_NFS_V3_PROTOCOL和NAS_NFS_V3_MOUNT时，格式为： IP地址:/ IP地址:/ xxx 域名:/ 域名:/ xxx 无论是全量迁移还是列表迁移，源
他元数据连接类型，该参数为可选参数，不填则代表同步全部数据库。 并发线程数 设置采集线程并发数。默认为3，1≤取值范围≤10。增加线程并发数，可以提高同步效率，但会占用更多源端连接和MgC Agent所安装主机的计算资源。 参数配置完成后，单击“确认”按钮，创建元数据同步任务完成。
配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。 元数据连接 选择已创建的Delta-Lake（有元数据）元数据连接。 数据库 填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3，1≤取值范围≤1
选择文件存储批量迁移模板，单击“查看步骤详情”，可以查看该模板所包含的迁移阶段和步骤，以及每个阶段和步骤的详细描述。其中，步骤类型为“自动”，表示该步由系统自动完成。单击“开始配置”按钮，进行工作流配置。 在基础信息区域，输入自定义的工作流名称和描述。 在迁移方案区域，选择创建的文件存储迁移方案。选择
选择文件存储批量迁移模板，单击“查看步骤详情”，可以查看该模板所包含的迁移阶段和步骤，以及每个阶段和步骤的详细描述。其中，步骤类型为“自动”，表示该步由系统自动完成。单击“开始配置”按钮，进行工作流配置。 在基础信息区域，输入自定义的工作流名称和描述。 在迁移方案区域，选择创建的文件存储迁移方案。选择
已提前创建应用，在“应用”的下拉列表中选择要关联的应用。 未提前创建应用，单击“新建应用”，弹出新建应用窗口，输入自定义的应用名称和描述；业务场景选择“跨可用区迁移”；使用场景根据实际情况选择；选择目的端所在区域和可用区，单击“确定”按钮，应用创建成功。 单击“确认”，公网发现任务创建完成，系统开始自动发现步骤4任务配置所选区域内的主机资源。
选择目的端区域项目。 可用区 默认随机分配，也可手动选择。 虚拟私有云 选择目的端区域创建的虚拟私有云（VPC）。 子网 选择虚拟私有云所包含的子网，子网网段必须在所选VPC网段范围内。 安全组 所选安全组需要满足： Windows系统开放8899端口、8900端口和22端口。 Linux系统开放22端口。
配置说明 任务名称 默认创建名称为“数据湖元数据同步任务-4位随机数（字母和数字）”，也可以自定义名称。 元数据连接 选择已创建的Delta-Lake（有元数据）元数据连接。 数据库 填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3，1≤取值范围≤1
采集失败，提示：The collector is not installed如何处理？ 问题描述 绑定采集设备和凭证后，进行深度采集失败，失败原因：The collector is not installed. 问题分析 出现该问题，可能的原因如下： 主机规格不足：安装MgC A
注意： 切勿选择通用队列。 自定义参数（可选） 根据实际需求进行配置，支持的自定义参数详情请参考conf参数说明和自定义参数说明。 迁移选项 并发连接数 设置迁移并发数。默认为3，1≤取值范围≤10。 配置完成后，选择任务的运行方式。 创建的迁移任务可重复运行，每运行一次，即会生成一条任务实例。
使用cd命令进入归档日志目录。xxx/需要替换为具体的归档日志目录。 cd xxx/ 使用 gunzip 命令来解压对应的归档日志文件，以便查看。例如，归档日志文件名为 archived_log.gz，则可以使用命令 gunzip archived_log.gz 来解压。 查看大数据插件日志 执行如下命令，进入MgC
zookeeper-* 从安全集群客户端复制新包并存放到指定目录。请根据实际情况替换xxxx@xxx.xx.xx.xx为安全集群的用户名和IP地址。 scp hadoop-s* hadoop-c* hadoop-m* hadoop-y* zookeeper-* xxxx@xxx.xx
选择目的端区域项目。 可用区 默认随机分配，也可手动选择。 虚拟私有云 选择目的端区域创建的虚拟私有云（VPC）。 子网 选择虚拟私有云所包含的子网，子网网段必须在所选VPC网段范围内。 安全组 所选安全组需要满足： Windows系统开放8899端口、8900端口和22端口。 Linux系统开放22端口。
COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
