检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议使用采集器提供的默认规则文件进行采集,如果需要自定义采集规则,请在默认规则文件基础上进行修改。 config_path 是 填写配置文件(yaml文件)的存储路径。 注意: 配置文件所在文件夹仅能存放与采集相关的yaml配置文件,可以存放多个配置文件,但不能存放与采集无关的其它yaml文件。 配置文件内容获取方法如下:
MgC通过以下方式确保采集数据的安全: 数据加密传输:采用加密技术来保护数据在传输过程中的安全 本地加密存储凭证:Edge上的凭证信息都会经过加密处理后保存在本地,不会通过网络传输到云端。 本地数据采集与存储:通过Edge线下采集的信息会被安全地保存在本地。在将本地采集的数据上传到云端之前,可人
e上添加源端资源凭证。连接迁移中心后,资源凭证会同步至迁移中心。在Edge上添加的凭证都会加密存储在您本地,同步时密码、密钥等凭证信息并不会上传至迁移中心。 在Edge添加的资源凭证存储有效期为60天,超过60天后,凭证会过期,需要重新添加。 前提条件 已在源端安装Edge,并与迁移中心连接成功。
read 七牛云资源采集 采集七牛云存储资源所需的权限参见下表。 资源类型 云服务 Action 最小权限策略 存储 对象存储(Kodo) kodo:buckets QiniuKodoReadOnlyAccess 金山云资源采集 采集金山云存储资源所需的权限参见下表。 资源类型 云服务
填写用于存放执行作业时生成的SQL文件的文件夹地址。您需要拥有该文件夹的读写权限。 须知: 迁移完成后,您需要手动清理该路径下生成的文件夹,以释放存储空间。 表7 Delta Lake(无元数据)连接参数配置说明 参数 配置说明 所属源 仅需在源端创建元数据连接。 连接名称 默认创建名称
及前期需要做的准备工作,让您对迁移中心的功能和操作有个初步认识。 迁移中心目前还支持跨可用区迁移和存储迁移,创建迁移工作流的操作步骤请参考华为云主机跨可用区迁移、迁移其他云平台存储数据至华为云。 操作流程图 使用迁移中心创建主机迁移工作流的操作流程,如图1所示。 图1 创建主机迁移工作流操作流程图
#Migration-proxy-end 日志目录准备 配置日志目录:脚本会默认使用 /var/log/update_hosts 作为日志存储目录。目录不存在的话,脚本会自动创建,如果需要更改日志存储路径,请修改脚本中的 LOG_DIR 参数的值。 检查日志目录权限:确保当前用户对日志目录有写入权限。如果权限不足,需要调整目录权限或选择其他路径。
1”,可以禁用显示。 说明: 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表,和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。
务查看是否产生备份。 AZ-Workflow.0502 源端服务器***绑定存储库***失败 请联系技术支持人员或提交工单。 AZ-Workflow.0503 存储库***是不可用状态*** 请删除存储库后重试迁移任务。 AZ-Workflow.0901 无法关闭处于***状态的主机,请手动关机后重试
迁移工作流 工作流配额限制说明 创建主机迁移工作流 创建可用区迁移工作流 创建存储迁移工作流 创建对象存储批量迁移工作流 创建文件存储批量迁移工作流 添加阶段/步骤
源端主机的IP或端口异常。 如果源端为Windows主机,可能未开启WinRM服务。 您可以通过查看Edge的深度采集日志文件确认具体的报错原因,深度采集日志文件的存储路径为:C:\Edge\tools\plugins\collectors\rda-collector-server\logs\rda-collector-server\run
对于MgC下发指令给Edge或Edge上报数据到MgC等关键行为,资源字段会显示存储这些内容的文件所在路径,您可以根据以下路径自行查找。 下发指令存储在{Edge安装路径}/logs/audit/downlink_command.txt文件中。 上报数据存储在{Edge安装路径}/logs/audit/uplink_data
配置参数中的接入IP填写错误。 源端主机处于关机状态。 源端主机的IP或端口异常。 您可以通过查看Edge的Error日志文件确认具体的报错原因,Error日志文件的存储路径为:C:\Edge\logs\edge-server\error.log。 解决方法 检查迁移准备度配置参数中的“接入IP”填写是否正
迁移方案配置 配置主机迁移方案 配置存储批量迁移方案 配置文件存储批量迁移方案
迁移中心支持AZ间迁移场景,并提供AZ迁移工作流模板,帮助您高效、可视化的完成AZ间的资源迁移和业务切换。 存储迁移 通过独立专享迁移集群以及配置迁移专线,简单、快捷实现对象存储、文件存储一站式上云,提升上云效率。
MaxCompute凭证输入源端阿里云账号的AK/SK。 数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶,并将数据迁移过程中所依赖的 Java 文件(jar包)上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。
源端主机的IP或端口异常。 源端主机有防火墙、杀毒软件等安全拦截。 您可以通过查看Edge的Error日志文件确认具体的报错原因,Error日志文件的存储路径为:C:\Edge\logs\edge-server\error.log。 解决方法 查看源端主机是否处于关机状态。 如果是,请将源端主机开机后重试。
创建迁移项目 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 创建弹性文件系统 在目的端创建相应的弹性文件系统,用于迁移后的数据存储和管理,方法请参见创建弹性文件系统。 父主题: SFS1.0迁移至SFS 3.0
迁移中心为了确保数据传输安全,采用加密通道(HTTPS、SSH)进行数据传输。 凭证加密 在线采集时,采集凭证会加密存储在MgC服务端。用户也可以通过在源端部署Edge实施采集,采集凭证加密存储在本地Edge。
创建源端连接 创建源端连接是为了允许迁移工具Edge访问和读取源端阿里云 MaxCompute中存储的数据。 前提条件 已完成准备工作。 操作步骤 登录迁移中心控制台。 在左侧导航栏选择“实施>大数据数据迁移”,进入大数据数据迁移页面。在页面左上角的当前项目下拉列表中选择在完成准备工作时所创建的迁移项目。