检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<BUCKET-NAME>/*" }] } 更多参数设置请参考Amazon S3 存储桶策略的示例。 使用 s3cmd 命令行工具设置存储桶策略,允许公开访问存储桶中的文件。命令格式如下: s3cmd setpolicy <FILE-NAME>.json s3://<BUCKET-NAME> 其中
keytab文件对应的用户名。 执行命令 可以通过设置Beeline或Spark-sql命令行参数,对数据进行处理。 Beeline:用于与 Hive交互的命令行工具。 Spark-sql:用于执行 SQL 查询和分析数据。 MaxCompute参数 (MaxCompute配置参数) - 根据实际需求,
登录迁移中心管理控制台。 单击左侧导航栏的“调研>应用发现”,进入应用发现页面。在页面左上角的当前项目下拉列表中选择迁移项目。 首次创建任务,在工具采集区域,单击“导入>应用关联模板”;非首次创建任务,单击任务框中的“导入>应用关联模板”,弹出导入应用关联模板窗口,单击“下载模板”,将导入模板下载到本地。
联机 方法二: 登录目的端主机,鼠标右键单击开始菜单。 单击“运行”,输入cmd,进入命令行提示符界面。 执行diskpart,启动磁盘管理工具。 执行list disk,列出当前服务器所有磁盘。 如下图所示,磁盘0处于“联机”状态,磁盘1处于“脱机”状态。 执行select disk
购买资源 目的端规格配置完成后,无需切换服务,可以直接在迁移中心批量购买目的端资源。当前仅支持购买主机资源。主机迁移工作流支持自动购买主机资源,通过“购买列表”批量购买资源适用于部分主机需要重新部署的场景。通过购买列表成功购买的主机,将自动绑定为迁移目的端,可以使用主机工作流继续迁移。
如果您不进行目的端绑定,请执行步骤五:规格评估操作。 绑定的目的端主机有以下要求: 所绑定的目的端主机能够被格式化。迁移工作流将使用所绑定的目的端作为迁移的目的端,迁移过程中该目的端主机会被格式化,然后将源端数据迁移到该主机。 如果后续主机迁移工作流是公网迁移,所绑定目的端主机需要能访问公网。
创建迁移项目: 在MgC控制台为本次迁移创建独立的项目,方法请参见项目管理。 操作步骤 下载并安装迁移工具Edge。 在源端内网环境中准备一台Windows主机,用于安装迁移工具Edge,如果您没有空闲的云主机,可以购买一台按需收费的主机,规格推荐4U8G。对该主机的要求以及Ed
根据表1,配置参数。 表1 迁移准备度参数配置说明 参数 配置说明 类型 根据实际的主机操作系统类型选择。 采集设备 选择在源端环境安装的Edge工具。当资源较多时,可以同时勾选多个资源,并通过列表上方的“绑定采集设备”进行批量绑定。 IP 选择主机接入IP,可以为公网IP,也可以是私有
在安装Edge的主机,打开命令行窗口,使用ping命令测试与源端主机的公网IP是否连通;使用telnet命令测试源端主机的端口(默认22端口)是否可以访问。命令格式分别为:ping {源端主机IP地址}、telnet {源端主机IP地址} {端口}。 如果IP或端口不通,请检查源端主机安全组入方向规则
选择“NAS_NFS_V3_PROTOCOL” - 文件存储服务地址 输入源端文件系统的挂载地址,格式为:IP地址+:/或IP地址+:/ xxx,例如:192.1.1.1:/或192.1.1.1:/0001 - 路径 输入待迁移文件路径,格式为:/文件夹 当输入的是/时,表示迁移整个弹性文件系统。 表3 目的端信息参数说明
步全部数据库。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 参数配置完成后,单击“确认”按钮,创建元数据同步任务完成。 单击“采集任务”,进入元数据采集页面。在任
进行多次校验,可以持续关注数据一致性变化情况。第二日0点自动停止任务。 指定日期校验:仅适用于分区为年月日格式的分区表,支持周期性指定一个或多个连续日期分区进行校验。分区格式不为年月日的表不会进行校验。 指定时间校验:用户可以选择一个时间段,校验该时间段内的数据。只能选择当前时间之前的时间段进行校验。
采集项时不允许删除采集任务。 导入文件的大小超出限制。 请导入10MB以内的文件。 文件名无效。 请按规则输入文件名。 文件格式无效。 请导入正确的文件格式。 新增数据源失败,导入文件不存在。 请检查导入文件是否成功,或尝试再次导入。 采集阿里云RM资源信息失败。 请参考阿里云资源管理产品文档进行API
填写需要进行元数据同步的数据库名称。 并发线程数 设置采集线程并发数。默认为3,1≤取值范围≤10。增加线程并发数,可以提高同步效率,但会占用更多源端连接和迁移工具(Edge)所安装主机的计算资源。 自定义参数 可以通过自定义参数设置同步的特定表或分区、过滤条件等。 如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数:
批量发起迁移任务。 主机跨可用区迁移 迁移中心支持AZ间迁移场景,并提供AZ迁移工作流模板,帮助您高效、可视化的完成AZ间的资源迁移和业务切换。 存储迁移 通过独立专享迁移集群以及配置迁移专线,简单、快捷实现对象存储、文件存储一站式上云,提升上云效率。
如果端口填写正确,请继续执行步骤2.。 在安装Edge的主机,打开命令行窗口,使用telnet命令测试源端主机的端口是否可以访问。命令格式分别为:telnet {源端主机IP地址} {端口}。 如果端口无法访问,请检查源端主机安全组入方向规则中,协议端口号为TCP:5985(
数填写到模板内。 每个模板最多支持导入10,000张表。 同一表组内的表必须属于同一个元数据来源。 模板中单元格不允许存在公式且必须是文本格式,否则会导致解析失败。 元数据连接为Delta(有元数据)或Hudi(有元数据)连接时,模板中的source_path参数为必填项。 元数
适用于添加华为云、阿里云、AWS、腾讯云、七牛云和金山云等云平台凭证。 配置文件 适用于添加谷歌云平台凭证。配置文件需要上传谷歌云服务账号凭据,该凭证必须为json格式文件,且大小不能超过4KB。 ID/密钥 适用于添加Azure平台凭证。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。
如果否,请继续执行步骤3.。 在安装Edge的主机,打开命令行窗口,使用telnet命令测试源端主机的端口(如5985端口)是否可以访问。命令格式分别为:telnet {源端主机IP地址} {端口}。 如果端口可以访问,请执行步骤4.。 如果端口无法访问,请检查源端主机安全组入方向规
在安装Edge的主机,打开命令行窗口,使用ping命令测试与源端主机的公网IP是否连通;使用telnet命令测试源端主机的端口(如22端口)是否可以访问。命令格式分别为:ping {源端主机IP地址}、telnet {源端主机IP地址} {端口}。 如果IP和端口均能连通,请执行步骤3.。 如果IP