检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。
在左侧导航栏单击“迁移工具”,单击Edge窗格中的“软件下载>下载Windows版”,将最新版本的Edge安装程序下载到Windows主机。 双击最新版本的Edge安装程序,开始安装,覆盖旧版本的Edge。
如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数: 参数名:
方法请参考安装Windows版的SMS-Agent。 Agent启动成功后,返回MgC控制台重试迁移任务。 父主题: 主机迁移工作流
Windows 远程管理 2.0版本。 在 PowerShell 3.0及更高版本上运行的功能(如会话断开和重连),仅在两台计算机都使用 PowerShell 3.0 或以上版本时可用。
如果需要同步的是阿里云 EMR环境中的元数据,请添加如下参数: 参数名:conf 参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数: 参数名:
当出现如下图所示提示时,表示Linux版的Edge已安装完成。其中提示的端口号请以实际情况为准(通常为27080)。 执行如下命令,更新环境变量。
大多数Linux服务器发行版默认启用SSH服务。 SSH密码认证:确保所有源端主机的SSH服务已配置为接受密码认证,以便脚本可以使用CSV文件中提供的密码进行自动登录。
导出阿里云Redis实例 登录阿里云云数据库 Redis 版控制台。 在左侧导航栏选择“实例列表”,进入实例列表页面。在页面上方选择地域。 在实例列表页面左下方,展开,单击“选择全部”。 单击列表右上角的图标,在弹出的对话框中,勾选需要导出的信息。 单击“确定”。
单击操作列的“下载账单”按钮,下载Excel版账单。 查看配置 系统会根据解析出来的产品规格及用量自动匹配华为云上的产品及用量,在匹配策略上系统坚持在不低于您当前配置的前提下优先考虑成本的原则,给出华为云上的产品规格及用量配置。
导出阿里云Redis实例 登录阿里云云数据库 Redis 版控制台。 在左侧导航栏选择“实例列表”,进入实例列表页面。在页面上方选择地域。 在实例列表页面左下方,展开,单击“选择全部”。 单击列表右上角的图标,在弹出的对话框中,勾选需要导出的信息。 单击“确定”。
如果源端是阿里云 EMR Delta 2.1.0版本并且配置了Spark 2.4.8来处理Delta Lake数据,请添加如下参数: 参数名:mgc.delta.spark.version 参数值:2 表2 日级增量校验参数配置说明 区域 参数 配置说明 基础信息 任务名 默认创建名称为
注意: 如果源端Hive为2.1.1版本,此处需要选择1.x版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口 填写连接MetaStore的端口,默认为9083。
ListHosts MRS ReadOnlyAccess 数据库 DDS dds:ListInstances dds:ListFlavors DDS ReadOnlyAccess RDS rds:ListInstances RDS ReadOnlyAccess 中间件 分布式消息服务Kafka版
注意: 如果源端Hive为2.1.1版本,此处需要选择1.x版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口 填写连接MetaStore的端口,默认为9083。