检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最少完成一次元数据全量迁移。 准备工作 开通spark 3.3.1白名单 使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。
在安装旧版本Edge的Windows主机,登录迁移中心管理控制台。 在左侧导航栏单击“迁移工具”,单击Edge窗格中的“软件下载>下载Windows版”,将最新版本的Edge安装程序下载到Windows主机。 双击最新版本的Edge安装程序,开始安装,覆盖旧版本的Edge。安装完成后,前往
参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数: 参数名:master 参数值:local 参数配置完成后,单击“确认”按钮,创建数据湖元数据同步任务完成。
Agent(Python2)版本的安装包到源端主机。 安装并运行Agent,输入华为云账户的AK、SK,以及SMS域名启动Agent。方法请参考安装Windows版的SMS-Agent。 Agent启动成功后,返回MgC控制台重试迁移任务。 父主题: 主机迁移工作流
PowerShell 2.0 或更高版本。 Microsoft .NET Framework 2.0 或更高版本。 Windows 远程管理 2.0版本。 在 PowerShell 3.0及更高版本上运行的功能(如会话断开和重连),仅在两台计算机都使用 PowerShell 3.0 或以上版本时可用。
参数值:spark.sql.catalogImplementation=hive 如果源端是阿里云 EMR Delta 2.2版本并且是通过Delta 2.3版本依赖访问时,请添加如下参数: 参数名:master 参数值:local 在元数据采集区域,单击“采集任务”,进入元数据采集页面。
地址。如果输入的地址不在本机拥有的IP列表中,会提示是否开放本机所拥有的任何公网IP作为访问地址。 当出现如下图所示提示时,表示Linux版的Edge已安装完成。其中提示的端口号请以实际情况为准(通常为27080)。 执行如下命令,更新环境变量。 source /etc/profile
机通过SSH协议进行连接。 SSH访问权限设置 SSH服务配置:确保所有源端主机上的SSH服务已启用并运行正常。大多数Linux服务器发行版默认启用SSH服务。 SSH密码认证:确保所有源端主机的SSH服务已配置为接受密码认证,以便脚本可以使用CSV文件中提供的密码进行自动登录。
在弹出的对话框中,勾选需要导出的信息。单击“确定”。系统会将实例信息输出至CSV格式的文件并自动下载。 导出阿里云Redis实例 登录阿里云云数据库 Redis 版控制台。 在左侧导航栏选择“实例列表”,进入实例列表页面。在页面上方选择地域。 在实例列表页面左下方,展开,单击“选择全部”。 单击列表右上
在弹出的对话框中,勾选需要导出的信息。单击“确定”。系统会将实例信息输出至CSV格式的文件并自动下载。 导出阿里云Redis实例 登录阿里云云数据库 Redis 版控制台。 在左侧导航栏选择“实例列表”,进入实例列表页面。在页面上方选择地域。 在实例列表页面左下方,展开,单击“选择全部”。 单击列表右上
析任务完成后下载您的账单,在本地进一步分析。 在上云成本分析(凭证)任务列表,单击任务名称。 单击操作列的“下载账单”按钮,下载Excel版账单。 查看配置 系统会根据解析出来的产品规格及用量自动匹配华为云上的产品及用量,在匹配策略上系统坚持在不低于您当前配置的前提下优先考虑成本
*.jar' 注意: 参数值需要根据实际环境目录和Delta Lake 的版本进行替换。 如果源端是阿里云 EMR Delta 2.1.0版本并且配置了Spark 2.4.8来处理Delta Lake数据,请添加如下参数: 参数名:mgc.delta.spark.version 参数值:2
考添加资源凭证中的大数据-Hive Metastore。 Hive版本 选择源端Hive的实际版本。 注意: 如果源端Hive为2.1.1版本,此处需要选择1.x版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口
ReadOnlyAccess RDS rds:ListInstances RDS ReadOnlyAccess 中间件 分布式消息服务Kafka版 dms:ListInstances dms:ShowInstance dms:ListAvailableZones dms:ShowCluster
考添加资源凭证中的大数据-Hive Metastore。 Hive版本 选择源端Hive的实际版本。 注意: 如果源端Hive为2.1.1版本,此处需要选择1.x版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口