检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ink_data.txt文件中。 周期性日志归档:系统会自动在每月初将audit.log文件压缩为zip包并存储到 {Edge安装路径}/logs/audit/目录下,压缩包名称为:年份-月份.zip,例如:2024-xx.zip。 父主题: 云边协同
金山云认证方式请选择“AK/SK”,并输入源端账号的AK/SK。 Azure认证方式请选择“ID/密钥”。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 是 区域 选择要发现的源端云平台区域,支持多选。 是 在资源类型下拉列表,勾选需要进行采集的资源类型(
金山云认证方式请选择“AK/SK”,并输入源端账号的AK/SK。 Azure认证方式请选择“ID/密钥”。添加凭证所需的信息获取方法请参见如何获取添加Azure凭证所需的信息。 是 区域 选择要发现的源端云平台区域,支持多选。 是 开启云平台采集,在资源类型下拉列表,勾选需要进行
心管理控制台。 在左侧导航栏单击“迁移工具”,进入迁移工具页面。 在Windows区域,单击“下载安装包”,将Edge安装程序下载到Windows主机。 将下载的Edge安装包解压,双击Edge安装程序,单击“下一步”。如果无法正常启动安装程序,请尝试以兼容性模式运行,方法请参见已兼容性模式运行程序。
心管理控制台。 在左侧导航栏单击“迁移工具”,进入迁移工具页面。 在Windows区域,单击“下载安装包”,将Edge安装程序下载到Windows主机。 将下载的Edge安装包解压,双击Edge安装程序,单击“下一步”。如果无法正常启动安装程序,请尝试以兼容性模式运行,方法请参见已兼容性模式运行程序。
在页面上方菜单栏选择“集群>Hive”,进入Hive概览页,单击右上角“更多>下载客户端”,弹出下载客户端窗口。 客户端类型选择“仅配置文件”,单击“确定”按钮。 将下载的文件包解压,在/Hive/config文件夹下可以获取core-site.xml、hivemetastore-site.xml、hive-site
mc2dli.data.migration.dli.file.path 填写存放migration-dli-spark-1.0.0.jar包的OBS路径。例如:obs://mgc-test/data/migration-dli-spark-1.0.0.jar mgc.mc2dli
data.migration.dli.file.path:填写在完成准备工作时存放migration-dli-spark-1.0.0.jar包的OBS路径。例如:obs://mgc-test/data/migration-dli-spark-1.0.0.jar mgc.mc2dli
数据湖DLI凭证输入目的端华为云账号的AK/SK。 创建OBS桶并上传jar包 在华为云OBS创建一个存储桶,并将数据迁移过程中所依赖的 Java 文件(jar包)上传至该OBS桶。创建OBS桶的方法请参考创建桶。上传文件的方法请参考上传对象。 数据迁移所依赖的jar包分别为:migration-dli-spark-1
data.migration.dli.file.path:填写在完成准备工作时存放migration-dli-spark-1.0.0.jar包的OBS路径。例如:obs://mgc-test/data/migration-dli-spark-1.0.0.jar mgc.mc2dli
端“大数据-数据湖搜索(DLI)”凭证,认证方式选择“AK/SK”。凭证的添加方法请参考添加资源凭证。 DLI侧的AK/SK获取方法请参考如何获取AK/SK。 MaxCompute侧的AK/SK获取方法请参考查看RAM用户的AccessKey信息。 在MgC控制台左侧导航栏选择“调研
制台。 在左侧导航栏单击“迁移工具”,进入迁移工具页面。 在Linux区域,单击“下载安装包”或“复制下载命令”,将Edge安装程序下载到Linux主机。 执行如下命令,解压Edge安装包。 tar zxvf Edge.tar.gz 执行如下命令,进入Edge安装目录中的scripts目录。
MB。在这种情况下,脚本可能因为内存不足而中断。解决方法如下: 登录华为云SMS管理控制台,在“迁移Agent”页面下载Windows Agent(Python2)版本的安装包到源端主机。 安装并运行Agent,输入华为云账户的AK、SK,以及SMS域名启动Agent。方法请参考安装Windows版的SMS-Agent。
的权限。 采集原理:利用Java语言编写的应用程序,集成对应中间件的SDK(Software Development Kit,软件开发工具包)。通过SDK提供的方法和API,与中间件进行交互,实现数据的采集。 容器采集 权限要求:需要管理员级别权限的账号导出包含必要访问凭证的文件。
在华为云创建一个用于接收源端数据的OBS桶,区域选择您希望迁移到的目的端区域。创建方法请参考创建桶。 权限配置 确保源端账号和目的端账号拥有迁移需要的权限,详细介绍请参见如何获取源端桶和目的端桶权限?。 创建集群 通过集群可以创建Master节点、迁移节点和列举节点,确保存储工作流的顺利运行。创建方法请参考创建集群。
务器的私网IP和代理软件指定的代理端口。 如果源端代理服务器无法访问公网,需要将SMS-Agent安装包放至到源端能访问下载或者借助代理能访问下载的地址。SMS-Agent安装包可以在SMS控制台下载。 目的端配置 区域 目的端所在区域,即规格评估时所购买资源的区域。 项目 目的端所在区域的项目。
--master:Spark用于所连接的master,如yarn-client,yarn-cluster等。 application-jar:Spark应用的jar包的路径。 application-arguments:提交Spark应用的所需要的参数(可以为空)。 表2 日级增量校验参数配置说明 区域 参数
networkOutThroughput 内网出带宽,单位byte/s 用于迁移前评估 networkPpsIn 网络PPS(个/秒)网络入包 用于迁移前评估 networkPpsOut 网络PPS(个/秒)网络出包 用于迁移前评估 networkConnections 网络连接数