检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如搜索迁移节点的ERROR日志,输入hostName:oms_cluster_ecs_LIST_* AND ERROR。 搜索迁移节点的ERROR日志,输入hostName:oms_cluster_ecs_MIGRATION_* AND ERROR。 按上述方法可以得到迁移失败的E
Agent侧所添加的源端Hive Metastore凭证。 Hive版本 选择源端Hive的实际版本。 MetaStore节点IP 填写连接MetaStore的IP地址。 MetaStore Thrift服务端口 填写连接MetaStore的端口,默认为9083。 在元数据采集区域,单击“创建任务 > 元
任务名称 自定义任务名称。 任务说明 输入任务说明。 迁移中心Agent 选择在源端内网环境中安装的MgC Agent。 连接地址 填写vCenter的IP地址。 端口 填写访问vCenter的端口。 凭证 选择vCenter的凭证。如下拉列表为空,请前往MgC Agent添加私有云
Agent侧添加的源端Delta Lake执行机凭证。 执行机IP 填写连接执行机的IP地址。 执行机连接端口 填写连接执行机的端口,默认为22端口。 Spark客户端目录 填写Spark客户端的bin目录的绝对路径 环境变量地址 请添加环境变量文件的绝对路径,示例:/opt/bigdata/client/bigdata_env,
任务名称 自定义任务名称。 任务说明 输入任务说明。 迁移中心Agent 选择在源端内网环境中安装的MgC Agent。 连接地址 填写vCenter的IP地址。 端口 填写访问vCenter的端口。 凭证 选择vCenter的凭证。如下拉列表为空,请前往MgC Agent添加私有云
如果上一阶段/步骤处于运行中/暂停/完成状态,该阶段/步骤只能选择添加后置阶段/步骤。 可重复类型的步骤,无法选择添加后置步骤。 添加阶段 在迁移工作流详情页面,将鼠标移动到迁移阶段名称上,在弹出的窗口中,选择添加前置阶段/添加后置阶段,弹出添加阶段窗口。 为迁移阶段自定义名称和说明,单击“添加步骤”,选择步
如果上一阶段/步骤处于运行中/暂停/完成状态,该阶段/步骤只能选择添加后置阶段/步骤。 可重复类型的步骤,无法选择添加后置步骤。 添加阶段 在迁移工作流详情页面,将鼠标移动到迁移阶段名称上,在弹出的窗口中,选择添加前置阶段/添加后置阶段,弹出添加阶段窗口。 为迁移阶段自定义名称和说明,单击“添加步骤”,选择步
迁移大文件时,该指标比较重要,建议速率能达到2 Gbit/s至3 Gbit/s。 以上指标的查看方法如下: 在ECS管理控制台,单击集群对应ECS实例的名称,进入ECS详情页面。 选择“监控 > 基础监控”页签,查看CPU使用情况和网络流量的实时数据。 网络指标 网络包含的关键指标和说明参见下表。
zookeeper-* 从安全集群客户端复制新包并存放到指定目录。请根据实际情况替换xxxx@xxx.xx.xx.xx为安全集群的用户名和IP地址。 scp hadoop-s* hadoop-c* hadoop-m* hadoop-y* zookeeper-* xxxx@xxx.xx
迁移项目。 在资源列表单击主机或主机的资源数量,进入资源列表页面的主机页签。 为需要进行性能采集的主机配置采集设备和凭证。 如果性能采集列的“开始”按钮置灰,将鼠标移动到“开始”按钮处,在弹出的提示框中,单击“去配置”,弹出配置窗口。 如果性能采集列的“开始”按钮未置灰,代表已完成配置,可以跳过此步执行步骤7。
hadoop-h* 从集群HBase客户端复制新包并存放到指定目录。请根据实际情况替换xxxx@xxx.xx.xx.xx为安全集群的用户名和IP地址。 scp hadoop-c* hadoop-m* hadoop-y* zookeeper-* hbase-* opentracing-*
false 当前配置设置为“false”时,DLI在覆盖写之前,会删除所有符合条件的分区。例如,分区表中有一个“2021-01”的分区,当使用INSERT OVERWRITE语句向表中写入“2021-02”这个分区的数据时,会把“2021-01”的分区数据也覆盖掉。 当前配置设置为“tru
false 当前配置设置为“false”时,DLI在覆盖写之前,会删除所有符合条件的分区。例如,分区表中有一个“2021-01”的分区,当使用INSERT OVERWRITE语句向表中写入“2021-02”这个分区的数据时,会把“2021-01”的分区数据也覆盖掉。 当前配置设置为“tru
前项目下拉列表中选择迁移项目。 在应用列表,单击应用名称,进入应用详情页面。 为需要进行性能采集的主机配置采集设备和凭证。 如果性能采集列的“开始”按钮置灰,将鼠标移动到“开始”按钮处,在弹出的提示框中,单击“去配置”,弹出配置窗口。 如果性能采集列的“开始”按钮未置灰,代表已完成配置,可以跳过此步执行步骤7。
迁移选项 大表规则 设置大表条件,当符合大表的条件时,将自动按分区拆分迁移子任务。建议保持默认,也可根据实际需求修改。 小表规则 设置小表条件,当符合小表的条件时,自动将多个小表合并到一个迁移子任务中,提高迁移效率。建议保持默认,也可根据实际需求修改。 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。
迁移选项 大表规则 设置大表条件,当符合大表的条件时,将自动按分区拆分迁移子任务。建议保持默认,也可根据实际需求修改。 小表规则 设置小表条件,当符合小表的条件时,自动将多个小表合并到一个迁移子任务中,提高迁移效率。建议保持默认,也可根据实际需求修改。 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。
使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心管理控制台。在左侧导航
使用该功能前,请联系技术支持人员,将您添加到spark 3.3.1版本的白名单中。 配置DLI作业桶 需要购买一个OBS桶或并行文件系统并设置为DLI作业桶,该桶用于存储DLI作业运行过程中产生的临时数据。方法请参考配置DLI作业桶。 操作步骤 登录迁移中心控制台。 在左侧导航栏
所有“待评估”状态的主机进行风险评估。 如果仅需要评估部分主机,可以在列表中勾选需要评估的主机;也可以通过上方的搜索框,根据主机名称、IP地址、所属平台、关联的应用等条件过滤列表中的主机资源,然后勾选需要评估的主机。勾选完成后,单击“批量评估”按钮,在弹出的对话框中确认待评估主机
迁移选项 大表规则 设置大表条件,当符合大表的条件时,将自动按分区拆分迁移子任务。建议保持默认,也可根据实际需求修改。 小表规则 设置小表条件,当符合小表的条件时,自动将多个小表合并到一个迁移子任务中,提高迁移效率。建议保持默认,也可根据实际需求修改。 并发连接数 设置迁移并发数。默认为3,1≤取值范围≤10。