检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts训练专属资源池如何与SFS弹性文件系统配置对等链接? 配置训练专属资源池与SFS弹性文件系统的对等链接,需要资源池打通VPC,使得资源池与SFS弹性文件系统所配置的VPC相同。配置完成后,在创建训练作业时,就可以看到SFS的配置选项。 打通VPC步骤请参考打通VPC。
如何将Ubuntu20.04内核版本从低版本升级至5.4.0-144-generic? 场景描述 Ubuntu20.04内核版本从低版本升级至5.4.0-144-generic。 操作指导 检查当前内核版本。 uname -r 升级内核 apt-get install linux-headers-5
报错“The VS Code Server failed to start”如何解决? 问题现象 解决方法 检查VS Code版本是否为1.78.2或更高版本,如果是,请查看Remote-SSH版本,如果低于v0.76.1,请升级Remote-SSH。 打开命令面板(Windows:
VS Code自动升级后,导致远程连接时间过长 问题现象 原因分析 由于VS Code自动升级,导致连接时需要重新下载新版vscode-server。 解决方法 禁止VS Code自动升级。单击左下角选择Settings项,搜索Update: Mode,将其设置为none。 图1
创建Notebook文件后,右上角的Kernel状态为“No Kernel”如何处理? 问题现象 现象:创建Notebook文件后,右上角的Kernel状态为“No Kernel”。 原因分析 可能因为用户工作目录下的code.py和创建kernel依赖的import code文件名称冲突。
ServiceComb引擎仪表盘中的数据通过ServiceStage对接到AOM 背景信息 接入ServiceComb引擎的Java Chassis应用,在ServiceComb引擎仪表盘上的实时监控数据默认保留5分钟。如果需要持久化存储历史监控数据用于后续查询分析,可以使用Se
微服务日常运维 业务场景 ServiceStage支持应用监控、事件、告警、日志和调用链诊断,内置AI能力,可以实现轻松运维。 用户故事 在实际的使用场景中,用户可以通过图形化指标数据和阈值告警等能力,实时监控应用运行情况,同时结合性能管理与日志策略,快速定位应用的运行问题,分析性能瓶颈等。
升级Metrics Server 已安装的Metrics Server插件版本低于当前最新版本时,您可以升级插件到当前最新版本。 使用限制 升级Metrics Server插件版本过程中由于无法正常进行弹性伸缩,如果操作过程中流量异常可能会导致组件服务异常。 前提条件 待操作Metrics
微服务引擎转包周期 计费模式为按需计费的用户,可以选择“转包周期”,变更实例计费模式为包年/包月。 约束与限制 实例从按需变为包周期计费,只是改变计费方式,不会影响应用。 状态为“已冻结”、“删除中”的实例,不支持转包周期。 微服务引擎转包周期 登录ServiceStage控制台,选择“微服务引擎
关闭弹性伸缩-HPA策略 您可以根据实际业务需要,关闭不再使用的弹性伸缩-HPA策略。 关闭弹性伸缩-HPA策略后,所有数据将清空,请谨慎操作。 前提条件 已创建组件弹性伸缩-HPA策略,请参考创建弹性伸缩-HPA策略。 删除弹性伸缩-HPA策略 登录ServiceStage控制台。
重启Metrics Server 您可以根据实际业务需要,重新启动Metrics Server负载进程。 使用限制 启动Metrics Server负载过程中由于无法正常进行弹性伸缩,如果操作过程中流量异常可能会导致组件服务异常。 前提条件 待操作Metrics Server插件已经安装,请参考安装Metrics
查看微服务引擎实例数配额 本章节指导您查看微服务引擎的实例数配额及配额使用情况。 查看微服务引擎实例数配额 登录ServiceStage控制台,选择“微服务引擎 > 引擎实例”。 在页面上方“微服务引擎”下拉列表,选择待查看的微服务引擎。 在“服务发现 & 配置”区域,查看引擎的实例数配额及配额使用情况。
查看微服务引擎配置条目配额 本章节指导您查看微服务引擎的配置条目配额及配额使用情况。 该章节内容只适用于微服务引擎版本为2.x。 查看微服务引擎配置条目配额 登录ServiceStage控制台,选择“微服务引擎 > 引擎实例”。 在页面上方“微服务引擎”下拉列表,选择待查看的微服务引擎。
将已归档的弹性云服务器主机恢复至可用状态 弹性云服务器主机长时间不使用会进入到归档状态,归档状态即一种暂时回收的状态。恢复主机状态可以将已归档主机恢复到可用状态。 前提条件 已获取基础运维岗位权限或运维管理员权限,权限申请操作请参见申请权限。 恢复主机状态 进入AppStage运维中心。
部署推理服务 本章节介绍如何使用vLLM 0.6.3框架部署并启动推理服务。 前提条件 已准备好Lite k8s Cluster环境,具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone,确保集群可以访问公网。
准备Notebook ModelArts Notebook云上云下,无缝协同,更多关于ModelArts Notebook的详细资料请查看Notebook使用场景介绍。本案例中使用ModelArts的开发环境Notebook部署推理服务进行调试,请按照以下步骤完成Notebook的创建。
主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch NPU推理指导(6.3.912) Ascend-vLLM介绍 支持的模型列表 版本说明和要求 推理服务部署 推理关键特性使用 推理服务精度评测 推理服务性能评测 附录 父主题: LLM大语言模型训练推理
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。
LoRA微调训练 前提条件 已上传训练代码、训练权重文件和数据集到OBS中,具体参考代码上传至OBS。 Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 图1 创建训练作业 训练作业启动命令中输入: cd /h
查看日志和性能 单击作业详情页面,则可查看训练过程中的详细信息。 图1 查看训练作业 在作业详情页的日志页签,查看最后一个节点的日志,其包含“elapsed time per iteration (ms)”数据,可换算为tokens/s/p的性能数据。 吞吐量(tokens/s/p):global