检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Lite Server资源管理 查看Lite Server服务器详情 启动或停止Lite Server服务器 同步Lite Server服务器状态 切换Lite Server服务器操作系统 监控Lite Server资源 NPU日志收集上传 释放Lite Server资源
/usr/local/Ascend /usr/local/Ascend # 设置容器镜像预置环境变量 # 请务必设置 CANN 相关环境变量 # 请务必设置 Ascend Driver 相关环境变量 # 请务必设置 PYTHONUNBUFFERED=1, 以免日志丢失 ENV PATH
ModelArts服务具备资源池和隔离能力，避免单租户资源被攻击导致爆炸半径过大风险。 ModelArts服务定义并维护了性能规格用于自身的抗攻击性。例如：设置API访问限制，防止恶意接口调用等场景。 ModelArts服务在攻击场景下，具备告警能力及自我保护能力。 ModelArts服务提供了业
留。 - 重部署：通过更换为新服务器实现修复，修复耗时较短，本地盘数据会丢失。 修复期间实例将无法工作，请确保相关实例业务已离线。如果云服务器上的业务不可停止，请勿修复，并联系技术支持进行处理。 若选择了重部署修复方式，实例会立即关机并迁移到新服务器，本地盘数据会被清空，请提前做好业务迁移和数据备份。
在Notebook中的运行文件超过指定大小就会提示此报错。 jupyter页面打开时间太长。 网络环境原因，是否有连接网络代理。 解决方法 关掉插件然后重新保存。 减少文件大小。 重新打开jupyter页面。 请检查网络。 父主题： 代码运行常见错误
选择数据集额外支持的运行平台。 设置运行平台后，当资产上架后，该资产支持通过订阅的方式同步到所选运行平台使用。 设置运行平台后，单击“设置”，在弹窗中可以自定义设置运行平台的资产标签，且标签可以被一起同步至运行平台。 数据集描述 - 资产的README内容，支持添加资产的简介、使用场景、使用方法等信息。
服务预测报错：Method Not Allowed 原因分析 服务预测默认注册的API需要使用POST方法调用。如您使用了GET方法，APIG（API网关）将会拦截请求。 处理方法 使用POST方法调用。 父主题： 服务预测
单击“选择模型”，选择“模型广场”或“我的模型”下面的模型。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建，不与其他租户共享。 实例规格 选择实例规格，规格中描述了服务器类型、型号等信息。 流量限制（QPS） 设置待部署模型的流量限制QPS。 单位：次/秒
在Notebook中的运行文件超过指定大小就会提示此报错。 jupyter页面打开时间太长。 网络环境原因，是否有连接网络代理。 解决方法 关掉插件然后重新保存。 减少文件大小。 重新打开jupyter页面。 请检查网络。 父主题： 环境配置故障
用户自定义镜像或者通过基础镜像导入的模型时，用户自己编写了很多自定义的业务逻辑，这些逻辑有问题将会导致服务部署或者预测失败，需要能够排查出哪里有问题。 处理方法 服务部署失败后，进入服务详情界面，查看服务部署日志，明确服务部署失败原因（用户代码输出需要使用标准输入输出函数，否则输出的内容不会呈现到
/v2/{project_id}/pools 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-ModelArts-User-ID 否
基本配置 权限配置 创建网络 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutil安装和配置 （可选）工作空间配置 父主题： 专属资源池训练
如想降低排队时间，根据您所选资源池的类型，有以下建议： 公共资源池： 公共资源池资源较少，高峰期如举办相关活动时会存在资源不足情况。有以下方法可以尝试： 如果使用的是免费规格，可以换成收费规格，免费规格资源较少，排队概率高。 规格选择卡数尽量少，如可以选择1卡，相比于选择8卡排队几率大大降低。
协议： 使用WebSocket协议的方式访问在线服务：WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就可以建立持久性的连接，并进行双向数据传输。 使用Server-Sent
#启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 确保Notebook内通网，已通网可以跳过这一步，未通网需要配置$config_proxy_str，$config_pip_str设置对应的代理和pip源，来确保当前代理和pip源可用。
py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 确保容器内通网，未通网需要配置$config_proxy_str，$config_pip_str设置对应的代理和pip源，来确保当前代理和pip源可用。
biu.com/blog/linux-ssh-session-alive.html），后台的实例运行是一直稳定的，重连即可再次连上。 解决方法 如果想保持长时间连接不断开，可以通过配置SSH定期发送通信消息，避免防火墙认为链路空闲而关闭。 客户端配置（用户可根据需要自行配置，不配
Arts监控服务。 设置告警规则有多种方式。您可以根据实际应用场景，选择设置告警规则的方式。 对ModelArts服务设置告警规则 对单个服务设置告警规则 对模型版本设置告警规则 对服务或模型版本的单个指标设置告警规则 方式一：对整个ModelArts服务设置告警规则 登录管理控制台。
Int 控制要考虑的前几个Tokens的数量的整数。设置为“-1”表示考虑所有Tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个Tokens的累积概率的浮点数。 取值范围：0~1 设置为“1”表示考虑所有Tokens。 temperature
Face权重文件以及训练代码都需要上传至SFS Turbo中。而基于SFS Turbo所执行的训练流程如下： 将SFS Turbo挂载至ECS服务器后，可直接访问SFS Turbo。通过SSH连接ECS将代码包上传至SFS Turbo中。 在表1获取基础镜像，随后通过镜像方案说明中的步骤执行代码包中llm_t
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
