检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
# 微调数据文件 在ECS服务器中安装obsutil工具,具体命令可参考obsutil工具快速使用,将OBS桶中的数据下载至SFS Turbo中。注意:需要使用用户账号中的AK和SK进行签名验证,确保通过授权的账号才能访问指定的OBS资源。 父主题: 准备工作
NPU的Finetune训练指导 Qwen-VL基于Server适配Pytorch NPU的推理指导 数字人模型 Wav2Lip基于Server适配PyTorch NPU推理指导 Wav2Lip基于Server适配PyTorch NPU训练指导 父主题: Lite Server资源使用
管理Notebook实例 查找Notebook实例 更新Notebook实例 启动/停止/删除实例 保存Notebook实例 动态扩充云硬盘EVS容量 动态挂载OBS并行文件系统 查看Notebook实例事件 Notebook Cache盘告警上报 父主题: 使用Notebook进行AI开发调试
Standard推理部署在线服务 单个账号最多可创建20个在线服务。 是 提交工单申请提升配额 更多信息,请参见部署在线服务。 Standard推理部署批量服务 单个账号最多可创建1000个批量服务。 否 更多信息,请参见部署批量服务。 Standard推理部署边缘服务 单个账号最多可创建1000个边缘服务。
与SFS Turbo的连接状态信息。可选值如下: Active:SFS连通状态正常 Abnormal:SFS连通状态异常 ipAddr String SFS Turbo的访问地址。 状态码: 400 表20 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。
通过VS Code远程使用Notebook实例 VS Code连接Notebook方式介绍 安装VS Code软件 VS Code一键连接Notebook VS Code ToolKit连接Notebook VS Code手动连接Notebook 在VS Code中上传下载文件 父主题:
auto-completion自动补全命令 命令行自动补全是指用户可以在Terminal中输入命令前缀通过Tab键自动提示支持的ma-cli命令。ma-cli自动补全功能需要手动在Terminal中激活。执行ma-cli auto-completion命令,用户根据提示的补全命令,复制并在当前Term
在线服务预测报错MR.0105 问题现象 部署为在线服务,服务处于运行中状态,预测时报错:{ "erno": "MR.0105", "msg": "Recognition failed","words_result": {}}。 图1 预测报错 原因分析 请在“在线服务”详情页面
承载REST服务端点的服务器域名或IP,不同服务在不同区域时,对应Endpoint不同,可以从终端节点中获取。 例如IAM服务在“华北-北京一”区域的Endpoint为“iam.cn-north-1.myhuaweicloud.com”。 resource-path 资源路径,即API访问路径。从具体
图9 选择正确的密钥文件 当左下角显示如下状态时,代表实例连接成功: 图10 实例连接成功 当弹出如下错误时,代表实例连接失败,请关闭弹窗,并查看OUTPUT窗口的输出日志,请查看FAQ并排查失败原因。 图11 实例连接失败 远程调试代码 在VS Code界面,上传本地代码到云端开发环境。
在GPU的机器上使用开源GPTQ量化工具GPTQ (huggingface.co)量化模型权重。 具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置G
查询Notebook支持的有效规格列表 功能介绍 查询运行Notebook实例所支持的有效规格列表。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
pseek-v2-236B-W8A8。另外,当前MoE模型的PTA图模式启动不支持multi step。 PTA图模式参数配置 如果要开启PTA图模式,请配置以下5个环境变量,并且启动服务时不要添加enforce-eager参数。 export INFER_MODE=PTA #
header和request body? 问题现象 部署在线服务完成且在线服务处于“运行中”状态时,通过ModelArts console的调用指南tab页签可以获取到推理请求的地址,但是不知道如何填写推理请求的header及body。 原因分析 在线服务部署完成且服务处于运行中状态后,可以通过
(huggingface.co)量化模型权重,然后在NPU的机器上实现推理量化。 具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置G
(huggingface.co)量化模型权重,然后在NPU的机器上实现推理量化。 具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置G
(huggingface.co)量化模型权重,然后在NPU的机器上实现推理量化。 具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置G
(huggingface.co)量化模型权重,然后在NPU的机器上实现推理量化。 具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置G
(huggingface.co)量化模型权重,然后在NPU的机器上实现推理量化。 具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置G
(huggingface.co)量化模型权重,然后在NPU的机器上实现推理量化。 具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置G