检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题10:使用benchmark-tools访问推理客户端返回报错或警告 使用benchmark-tools访问推理客户端返回报错或警告:actual output_tokens_length < expected output_len 图5 benchmark-tools访问推理客户端返回报错 图6
问题10:使用benchmark-tools访问推理客户端返回报错或警告 使用benchmark-tools访问推理客户端返回报错或警告:actual output_tokens_length < expected output_len 图5 benchmark-tools访问推理客户端返回报错 图6
请确保开启了邮箱通知。 在“AI Gallery”页面中,单击右上角“我的Gallery > 我的资料”进入我的资料页面,查看“开启邮箱通知”开关,默认是打开的。如果未打开请开启。 选择“评论”页签在输入框中输入评论内容,单击“发表评论”,即可成功发布评论。资产发布者可收到评论的通知,资产
问题10:使用benchmark-tools访问推理客户端返回报错或警告 使用benchmark-tools访问推理客户端返回报错或警告:actual output_tokens_length < expected output_len 图5 benchmark-tools访问推理客户端返回报错 图6
"left",如图1所示。 图1 tokenization_chatglm.py 问题9:使用benchmark-tools访问推理服务返回报错 使用benchmark-tools访问推理服务时,输入输出的token和大于max_model_len,服务端返回报错Response payload
"left",如图1所示。 图1 tokenization_chatglm.py 问题9:使用benchmark-tools访问推理服务返回报错 使用benchmark-tools访问推理服务时,输入输出的token和大于max_model_len,服务端返回报错Response payload
承载REST服务端点的服务器域名或IP,不同服务在不同区域时,对应Endpoint不同,可以从终端节点中获取。 例如IAM服务在“华北-北京一”区域的Endpoint为“iam.cn-north-1.myhuaweicloud.com”。 resource-path 资源路径,即API访问路径。从具
clone,请确保环境可以访问公网,详解操作如下: 进入代码包Dockerfile文件同级目录: cd /home/ma-user/ws/llm_train/LLaMAFactory 构建新镜像: docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理
前提条件 创建一个Notebook实例,并开启远程SSH开发,配置远程访问IP白名单。该实例状态必须处于“运行中”,具体参见创建Notebook实例章节。 在Notebook实例详情页面获取开发环境访问地址(例如:dev-modelarts-cnnorth4.huaweicloud
clone,请确保环境可以访问公网,详解操作如下: 进入代码包Dockerfile文件同级目录: cd /home/ma-user/ws/llm_train/AscendFactory 构建新镜像: docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理
clone,请确保环境可以访问公网,详解操作如下: 进入代码包Dockerfile文件同级目录: cd /home/ma-user/ws/llm_train/LLaMAFactory 构建新镜像: docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理
模型变更场景如下: 数据增量,模型算子未变更。 数据增量,模型算子变化,例如: 网络结构变化。 AI框架版本升级,使用了新版本算子。 例如:每半年对模型进行一次变更,变更的内容包含模型结构,并升级AI框架。 - 是否使用华为MDC产品 如果使用华为MDC产品,请填写MDC版本号,如果没有可以不填。
此处生成的登录指令有效期为24小时,如果需要长期有效的登录指令,请参见获取长期有效登录指令。获取了长期有效的登录指令后,在有效期内的临时登录指令仍然可以使用。 登录指令末尾的域名为镜像仓库地址,请记录该地址,后面会使用到。 在安装容器引擎的机器中执行上一步复制的登录指令。 登录成功会显示“Login Succeeded”。
运行到时停止,不会自动执行。 服务配置 消息通知 订阅消息使用消息通知服务,在事件列表中选择需要监控的节点或者Workflow状态,在事件发生时发送消息通知。 说明: 打开开关后,需要先指定SMN主题名,如未创建主题名,需前往消息通知服务创建主题。 支持对Workflow中单个节
代码中ModelLink、MindSpeed已升级到最新版本,Python三方依赖版本已升级,其中: MindSpeed的版本升级到commitID=4ea42a23 ModelLink的版本升级到commitID=8f50777 transformers版本升级到4.45.0 peft版本升级到0.12.0 训练支持的模型列表
代码中ModelLink、MindSpeed已升级到最新版本,Python三方依赖版本已升级,其中: MindSpeed的版本升级到commitID=4ea42a23 ModelLink的版本升级到commitID=8f50777 transformers版本升级到4.45.0 peft版本升级到0.12.0 训练支持的模型列表
设置API 检测项目与执行条件 检测项目 item(日志关键字) 执行条件 检测成功要求 域名检测 dns 无 volcano容器的域名都解析成功(/etc/volcano下的“.host”文件中的域名解析成功) 磁盘空间-容器根目录 disk-size root 无 大于32GB 磁盘空间-/dev/shm目录
Standard专属资源池状态处于“运行中”,且专属池中的节点需要含有GPU/Ascend资源,才能升级专属资源池的驱动。 对于Standard逻辑资源池,需要开启节点绑定后才能进行驱动升级,请提交工单联系华为工程师开启节点绑定。 Standard Notebook Notebook实
clone,请确保环境可以访问公网,详解操作如下: 进入代码包Dockerfile文件同级目录: cd /home/ma-user/ws/llm_train/AscendFactory 构建新镜像: docker build -t <镜像名称>:<版本名称> . 如无法访问公网则需配置代理
影响ModelArts侧基本功能,包括但不限于节点管理、扩缩容、驱动升级等。 高 不可恢复。 插件 升级、卸载gpu-beta插件。 可能导致GPU驱动使用异常。 中 回退版本、重装插件。 升级、卸载huawei-npu插件。 可能导致NPU驱动使用异常。 中 回退版本、重装插件。 升级、卸载volcano插件。 可能导致作业调度异常。