检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以及选不到Kernel。 图1 报错Server Connection Error截图 图2 选不到Kernel 原因分析 用户误操作引起的。 解决方案 打开Terminal窗口，执行以下命令启动kernelgateway服务。 API_TYPE=kernel_gateway.jupyter_websocket
Module named XXX，表示模型中没有导入对应依赖模块。 处理方法 依赖模块没有导入，需要您在模型推理代码中导入缺失依赖模块。 例如您的模型是Pytorch框架，部署为在线服务时出现告警：ModuleNotFoundError: No module named ‘model_service
not subscriptable”。 原因分析 根据报错日志分析，是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码中的x[0][i]修改为x[i]，重新部署服务进行预测。 父主题： 服务预测
IsADirectoryError(21, 'Is a directory'). update products failed! 原因分析 用户代码中设置的目标路径（local_path）有误。 处理方法 需要将local_path路径设置为文件夹且后缀必须以“/”结尾。 父主题： API/SDK
部署在线服务时，自定义预测脚本python依赖包出现冲突，导致运行出错 导入模型时，需同时将对应的推理代码及配置文件放置在模型文件夹下。使用Python编码过程中，推荐采用相对导入方式（Python import）导入自定义包。 如果ModelArts推理框架代码内部存在同名包，
ssh文件夹，选择“属性”。然后单击“安全”页签。 单击“高级”，在弹出的高级安全设置界面单击“禁用继承”， 在弹出的“阻止继承”窗口单击“从此对象中删除所有继承的权限”。此时所有用户都将被删除。 添加所有者：在同一窗口中，单击“添加”，在弹出的新窗口中，单击“主体”后面的“选择主体”，弹出“选择用
Code下载方式： 下载地址: https://code.visualstudio.com/updates/v1_85 图1 VS Code的下载位置 VS Code版本要求： 建议用户使用VS Code 1.85.2版本进行远程连接。 VS Code安装指导如下： 图2 Windows系统下VS
launch命令启动训练作业。 创建训练作业的关键参数如表2所示。 表2 创建训练作业（自定义镜像+torch.distributed.launch命令） 参数名称 说明 创建方式 选择“自定义算法”。 启动方式 选择“自定义”。 镜像 选择用于训练的PyTorch镜像。 代码目录 选择
用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 execution_id 是 String 工作流执行ID。 step_execution_id 是 String 工作流的一次执行中一个节点的执行ID。 请求参数 无 响应参数 状态码： 200 表2 响应Body参数
订阅ID，唯一性标识。创建订阅时，后台自动生成。 topic_urns Array of strings 订阅的主题。 entity String 订阅的主体。 events Array of strings 订阅的事件。 请求示例 查询订阅信息 GET https://{endpoint}/v2/{p
来源训练作业的版本，模型是从训练作业产生的可填写，用于溯源；如模型是从第三方元模型导入，则为空，默认值为空。 source_type 否 String 模型来源的类型，当前仅可取值auto，用于区分通过自动学习部署过来的模型（不提供模型下载功能）；用户通过训练作业部署的模型不设置此值。默认值为空。
只支持布尔（bool）数据类型，或者为None。 query的shape仅支持 [B, N1, S1, D]，其中N1≤ 2048，D≤ 512并且dim== 4。 对于GQA，key的shape是 [B, N2, S2, D]，其中 N2 ≤ 2048，并且N1是N2的正整数倍。 不满足以上场景，则不能实现NPU_Flash_Attn功能。
只支持布尔（bool）数据类型，或者为None。 query的shape仅支持 [B, N1, S1, D]，其中N1≤ 2048，D≤ 512并且dim== 4。 对于GQA，key的shape是 [B, N2, S2, D]，其中 N2 ≤ 2048，并且N1是N2的正整数倍。 不满足以上场景，则不能实现NPU_Flash_Attn功能。
TmsTagForDelete objects 要删除的标签列表。 表3 TmsTagForDelete 参数 是否必选 参数类型 描述 key 是 String TMS标签的key。 value 否 String TMS标签的value，非必填。 响应参数 状态码： 400 表4
只支持布尔（bool）数据类型，或者为None。 query的shape仅支持 [B, N1, S1, D]，其中N1≤ 2048，D≤ 512并且dim== 4。 对于GQA，key的shape是 [B, N2, S2, D]，其中 N2 ≤ 2048，并且N1是N2的正整数倍。 不满足以上场景，则不能实现NPU_Flash_Attn功能。
客户使用工具自带精度基线Yaml则需使用accuracy_cfgs.yaml文件中默认配置，权重使用表1 模型权重中指定的Huggingface地址，数据指定data.tgz里面提供的gsm8k数据。 查看精度结果 任务完成之后会在test-benchmark目录下生成excel表格： 精度结果
String 用户项目ID。获取方法请参见获取项目ID和名称。 workflow_id 是 String 工作流的ID。 subscription_id 是 String 工作流的消息订阅ID。 请求参数 无 响应参数 无 请求示例 删除消息订阅 DELETE https://{end
订阅ID，唯一性标识。创建订阅时，后台自动生成。 topic_urns 是 Array of strings 订阅的主题。 entity 否 String 订阅的主体。 events 否 Array of strings 订阅的事件。 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 created_at
NVML 问题现象 华为云裸金属服务器，NVIDIA驱动卸载后重新安装。 （1）已卸载原有版本NVIDIA驱动和CUDA版本，且已安装新版本的NVIDIA驱动和CUDA版本 （2）执行nvidia-smi失败，提示Failed to initialize NVML: Driver/library
String 操作路径，符合标准的Json PATCH格式，代表以服务详情的Json返回体为基准，想要执行替换的值的目标路径（Json PATH）。当前支持且仅支持对模型相关所有参数的替换更新，因此前缀固定为“/config/”。例如，当期望更新第一个模型中的实例数量，则路径为“/co
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
