检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_W
必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_W
必须修改。加载Hugging Face权重（可与tokenizer相同文件夹）时，对应的存放地址。请根据实际规划修改。 TOKENIZER_PATH /home/ma-user/ws/tokenizers/llama2-13B 该参数为tokenizer文件的存放地址。默认与ORIGINAL_HF_W
图4 进入Prometheus配置页面 参考下图进行配置。 图5 配置Grafana数据源 Grafana安装方式不同，Grafana版本也可能不同，图5仅为示例，请以实际配置界面为准。 表1 参数配置说明 参数名称 配置说明 Name 自定义名称。 URL 设置为从c.从“
如果使用开源权重，建议不指定dtype，使用开源权重默认的dtype。 --tensor-parallel-size：模型并行数。模型并行与流水线并行的乘积取值需要和启动的NPU卡数保持一致，可以参考表1。此处举例为1，表示使用单卡启动服务。 --block-size：kv-ca
行训练。 训练作业的预置框架介绍 ModelArts中预置的训练基础镜像如下表所示。 表1 ModelArts训练基础镜像列表 引擎类型 版本名称 PyTorch pytorch_1.8.0-cuda_10.2-py_3.7-ubuntu_18.04-x86_64 TensorFlow
图3 JupyterLab主页 不同AI引擎的Notebook，打开后Launcher页面呈现的Notebook和Console内核及版本均不同，图3仅作为示例，请以实际控制台为准。 准备训练数据和代码文件，上传到JupyterLab中。具体参见上传本地文件至JupyterLab。
报错“Bad owner or permissions on C:\Users\Administrator/.ssh/config”如何解决？ 问题现象 VS Code连接开发环境时报错“Bad owner or permissions on C:\Users\Administrator/
搜索，看是否需要升级。检查Remote-ssh三方插件是否兼容。 4. 检查本地Vscode是否为最新版，最新版可能有bug，建议使用推荐版本v1.82。 如果以上步骤排查均无问题仍未解决，请联系技术支持定位。 父主题： VS Code连接开发环境失败故障处理
排查是否符合业务资源使用预期，如果业务无问题，无需处理。 NPU整体利用率 ma_container_npu_general_util 昇腾系列AI处理器NPU整体利用率（驱动版本24.1.RC2及其以后支持）。 百分比（Percent） 0～100% NA NA NA AI处理器AI CORE时钟频率 ma_con
本不会对源文本有影响)。可选值如下： false：不删除源文件（默认值） true：删除源文件(注意：此操作可能影响已使用这些文件的数据集版本或其他数据集，导致页面展示异常或者训练/推理异常) samples 否 Array of strings 样本ID列表。 响应参数 状态码：
包含了本教程中使用到的模型训练代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.912 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明
作业使用Spark组件的版本号。 -st / `--sc-type String 否 如果当前Spark组件版本为2.3.2，则不填写该参数。 如果当前Spark组件版本为2.3.3，则在“feature”为“basic”或“ai”时填写。如果不填写，则使用默认的Spark组件版本号2.3.2。
Chunked Prefill 什么是Chunked Prefill Chunked Prefill（Splitfuse）特性的目的是将长prompt request分解成更小的块，并在多个forward step中进行调度，只有最后一块的forward完成后才开始这个prompt
model_id String 模型ID。 model_name String 模型名称。 model_version String 模型版本。 invocation_times Number 模型实例的总调用次数。 failed_times Number 模型实例调用失败次数。
object has no attribute 'get'; A：说明输入的的权重中缺少metadata字段，需安装更新transformers版本（>=4.48.2） 父主题： 准备权重
包含了本教程中使用到的模型训练代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E，在此路径中查找下载ModelArts 6.3.912 版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 模型软件包结构说明
用户项目ID。获取方法请参见获取项目ID和名称。 job_id 是 Long 训练作业的ID。 version_id 是 Long 训练作业的版本ID。 表2 Query参数 参数 是否必选 参数类型 说明 base_line 否 String 日志的基准位置，根据接口返回获得，为空的时候代表获取最新的日志。
资源池名称。 请求参数 无 响应参数 状态码：200 表2 响应Body参数 参数 参数类型 描述 apiVersion String API版本。可选值如下： v2 kind String 资源类型。可选值如下： NodePoolList：节点列表 items Array of NodePool
} data['server_list'].append(new_server) # 更新指定服务器的信息 data['server_list'][server_index]['server_id'] = server_id
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
