检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练的数据集预处理说明 以 llama2-13b 举例，运行：0_pl_pretrain_13b.sh 训练脚本后，脚本检查是否已经完成数据集预处理的过程。 若已完成数据集预处理，则直接执行预训练任务。若未进行数据集预处理，则会自动执行 scripts/llama2/1_preprocess_data.sh
使用kv-cache-int8量化 kv-cache-int8是实验特性，在部分场景下性能可能会劣于非量化。当前支持per-tensor静态量化，支持kv-cache-int8量化和FP16、BF16、AWQ、smoothquant的组合。 kv-cache-int8量化支持的模型请参见支持的模型列表和权重文件
显存溢出错误 在训练过程中，常见显存溢出报错，示例如下： RuntimeError: NPU out of memory. Tried to allocate 1.04 GiB (NPU 4; 60.97 GiB total capacity; 56.45 GiB already
如何获取本机外网IP？ 本机的外网IP地址可以在主流搜索引擎中搜索“IP地址查询”获取。 图1 查询外网IP地址 父主题： 环境配置相关
labels 否 Map<String,String> k8s标签，格式为key/value键值对。 tags 否 Array of UserTag objects 资源标签，非特权池不能指定。
Successfully tagged tensorflow:2.10.0-ofed-cuda11.2 Step6 上传镜像至SWR服务 登录容器镜像服务控制台，选择区域，要和ModelArts区域保持一致，否则无法选择到镜像。 单击右上角“创建组织”，输入组织名称完成组织创建。
Successfully tagged pytorch:1.8.1-cuda11.1 Step5 上传镜像至SWR服务 登录容器镜像服务控制台，选择区域，要和ModelArts区域保持一致，否则无法选择到镜像。 单击右上角“创建组织”，输入组织名称完成组织创建。
表7 SourceInfo 参数 参数类型 描述 cluster_id String MRS集群ID。可登录MRS控制台查看。 cluster_mode String MRS集群运行模式。
实例pod数量异常 。 如果您曾经找过运维人员删除过异常的实例pod，事件中可能会出现告警“服务异常，不正常的实例数为XXX”。在出现这种告警后，服务会自动拉起新的正常实例，从而恢复到正常运行状态。请您耐心等待。 父主题： 服务部署
Successfully tagged pytorch:1.8.1-cuda11.1 Step5 上传镜像至SWR服务 登录容器镜像服务控制台，选择区域，要和ModelArts区域保持一致，否则无法选择到镜像。 单击右上角“创建组织”，输入组织名称完成组织创建。
登录成功会显示“Login Succeeded”。 拉取基础镜像或第三方镜像（此处以基础镜像举例，第三方镜像直接替换镜像地址）。 拉取ModelArts提供的公共镜像（请参考预置镜像）。
pip install torch==1.11.0 onnx transformers==4.27.4 accelerate onnxruntime diffusers==0.11.1 下载git lfs，用于下载git仓中的大文件。
表15 SampleStats 参数 参数类型 描述 accepted_sample_count Integer owner验收通过样本数目。 auto_annotation_sample_count Integer 智能标注待确认样本数目。
您也可以通过AK（Access Key ID）/SK（Secret Access Key)加密调用请求，具体可参见用户AK-SK认证模式。 图3 参数填写 在Body页签，根据模型的输入参数不同，可分为2种类型：文件输入、文本输入。 文件输入 选择“form-data”。
查看Standard专属资源池详情 资源池详情页介绍 登录ModelArts管理控制台，在左侧导航栏中选择“AI专属资源池 > 弹性集群Cluster”，进入“Standard资源池”列表。
$RET_CODE -ne 0 ]; then echo "[run_mpi] exec command failed, exited with $RET_CODE" else echo "[run_mpi] exec command successfully
$RET_CODE -ne 0 ]; then echo "[run_mpi] exec command failed, exited with $RET_CODE" else echo "[run_mpi] exec command successfully
如下图所示，文件包含了租户名（User Name），AK（Access Key Id），SK（Secret Access Key）。 图1 credential.csv文件内容 AK/SK生成步骤： 注册并登录管理控制台。 单击右上角的用户名，在下拉列表中单击“我的凭证”。
config 不同infer_type的config结构数组 不同infer_type的config结构数组 服务配置（如果是共享过来的服务，只返回model_id ，model_name，model_version） access_address String 推理请求的访问地址
64 34 mistral-7b 1 32 1 128 35 mixtral-8x7b 4 8 2 32 36 gemma-2b 1 64 1 128 37 gemma-7b 1 8 1 32 38 falcon-11b 1 8 1 64 父主题： 主流开源大模型基于Lite Cluster
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
