检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“输入”和“输出”中的获取方式全部选择为：环境变量。 “输出”中的预下载至本地目标选择：下载，此时输出路径中的数据则会下载至OBS中。 Step3 配置环境变量 单击“增加环境变量”，在增加的环境变量填写框中，按照表1表格中的配置进行填写。
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
Standard资源池节点故障定位 节点故障定位 对于Standard资源池，ModelArts平台在识别到节点故障后，通过给K8S节点增加污点的方式（taint）将节点隔离避免新作业调度到该节点而受到影响，并且使本次作业不受污点影响。当前可识别的故障类型如下，可通过隔离码及对应检测方法定位故障
此处生成的登录指令有效期为24小时，如果需要长期有效的登录指令，请参见获取长期有效登录指令。获取了长期有效的登录指令后，在有效期内的临时登录指令仍然可以使用。 登录指令末尾的域名为镜像仓库地址，请记录该地址，后面会使用到。 在安装容器引擎的机器中执行上一步复制的登录指令。
rank_id为逻辑卡号，必然从0开始计算，device_id为物理卡号，device_ip则通过上面的hccn_tool获取。 第三个元素(group_id="2")代表增量实例信息，长度即为增量实例个数。其余信息和全量类似。
另外pyspark模型在“customize_service.py”中可以使用“self.spark”获取SparkSession对象。 推理代码中，需要通过绝对路径读取文件。模型所在的本地路径可以通过self.model_path属性获得。
ModelArts最佳实践案例列表 在最佳实践文档中，提供了针对多种场景、多种AI引擎的ModelArts案例，方便您通过如下案例快速了解使用ModelArts完成AI开发的流程和操作。 DeepSeek模型推理场景 表1 样例 场景 说明 DeepSeek模型基于ModelArts
Step6 预测结果：上传一张手写数字图片，发起预测请求获取预测结果。 Step7 清除资源：运行完成后，停止服务并删除OBS中的数据，避免不必要的扣费。 准备工作 已注册华为账号并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。
deleteAkSk 创建专属资源池 cluster createCluster 删除专属资源池 cluster deleteCluster 添加专属资源池节点 cluster addClusterNode 删除专属资源池节点 cluster deleteClusterNode 获取专属资源池创建结果
以Linux x86_64架构的操作系统为例，获取Docker安装包。您可以执行以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
tools：描述可用的外部工具或功能的信息，这些工具可能被模型用来执行某些任务或获取更多信息。
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface.co/meta-llama/Llama-2-7b-chat-hf 2 llama2-13b https://huggingface.co
以Linux x86_64架构的操作系统为例，获取Docker安装包。您可以执行以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。
具体的配额数量请先联系客户经理获取。 图7 ECS资源类型 图8 云硬盘资源类型 配额需大于需要开通的资源，且在购买开通前完成提升，否则会导致资源开通失败。
此处生成的登录指令有效期为24小时，如果需要长期有效的登录指令，请参见获取长期有效登录指令。获取了长期有效的登录指令后，在有效期内的临时登录指令仍然可以使用。 登录指令末尾的域名为镜像仓库地址，请记录该地址，后面会使用到。 在安装容器引擎的机器中执行上一步复制的登录指令。
deleteAkSk 创建专属资源池 cluster createCluster 删除专属资源池 cluster deleteCluster 添加专属资源池节点 cluster addClusterNode 删除专属资源池节点 cluster deleteClusterNode 获取专属资源池创建结果
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
