检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
管理Lite Cluster节点池 为帮助您更好地管理Kubernetes集群内的节点，ModelArts支持通过节点池来管理节点。一个节点池包含一个节点或多个节点，能通过节点池批量配置一组节点。 在资源池详情页，单击“节点池管理”页签，您可以创建、更新和删除节点池。 图1 节点池管理
pip install xxx 在Terminal中安装 在Terminal里激活需要的anaconda python环境后再进行安装。 例如，通过terminal在“TensorFlow-1.8”的环境中使用pip安装Shapely。 在总览页面进入CodeLab。 在“Other”
Studio 创建MaaS API Key后需要等待多久才能生效？ API Key是否支持跨区域使用？ 领取MaaS免费常驻服务Token后多久生效？ 配置模型服务接口地址时需要注意什么格式问题？ 如何正确获取模型名称？ 调优数据集异常日志说明 使用ChatGLM3-6B或GLM-4-9B模型微调后，权重校验失败
msprobe精度分析工具使用指导 msprobe是MindStudio Training Tools工具链下精度调试部分的工具包，其通过采集和对比标杆（GPU/CPU）环境和昇腾环境上运行训练时的差异点来判断问题所在，主要包括精度预检、精度比对和梯度监控等功能。更多内容请参考msprobe工具介绍。
保存Notebook实例 通过预置的镜像创建Notebook实例，在基础镜像上安装对应的自定义软件和依赖，在管理页面上进行操作，进而完成将运行的实例环境以容器镜像的方式保存下来。镜像保存后，默认工作目录是根目录“/”路径。 保存的镜像中，安装的依赖包不丢失，持久化存储的部分（ho
使用PyTorch预置框架功能，通过mp.spawn命令启动 使用自定义镜像功能 通过torch.distributed.launch命令启动 通过torch.distributed.run命令启动 创建训练作业 方式一：使用PyTorch预置框架功能，通过mp.spawn命令启动训练作业。
公共池中挂载密钥，支持HCS第三方用户使用secret_volumes字段来进行密钥挂载，且不提供UI界面，只能通过内部接口进行调用。 支持在modelarts边缘服务通过service_secrets来挂载密钥管理当中的密钥。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API
状态描述，默认为空。该字段会补充显示状态的详细信息。如删除失败时，可通过该字段查看删除失败的原因。 grants Array of grants objects 授权用户列表。默认为空。需要与“auth_type”参数配合使用，且仅当授权类型为“INTERNAL”时才会生效。 表6 grants 参数 参数类型
nvidia-modprobe是一个Linux工具，用于在系统中加载NVIDIA驱动程序及其相关的内核模块。在Linux系统上安装NVIDIA显卡驱动后，需要通过“nvidia-modprobe”命令来加载相应的内核模块，以便让显卡驱动正常工作。 通常情况下，在安装NVIDIA驱动时，会自动执行“n
edge表示边缘服务，通过华为云智能边缘平台，在边缘节点将模型部署为一个Web Service，需提前在IEF（智能边缘服务）创建好节点。 是 str service_name 服务名称，支持1-64位可见字符（含中文），名称可以包含字母、中文、数字、中划线、下划线。 说明： 该字段不填时默认为自动生成的服务名称。
打通VPC前，需要保证ModelArts网络和您的VPC网络都已开启IPv6，IPv6才会生效。若是打通VPC后，才开启ModelArts网络的IPv6或VPC网络的IPv6，此时需要重新打通VPC及子网，IPv6才会生效。 图2 创建网络 图3 启动IPv6 单用户最多可创建15个网络。 网段
描述 model 是 无 Str 通过OpenAI服务API接口启动服务时，推理请求必须填写此参数。取值必须和启动推理服务时的model ${container_model_path}参数保持一致。 通过vLLM服务API接口启动服务时，推理请求不涉及此参数。 prompt 是 -
sh制作请参见•创建推理脚本文件run_vllm.sh。 SSL证书制作包含cert.pem和key.pem，需自行生成。生成方式请参见•通过openssl创建SSLpem证书。 图1 准备模型文件和权重文件 创建推理脚本文件run_vllm.sh run_vllm.sh脚本内容如下。
!<>=&"'。不设置此参数表示不更新。 config 否 Array of ServiceConfig objects 服务配置，不设置此参数表示不更新。 status 否 String 服务状态，可设置状态为running或stopped来启动、停止服务，不设置此参数则不修改
的：首先，数据问题可能导致不收敛，比如数据预处理不完善；其次，模型的训练超参数也同样会导致类似的情况；再者，模型本身的算法设计过程也可能会引入不收敛情况；最后，则是由计算过程导致的模型收敛问题。 模型精度（以模型评测结果衡量的各种指标，广义的Model Accuracy），是多种
的推理卡资源上同时进行推理，用于提高资源利用效率。 PD分离结合Prefill阶段的计算密集型特性，以及Decode阶段的访存密集型特性，通过调节PD节点数量配比来提升Decode节点的batch size来充分发挥NPU卡的算力，进而提升集群整体吞吐。 此外，在Decode平均
权限管理抽象可以做如下解读： 用户访问任何云服务，均是通过标准的IAM权限体系进行访问控制。用户首先需要具备相关云服务的权限（根据您具体使用的功能不同，所需的相关服务权限亦有差异）。 权限：用户使用ModelArts的任何功能，亦需要通过IAM权限体系进行正确权限授权。 委托：Mode
调用接口有如下两种认证方式，您可以选择其中一种进行认证鉴权。推荐使用AK/SK认证，其安全性比Token认证要高。 Token认证：通过Token认证通用请求。 AK/SK认证：通过AK（Access Key ID）/SK（Secret Access Key）加密调用请求。 Token认证 Tok
权限管理抽象可以做如下解读： 用户访问任何云服务，均是通过标准的IAM权限体系进行访问控制。用户首先需要具备相关云服务的权限（根据您具体使用的功能不同，所需的相关服务权限多寡亦有差异）。 权限：用户使用ModelArts的任何功能，亦需要通过IAM权限体系进行正确权限授权。 委托：Mod
Standard提供了多种监控查看方式。 方式一：通过ModelArts Standard控制台查看 您在可通过ModelArts控制台的总览页或各模块资源监控页签查看监控指标。具体涉及以下几个方面： 通过ModelArts控制台的总览页查看，具体请参见通过ModelArts控制台查看监控指标。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
