检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
host：与起服务的host保持一致，比如起服务为0.0.0.0，host设置也为0.0.0.0。 service_port：服务端口，与启动服务时的端口保持，比如8080。 max_out_len：在运行类似mmlu、ceval等判别式回答时，max_out_len建议设置
密钥对”页面创建和查看。 表4 VolumeReq 参数 是否必选 参数类型 描述 capacity 否 Integer 存储容量，EVS默认5G，最大限制4096G。 category 是 String 支持的存储类型。不同存储类型的差异，详见开发环境中如何选择存储。枚举值如下：
在模型详情页面，查看“事件”页签中的事件信息。根据事件信息分析模型失败原因，进行处理。 如果模型状态为“构建失败”，可以在模型详情页面，查看“事件”页签中的“查看构建日志”。构建日志中有对应的构建镜像失败的详细原因，根据构建失败的原因进行排查处理。 图1 查看构建日志 常见问题
可停止计费。 操作步骤： 在ModelArts管理控制台，单击左侧菜单栏的“总览”，您可以在“总览”区域查看正在收费的作业。再根据实际情况进入管理页面，停止收费。 图1 查看收费作业 进入“ModelArts>Workflow”页面，检查是否有“运行中”的Workflow列表。如果有，单击Workflow列表中“操作
unset USE_MM_ALL_REDUCE_OP #关闭Matmul_all_reduce融合算子 配置后重启服务生效。 查看详细日志。 查看详细耗时日志可以辅助定位性能瓶颈，但会影响推理性能。如需开启，配置以下环境变量： export DETAIL_TIME_LOG=1
如何在ModelArts的Notebook中配置Conda源？ 用户可以在Notebook开发环境中自行安装开发依赖包，方便使用。常见的依赖安装支持pip和Conda，pip源已经配置好，可以直接使用安装，Conda源需要多一步配置。 本章节介绍如何在Notebook开发环境中配置Conda源。
1 可以通过命令npu-smi info查询NPU卡为容器中的第几张卡。例如下图查询出两张卡，如果希望使用第一和第二张卡，则“export ASCEND_RT_VISIBLE_DEVICES=0,1”，注意编号不是填4、5。 图1 查询结果 启动推理服务的具体操作步骤请参见启动推理服务。
如何在ModelArts训练作业中加载部分训练好的参数？ 在训练作业时，需要从预训练的模型中加载部分参数，初始化当前模型。请您通过如下方式加载： 通过如下代码，您可以查看所有的参数。 from moxing.tensorflow.utils.hyper_param_flags import
如何登录并上传镜像到SWR？ 本章节介绍如何上传镜像到容器镜像服务SWR。 Step1 登录SWR 登录容器镜像服务控制台，选择区域。 单击右上角“创建组织”，输入组织名称完成组织创建。您可以自定义组织名称，本示例使用“deep-learning”，实际操作时请重新命名一个组织名
2）不同模型推理支持的max-model-len长度说明。 --hostname：服务部署的IP，使用本机IP 0.0.0.0。 --port：服务部署的端口。 服务启动后，会打印如下信息。 server launch time cost: 15.443044185638428 s INFO:
git插件密码失效如何解决？ 问题现象 在JupyterLab中使用git插件时，当git clone私有仓库和git push文件时会出现如下报错： 原因分析 原因为Github已取消密码授权方式，此时在git clone私有仓库和git push文件时需要在授权方式框中输入token。
ModelArts的Notebook有代理吗？如何关闭？ Notebook有代理。 执行env|grep proxy命令查询Notebook代理。 执行unset https_proxy unset http_proxy命令关闭代理。 父主题： Standard Notebook
在ModelArts中如何将标注结果下载至本地？ ModelArts数据集中的标注信息和数据在发布后，将以manifest格式存储在“数据集输出位置”对应的OBS路径下。 路径获取方式： 在ModelArts管理控制台，进入“数据管理>数据集”。 选择需查看数据集，单击名称左侧小
I引擎”。 “容器调用接口” 当“AI引擎”选择“Custom”时，才会显示该参数。 模型提供的推理接口所使用的协议和端口号，缺省值是HTTPS和8080，端口和协议需要根据模型实际定义的推理接口进行配置。 “健康检查” 用于指定模型的健康检查。使用Custom引擎时，会显示该参
在ModelArts的Notebook中如何获取本机外网IP？ 本机的外网IP地址可以在主流搜索引擎中搜索“IP地址查询”获取。 图1 查询外网IP地址 父主题： Standard Notebook
如何保证自定义镜像能不因为超过35G而保存失败？ 可以从如下几方面考虑： 请选择较小的基础镜像创建Notebook实例，这样在实例中可操作的空间才会大，可自由安装的包才能更多，一般建议原始的启动Notebook的基础镜像在SWR侧查看大小不要超过6G。 镜像保存主要保存在/hom
如何将在ModelArts中训练好的模型下载或迁移到其他账号？ 通过训练作业训练好的模型可以下载，然后将下载的模型上传存储至其他账号对应区域的OBS中。 获取模型下载路径 登录ModelArts管理控制台，在左侧导航栏中选择“模型训练 > 训练作业”，进入“训练作业”列表。 在训
--backend：服务类型，支持tgi、vllm、mindspore、openai等。本文档使用的推理接口是vllm。 --host：服务部署的IP。 --port：推理服务端口8080。 --tokenizer：tokenizer路径，HuggingFace的权重路径。 --epochs：测试轮数，默认取值为5
security_group_id 安全组，默认为空，当配置了vpc_id则此参数必填。安全组起着虚拟防火墙的作用，为服务实例提供安全的网络访问控制策略。安全组须包含至少一条入方向规则，对协议为TCP、源地址为0.0.0.0/0、端口为8080的请求放行。 否 str cluster_id 专属资源池ID，
${chat_template_path} \ --dtype ${dtype} \ --host=${docker_ip} \ --port=${port} \ --gpu-memory-utilization=0.9 \ --trust-remote-code 多模态推理服务启动模板参数说明如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
