检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
略大于该规格。 “实例数” 设置当前版本模型的实例个数。如果实例数设置为1,表示后台的计算模式是单机模式;如果实例数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 “环境变量” 设置环境变量,注入环境变量到容器实例。为确保您的数据安全,在环境变量中,请勿输入敏感信息,如明文密码。
container_ip_address:为容器IP,如上图的172.17.0.7 默认不使用图模式 若要使用图模式,需要配置环境变量 export GRAPH_MODE=1。如果使用了图模式,则首次推理时间较长,请耐心等待。 浏览器启动 浏览器启动时,需要使用宿主机IP,在浏览器中输入
的所有必要功能权限,如数据的访问、训练任务的创建和管理等。一般用户选择此项即可。 自定义:如果对用户有更精细化的权限管理需求,可使用自定义模式灵活按需配置ModelArts创建的委托权限。可以根据实际需在权限列表中勾选要配置的权限。 勾选“我已经详细阅读并同意《ModelArts
仍旧有足够的权限。 严格授权模式 严格授权模式是指在IAM中创建的子账号必须由账号管理员显式在IAM中授权,才能访问ModelArts服务,管理员用户可以通过授权策略为普通用户精确添加所需使用的ModelArts功能的权限。 相对的,在非严格授权模式下,子账号不需要显式授权就可以
图片大于5MB resize to small 系统已将图片压缩到5MB以内处理,不需要用户处理。 4 mode illegal 图片非RGB模式 convert to rgb 系统已将图片转成RGB格式处理,不需要用户处理。 5 type illegal 非图片文件,但可以转换成JPG
自动停止,即1小时后停止规格资源计费。 开启自动停止功能后,可选择“1小时”、“2小时”、“4小时”、“6小时”或“自定义”几种模式。选择“自定义”模式时,可指定1~24小时范围内任意整数。 填写Notebook详细参数,如镜像、资源规格等。 镜像:在“自定义镜像”页签选择已上传的自定义镜像。
范围为0~5整数。 is_devserver: 是否DevServer部署方式,True表示DevServer模式。False表示ModelArts Standard模式。 vllm_model:对应Step4 部署并启动推理服务中的模型地址参数model,模型格式是Huggingface的目录格式。
算法的代码目录下载到训练容器内的本地路径。规则如下: 必须为/home下的目录; v1兼容模式下,当前字段不生效; 当code_dir以file://为前缀时,当前字段不生效。 working_dir String 运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。 environments Array
自动停止,即1小时后停止规格资源计费。 开启自动停止功能后,可选择“1小时”、“2小时”、“4小时”、“6小时”或“自定义”几种模式。选择“自定义”模式时,可指定1~24小时范围内任意整数。 填写Notebook详细参数,如镜像、资源规格等。 镜像:在“自定义镜像”页签选择已上传的自定义镜像。
ix-caching特性则不配置该环境变量。 若要开启图模式,请配置以下5个环境变量,并且启动服务时不要添加enforce-eager参数。 export INFER_MODE=PTA # 开启PTA模式,若不使用图模式,请关闭该环境变量 export PTA_TORCHAIR
增强的数据处理任务时,不收费。 但是存储到OBS中的数据会收取费用。具体内容如表1所示。 表1 存储计费项 计费项 计费项说明 适用的计费模式 计费公式 存储资源 对象存储OBS 用于存储训练和推理的输入数据和输出结果数据。具体费用可参见对象存储价格详情。 注意: 存储到OBS中
2、若量化Deepseek-v2-236b模型,大致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前,请开启图模式(参考步骤六 启动推理服务中的配置环境变量),启动服务的命令和启动非量化模型一致。 父主题: 推理模型量化
否进行数据校验。默认值为True。 Translate 图片平移,将图片整体向X轴或Y轴平移,超出原图部分舍弃,丢失部分用黑色填充。 translateXY:平移的方向,X为水平,Y为竖直。默认值为X do_validation:数据扩增前是否进行数据校验。默认值为True。 Weather
--mode:脚本的处理模式,可选值为gen或者merge。gen模式表示生成rank_table文件,merge模式表示合并global rank_table文件。 --save-dir:保存生成的rank_table文件的根目录,默认为当前目录。 --api-server:仅在gen模式有效,
2、若量化Deepseek-v2-236b模型,大致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前,请开启图模式(参考步骤六 启动推理服务中的配置环境变量),启动服务的命令和启动非量化模型一致。 父主题: 推理模型量化
2、如果量化Deepseek-v2-236b模型,大致需要10+小时。 使用量化模型 使用量化模型需要在NPU的机器上运行。 启动vLLM前,请开启图模式(参考步骤六 启动推理服务中的配置环境变量),启动服务的命令和启动非量化模型一致。 父主题: 推理模型量化
pd_ranktable_tools.py的入参说明如下。 --mode:脚本的处理模式,可选值为`gen`或者`merge`。`gen`模式表示生成rank_table文件,`merge`模式表示合并global rank_table文件。 --save-dir:保存生成的ra
/save_dir pd_ranktable_tools.py的入参说明如下。 --mode:脚本的处理模式,可选值为gen或者merge。gen模式表示生成rank_table文件,merge模式表示合并global rank_table文件。 --save-dir:保存生成的rank_table文件的根目录,默认为当前目录。
/save_dir pd_ranktable_tools.py的入参说明如下。 --mode:脚本的处理模式,可选值为gen或者merge。gen模式表示生成rank_table文件,merge模式表示合并global rank_table文件。 --save-dir:保存生成的rank_table文件的根目录,默认为当前目录。
算法的代码目录下载到训练容器内的本地路径。规则: 必须为/home下的目录。 v1兼容模式下,当前字段不生效。 当code_dir以file://为前缀时,当前字段不生效。 working_dir 否 String 运行算法时所在的工作目录。规则:v1兼容模式下,当前字段不生效。 environments 否 Map<String