检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
age_url}参见表2。 docker pull {image_url} Step3 启动容器镜像 启动容器镜像。启动前请先按照参数说明修改${}中的参数。 export work_dir="自定义挂载的工作目录" export container_work_dir="自定义挂载到容器内的工作目录"
服务 在llm_inference/ascend_vllm/目录下通OpenAI服务API接口启动服务,具体操作命令如下,可以根据参数说明修改配置。 (1)非多模态 python -m vllm.entrypoints.openai.api_server --model ${container_model_path}
sample_name String 根据样本名称搜索(含后缀名)。 sample_time String 样本加入到数据集时,会根据样本在OBS上的最后修改时间(精确到天)建立索引,此处可以根据此时间进行搜索。可选值如下: month:搜索往前30天至今天内添加的样本 day:搜索昨天(往前1天)至今天内添加的样本
11 12 13 model_location = "/your_obs_bucket/model_path" # 修改为真实的模型文件OBS路径 execution_code = "/your_obs_bucket/model_path/customize_service
66 MiniCPM-v2 √ x x x x https://huggingface.co/HwwwH/MiniCPM-V-2 注意:需要修改源文件site-packages/timm/layers/pos_embed.py,在第46行上面新增一行代码,如下: posemb = posemb
版本发布的manifest文件保存路径。 message String 发布时记录的任务信息(如:错误信息等)。 modified_sample_count Integer 已修改的样本数量。 previous_annotated_sample_count Integer 父版本的已标注样本数量。 previous_total_sample_count
'images=@/home/ma-user/work/test.png' -X POST http://127.0.0.1:8080/ 图9 预测 在调试过程中,如果有修改模型文件或者推理脚本文件,需要重启run.sh脚本。执行如下命令先停止nginx服务,再运行run.sh脚本。 #查询nginx进程 ps
66 MiniCPM-v2 √ x x x x https://huggingface.co/HwwwH/MiniCPM-V-2 注意:需要修改源文件site-packages/timm/layers/pos_embed.py,在第46行上面新增一行代码,如下: posemb = posemb
运行时长,单位为秒,取值范围为3600-86400,该参数配置之后,每次启动均有效。如果enable为true时,该参数是必须的。如果当前实例的状态为运行中,修改此参数,只有在下次启动才会生效。 prompt 否 Boolean 是否需要再次提醒,该参数提供给前台console,用于让console
训练代码 以下代码中以“### 分布式改造,... ###”注释的代码即为多节点分布式训练需要适配的代码改造点。 不对示例代码进行任何修改,适配数据路径后即可在ModelArts上完成多节点分布式训练。 注释掉分布式代码改造点,即可完成单节点单卡训练。完整代码见分布式训练完整代码示例。
SMN消息订阅ID。 exeml_template_id 否 String 自动学习模板ID。 last_modified_at 否 String 最近一次修改的时间。 package 否 WorkflowServicePackege object 计费工作流订阅包信息。 表3 WorkflowStep
版本发布的manifest文件保存路径。 message String 发布时记录的任务信息(如:错误信息等)。 modified_sample_count Integer 已修改的样本数量。 previous_annotated_sample_count Integer 父版本的已标注样本数量。 previous_total_sample_count
SMN消息订阅ID。 exeml_template_id String 自动学习模板ID。 last_modified_at String 最近一次修改的时间。 package WorkflowServicePackege object 计费工作流订阅包信息。 表5 WorkflowStep
rts,管理员需要在IAM上为子账号配置Deny策略来禁止子账号使用ModelArts的某些功能。 账号的管理员用户可以在“权限管理”页面修改授权模式。 如无特殊情况,建议优先使用严格授权模式。在严格授权模式下,子账号要使用ModelArts的功能都需经过授权,可以更精确的控制子
rts,管理员需要在IAM上为子用户配置Deny策略来禁止子用户使用ModelArts的某些功能。 账号的管理员用户可以在“全局配置”页面修改授权模式。 如无特殊情况,建议优先使用严格授权模式。在严格授权模式下,子用户要使用ModelArts的功能都需经过授权,可以更精确的控制子
66 MiniCPM-v2 √ x x x x https://huggingface.co/HwwwH/MiniCPM-V-2 注意:需要修改源文件site-packages/timm/layers/pos_embed.py,在第46行上面新增一行代码,如下: posemb = posemb
docker build -t OpenSora1.2:1.0 . Step4 启动镜像 启动容器镜像,推理只需要启动单卡,启动前可以根据实际需要增加修改参数。 docker run -itd --name ${container_name} -v /sys/fs/cgroup:/sys/fs/cgroup:ro
SMN消息订阅ID。 exeml_template_id String 自动学习模板ID。 last_modified_at String 最近一次修改的时间。 package WorkflowServicePackege object 计费工作流订阅包信息。 表4 WorkflowStep
镜像管理 ModelArts modelarts:image:register modelarts:image:listGroup 在镜像管理中注册和查看镜像。 保存镜像 SWR SWR Admin SWR Admin为SWR最大权限,用于: 开发环境运行的实例,保存成镜像。 使用自定
_id}/data-annotations/labels modelarts:dataset:updateDataset - √ √ 批量修改标签 PUT /v2/{project_id}/datasets/{dataset_id}/data-annotations/labels