检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio大模型即服务平台（下面简称为MaaS），使用Qwen2-7B模型可以实现新闻自动分类，能够高效处理和分类大量新闻内容。 该解决方案可以应用于如下场景： 新闻门户网站： 自动将新闻内容归类到相应板块，如科技、体育或国际新闻，以提升用户体验和内容检索效率。 社交媒体平台： 对用户分享的新闻链接进行智能分类，帮助用户迅速定位到感兴趣的话题。
x https://huggingface.co/llava-hf/llava-onevision-qwen2-7b-ov-hf 各模型支持的卡数请参见各模型支持的最小卡数和最大序列章节。 父主题： 主流开源大模型基于Lite Server适配Ascend-vLLM PyTorch
后，即可提交远程训练任务。 训练任务提交后，SDK会依次帮助用户完成以下流程： 将训练脚本打包成zip文件，上传到3中指定的obs_path中。 当训练数据保存在Notebook中，则将其打包成zip文件并上传到指定的obs_path中。 向ModelArts训练服务提交自定义镜
选择模型服务，单击操作列的“更多 > 扩缩容”，进入扩缩容页面。 在扩缩容页面，根据业务需要增删模型服务的实例数，配置完成后，单击“确认”提交扩缩容任务。 在我的服务列表，单击服务名称，进入服务详情页，可以查看修改后的实例数是否生效。 父主题： 管理我的服务
一个账号最多创建10个Notebook。 否 更多信息，请参见创建Notebook实例。 Standard推理部署在线服务 单个账号最多可创建20个在线服务。 是 提交工单申请提升配额 更多信息，请参见部署在线服务。 Standard推理部署批量服务 单个账号最多可创建1000个批量服务。 否 更多信息，请参见部署批量服务。
算资源。如果有免费资源，建议选择免费资源。 其他参数可使用默认值。 参数配置完成后，单击“下一步”，确认规格参数后，单击“提交”启动在线服务的部署。 任务提交成功后，单击“查看服务详情”，等待服务状态变为“运行中”时，表示服务部署成功。预计时长4分钟左右。 图3 服务部署成功 步骤四：预测结果
“指定用户可见”：输入账号名、账号ID或用户昵称搜索并选择用户，使其可见该资产。 可用范围 选择是否启用“申请用户可用”。 勾选启用：当用户要使用该镜像时需要提交申请，只有镜像所有者同意申请后，才能使用镜像。 不勾选不启用（默认值）：所有可见资产的用户都可以直接使用镜像。 发布后，资产会处于“审核中”，审核中的资产仅资产所有者可见。
必须为“代码目录”下的文件，且以“.py”结尾，即ModelArts目前只支持使用Python语言编写的启动文件。 代码目录路径中的启动文件为训练启动的入口。 设置算法启动方式（预置框架+自定义） 图2 使用预置框架+自定义镜像创建算法 需根据实际算法代码情况设置“镜像”、“代码目录”和“启动
PU资源部署在线服务时会收取少量资源费用，具体费用以界面信息为准。 参数配置完成后，单击“下一步”，确认规格参数后，单击“提交”启动在线服务的部署。 任务提交成功后，单击“查看任务详情”，等待服务状态变为“运行中”时，表示服务部署成功。预计时长4分钟左右。 步骤4：预测结果 在线服务部署完成后，单击“预测”页签。
代码文档将丢失，请注意备份文件以及使用时长。 CodeLab入口 ModelArts管理控制台的“总览”页 在“开发工具”区域下方，展示“CodeLab”简介卡片，单击“立即体验”，即可进入。 图1 CodeLab入口 AI Gallery页面提供的Notebook样例 在AI Gallery页面，单击“资产集市
可选输入，当存在该输入时，表示分离部署的服务入口在该机器。注意，在多台机器启动分离部署时，只能有一台机器存在服务入口。当存在该输入时，会生成local_ranktable_xx_host.json文件，用于在启动推理服务时确定服务入口实例。 --prefill-server-li
“指定用户可见”：输入账号名、账号ID或用户昵称搜索并选择用户，使其可见该资产。 可用范围 选择是否启用“申请用户可用”。 勾选启用：当用户要使用该模型时需要提交申请，只有模型所有者同意申请后，才能使用或复制模型。 不勾选不启用（默认值）：所有可见资产的用户都可以直接使用模型。 发布后，资产会处于“
可选输入，当存在该输入时，表示分离部署的服务入口在该机器。注意，在多台机器启动分离部署时，只能有一台机器存在服务入口。当存在该输入时，会生成local_ranktable_xx_host.json文件，用于在启动推理服务时确定服务入口实例。 --prefill-server-li
可选输入，当存在该输入时，表示分离部署的服务入口在该机器。注意，在多台机器启动分离部署时，只能有一台机器存在服务入口。当存在该输入时，会生成local_ranktable_xx_host.json文件，用于在启动推理服务时确定服务入口实例。 --prefill-server-li
如果文件较小，可以将OBS上的数据保存成“.tar”包。训练开始时从OBS上下载到“/cache”目录，解压以后使用。 如果文件较大，可以保存成多个“.tar”包，在入口脚本中调用多进程进行并行解压数据。不建议把散文件保存到OBS上，这样会导致下载数据很慢。 在训练作业中，使用如下代码进行“.tar”包解压：
Code的开发者可以通过以下方式连接到开发环境中： VS Code一键连接Notebook（推荐） 该方式是指在开发环境Console控制台上提供VS Code按钮，通过该入口自动打开VS Code并连接实例。 VS Code ToolKit连接Notebook 该方式是指用户在VS Code上使用ModelArts
中的max_num。 训练任务提交后，SDK会依次帮助用户完成以下流程： 将训练脚本打包成zip文件，上传到3中指定的obs_path中； 如果训练数据保存在Notebook中，则将其打包成zip文件并上传到指定的obs_path中； 将训练作业提交到ModelArts训练服务中
ToolKit中的Notebook实例SSH连接 步骤4：使用PyCharm提交训练作业至ModelArts ModelArts训练平台提供了海量的算力规格和训练优化，支持将本地调试好的代码以及之前保存的开发环境镜像直接在PyCharm中提交训练作业。 创建OBS桶并上传数据。 由于训练作业是在Mo
“指定用户可见”：输入账号名、账号ID或用户昵称搜索并选择用户，使其可见该资产。 可用范围 选择是否启用“申请用户可用”。 勾选启用：当用户要使用该数据集时需要提交申请，只有数据集所有者同意申请后，才能使用数据集。 不勾选不启用（默认值）：所有可见资产的用户都可以直接使用数据集。 发布后，资产会处于“
参数配置可使用默认值，单击“立即购买”。 在产品配置信息确认页面，再次核对弹性公网IP信息，阅读并勾选“弹性公网IP服务声明”。 选择按需计费的弹性公网IP时，单击“提交”。 选择包年/包月计费的弹性公网IP时，单击“去支付”。 进入订单支付页面，确认订单信息，单击“确认付款”。 购买公网NAT网关。 登录华为云管理控制台。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
