检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio大模型即服务平台(下面简称为MaaS),使用Qwen2-7B模型可以实现新闻自动分类,能够高效处理和分类大量新闻内容。 该解决方案可以应用于如下场景: 新闻门户网站: 自动将新闻内容归类到相应板块,如科技、体育或国际新闻,以提升用户体验和内容检索效率。 社交媒体平台: 对用户分享的新闻链接进行智能分类,帮助用户迅速定位到感兴趣的话题。
“指定用户可见”:输入账号名、账号ID或用户昵称搜索并选择用户,使其可见该资产。 可用范围 选择是否启用“申请用户可用”。 勾选启用:当用户要使用该镜像时需要提交申请,只有镜像所有者同意申请后,才能使用镜像。 不勾选不启用(默认值):所有可见资产的用户都可以直接使用镜像。 发布后,资产会处于“审核中”,审核中的资产仅资产所有者可见。
必须为“代码目录”下的文件,且以“.py”结尾,即ModelArts目前只支持使用Python语言编写的启动文件。 代码目录路径中的启动文件为训练启动的入口。 设置算法启动方式(预置框架+自定义) 图2 使用预置框架+自定义镜像创建算法 需根据实际算法代码情况设置“镜像”、“代码目录”和“启动
PU资源部署在线服务时会收取少量资源费用,具体费用以界面信息为准。 参数配置完成后,单击“下一步”,确认规格参数后,单击“提交”启动在线服务的部署。 任务提交成功后,单击“查看任务详情”,等待服务状态变为“运行中”时,表示服务部署成功。预计时长4分钟左右。 步骤4:预测结果 在线服务部署完成后,单击“预测”页签。
代码文档将丢失,请注意备份文件以及使用时长。 CodeLab入口 ModelArts管理控制台的“总览”页 在“开发工具”区域下方,展示“CodeLab”简介卡片,单击“立即体验”,即可进入。 图1 CodeLab入口 AI Gallery页面提供的Notebook样例 在AI Gallery页面,单击“资产集市
如果文件较小,可以将OBS上的数据保存成“.tar”包。训练开始时从OBS上下载到“/cache”目录,解压以后使用。 如果文件较大,可以保存成多个“.tar”包,在入口脚本中调用多进程进行并行解压数据。不建议把散文件保存到OBS上,这样会导致下载数据很慢。 在训练作业中,使用如下代码进行“.tar”包解压:
Code的开发者可以通过以下方式连接到开发环境中: VS Code一键连接Notebook(推荐) 该方式是指在开发环境Console控制台上提供VS Code按钮,通过该入口自动打开VS Code并连接实例。 VS Code ToolKit连接Notebook 该方式是指用户在VS Code上使用ModelArts
“指定用户可见”:输入账号名、账号ID或用户昵称搜索并选择用户,使其可见该资产。 可用范围 选择是否启用“申请用户可用”。 勾选启用:当用户要使用该模型时需要提交申请,只有模型所有者同意申请后,才能使用或复制模型。 不勾选不启用(默认值):所有可见资产的用户都可以直接使用模型。 发布后,资产会处于“
参数配置可使用默认值,单击“立即购买”。 在产品配置信息确认页面,再次核对弹性公网IP信息,阅读并勾选“弹性公网IP服务声明”。 选择按需计费的弹性公网IP时,单击“提交”。 选择包年/包月计费的弹性公网IP时,单击“去支付”。 进入订单支付页面,确认订单信息,单击“确认付款”。 购买公网NAT网关。 登录华为云管理控制台。
“指定用户可见”:输入账号名、账号ID或用户昵称搜索并选择用户,使其可见该资产。 可用范围 选择是否启用“申请用户可用”。 勾选启用:当用户要使用该数据集时需要提交申请,只有数据集所有者同意申请后,才能使用数据集。 不勾选不启用(默认值):所有可见资产的用户都可以直接使用数据集。 发布后,资产会处于“
中的max_num。 训练任务提交后,SDK会依次帮助用户完成以下流程: 将训练脚本打包成zip文件,上传到3中指定的obs_path中; 如果训练数据保存在Notebook中,则将其打包成zip文件并上传到指定的obs_path中; 将训练作业提交到ModelArts训练服务中
er/.ssh”目录下生成SSH密钥文件和配置文件“authorized_keys config id_rsa id_rsa.pub”。 提交创建训练作业后,训练过程中,训练作业的节点可通过域名+端口的方式SSH连接到其他节点,示例代码如下所示: ssh modelarts-jo
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
编码 状态码说明 200 OK 请求成功 日志文件输出 为保证日志内容可以正常显示,日志信息需要打印到标准输出。 镜像启动入口 如果需要部署批量服务,镜像的启动入口文件需要为“/home/run.sh”,采用CMD设置默认启动路径,例如Dockerfile配置如下: CMD ["sh"
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
SDK版本说明 发布时间 版本号 说明 2023-04 1.4.18 1.4.18版本在SDK旧版本基础上优化集成,主要新增DLI Spark任务提交能力,支持服务部署到推理新版专属资源池。 支持的区域 当前支持的“region_name”包括华北-北京一(cn-north-1)、华北-
单击Launcher页面的“Performance Advisor”图标,界面将如下图所示 图3 Performance Adviso主页面 提交性能诊断任务 如果您的NPU性能数据存放在OBS上,Source选择OBS,Path输入OBS地址,格式如obs://bucket1/pr
可选输入,当存在该输入时,表示分离部署的服务入口在该机器。注意,在多台机器启动分离部署时,只能有一台机器存在服务入口。当存在该输入时,会生成local_ranktable_xx_host.json文件,用于在启动推理服务时确定服务入口实例。 --prefill-server-li
工程师添加权限。 instance_count 是 Integer 模型部署的实例数,当前限制最大实例数为128,如需使用更多的实例数,需提交工单申请。 envs 否 Map<String, String> 运行模型需要的环境变量键值对,可选填,默认为空。 表3 transformer