检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DevServer管理 查询用户所有DevServer实例列表 创建DevServer 查询DevServer实例详情 删除DevServer实例 实时同步用户所有DevServer实例状态 启动DevServer实例 停止DevServer实例
M、Yi、Baichuan等推理部署的详细过程,利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件,为用户提供推理部署方案,帮助用户使能大模型业务。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。 约束限制 本方案目前仅适用于部分企业客户。
过程。 数据清洗是在数据校验的基础上,对数据进行一致性检查,处理一些无效值。例如在深度学习领域,可以根据用户输入的正样本和负样本,对数据进行清洗,保留用户想要的类别,去除用户不想要的类别。 数据选择:数据选择一般是指从全量数据中选择数据子集的过程。 数据可以通过相似度或者深度学习
Studio大模型即服务平台进行模型调优、压缩或部署时,需要选择资源池。MaaS服务支持专属资源池和公共资源池。 专属资源池:专属资源池不与其他用户共享,资源更可控。在使用专属资源池之前,您需要先创建一个专属资源池,然后在AI开发过程中选择此专属资源池。MaaS服务可以使用在ModelArts
必填项,填写资产简介,模型发布后将显示在模型页签上,方便用户快速了解资产。 支持1~90个字符,请勿在描述中输入涉政、迷信、违禁等相关敏感词,否则发布审核无法通过。 可见范围 “所有用户可见”:表示公开资产,所有用户都可以查看该资产。 “指定用户可见”:输入账号名、账号ID或用户昵称搜索并选择用户,使其可见该资产。 可用范围
必填项,填写资产简介,镜像发布后将显示在镜像页签上,方便用户快速了解资产。 支持1~90个字符,请勿在描述中输入涉政、迷信、违禁等相关敏感词,否则发布审核无法通过。 可见范围 “所有用户可见”:表示公开资产,所有用户都可以查看该资产。 “指定用户可见”:输入账号名、账号ID或用户昵称搜索并选择用户,使其可见该资产。 可用范围
0:打标者 1:审核者 2:团队管理者 3:数据集拥有者 status Integer 标注成员的当前登录状态。可选值如下: 0:未发送邀请邮件 1:已发送邀请邮件但未登录 2:已登录 3:标注成员已删除 update_time Long 更新时间。 worker_id String
Cluster资源,可以释放资源,停止计费相关介绍请见停止计费。 专属资源池资源释放后不可恢复,请谨慎操作。 删除按需计费的Lite Cluster资源 登录ModelArts管理控制台。 在左侧导航栏中,选择“AI专属资源池 > 弹性集群 Cluster”,进入“弹性集群 Cluster”列表页面。
k的打开按钮时,将会出现“请求超时”错误。 该种情况下,请耐心等待容器恢复,约几十秒,再重新单击打开按钮即可。 父主题: Notebook实例常见错误
查看在线服务的事件 服务的(从用户可看见部署服务任务开始)整个生命周期中,每一个关键事件点在系统后台均有记录,用户可随时在对应服务的详情页面进行查看。 方便用户更清楚的了解服务部署和运行过程,遇到任务异常时,更加准确的排查定位问题。可查看的事件点包括: 表1 事件 事件类型 事件
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明,用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
Step2 为用户配置云服务使用权限 主用户为子账号授予ModelArts、OBS等云服务的使用权限后,子账号才可以使用这些云服务。此步骤介绍如何为用户组中的所有子账号授予使用ModelArts、OBS、SWR等各类云服务的权限。 主用户在IAM服务的用户组列表页面,单击“授权”,进入到授权页面,为子账号配置权限。
当您使用订阅算法创建训练作业时,不支持该参数。 “启动文件” 训练作业启动文件位置。 说明: 当您使用订阅算法创建训练作业时,不支持该参数。 “运行用户ID” 容器运行时的用户ID。 “本地代码目录” 训练代码在训练容器中的存放路径。 “工作目录” 训练启动文件在训练容器中的路径。 “计算节点个数” 本次训练作业设置的计算节点个数。
查看批量服务详情 当AI应用部署为批量服务成功后,您可以进入“批量服务”页面,来查看服务详情。 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>批量服务”,进入“批量服务”管理页面。 单击目标服务名称,进入服务详情页面。 您可以查看服务的“名称”、“状态”等信息,详情说明请参见表1。
ims.*.get √ × 查询DevServer实例列表 GET /v1/{project_id}/dev-servers modelarts:devserver:listByUser - √ × 查询租户所有DevServer实例列表 GET /v1/{project_id}/dev-servers/all
排查是否是自定义镜像的问题。 自定义镜像构建完成,在ModelArts镜像管理注册时,“架构”和“类型”需要和源镜像保持一致。 图2 注册镜像 父主题: 实例故障
查找Workflow工作流 查找Workflow 在Workflow列表页,您可以通过搜索框,根据工作流的属性类型快速搜索过滤到相应的工作流,可节省您的时间。 登录ModelArts管理控制台,在左侧导航栏选择“开发空间>Workflow”,进入Workflow总览页面。 在工作流列表上方的搜索框中,
l路径下。 --tensor-parallel-size:并行卡数。此处举例为1,表示使用单卡启动服务。 --host:服务部署的IP,使用本机IP 0.0.0.0。 --port:服务部署的端口8080。 -max-num-seqs:最大同时处理的请求数,超过后在等待池等候处理。
配置SWR组织权限 IAM用户创建后,需要管理员在组织中为用户添加授权,使IAM用户对组织内所有镜像享有读取/编辑/管理的权限。 只有具备“管理”权限的帐号和IAM用户才能添加授权。 登录容器镜像服务控制台。 在左侧菜单栏选择“组织管理”,单击组织名称。 在“用户”页签下单击“添加授权
开发一条Workflow VS Code连接Notebook 操作指导 02:16 VS Code一键连接Notebook VS Code连接Notebook后使用介绍 操作指导 06:08 VS Code连接Notebook后使用介绍 使用PyCharm远程连接Notebook 操作指导 16:29