检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署模型 单击“选择模型”,从“我的模型”列表中选择需要部署的模型。 资源设置 资源池类型 资源池分为公共资源池与专属资源池。 公共资源池供所有租户共享使用。 专属资源池需单独创建,不与其他租户共享。 实例规格 选择实例规格,规格中描述了服务器类型、型号等信息。 流量限制(QPS) 设置待部署模型的流量限制QPS。
ts边缘资源池的服务不支持启动。 停止服务 停止服务,ModelArts将停止计费。您可以通过如下方式停止服务: 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>在线服务”,进入在线服务管理页面。您可以单击“操作”列的“更多 > 停止”,停止服务。 登录Model
说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。
推理精度测试 本章节介绍如何进行推理精度测试。 前提条件 确保容器可以访问公网。 Step1 配置精度测试环境 获取精度测试代码。精度测试代码存放在代码包AscendCloud-3rdLLM-xxx.zip的llm_tools/llm_evaluation(6.3.905版本)目
查看作业详情 如何查看训练作业资源占用情况? 如何访问训练作业的后台? 两个训练作业的模型都保存在容器相同的目录下是否有冲突? 训练输出的日志只保留3位有效数字,是否支持更改loss值? 训练好的模型是否可以下载或迁移到其他账号?如何获取下载路径? 父主题: Standard训练作业
训练作业使用单机单卡资源。 确保容器可以访问公网。 本案例仅支持在专属资源池上运行。 Step1 创建专属资源池 本文档中的模型运行环境是ModelArts Standard,用户需要购买专属资源池,具体步骤请参考创建资源池。 资源规格要求: 硬盘空间:至少200GB。 昇腾资源规格:Ascend:
其中筛选类型选择事件名称时,还需选择某个具体的事件名称。 选择资源ID时,还需输入某个具体的资源ID。 选择资源名称时,还需选择或手动输入某个具体的资源名称。 操作用户:在下拉框中选择某一具体的操作用户,此操作用户指用户级别,而非租户级别。 事件级别:可选项为“所有事件级别”、“n
Turbo,并对存储在SFS Turbo中的数据执行编辑操作。 创建Notebook 创建开发环境Notebook实例,具体操作步骤请参考创建Notebook实例。 镜像选择已注册的自定义镜像,资源类型选择创建好的专属资源池,规格推荐选择“Ascend: 8*ascend-snt9b”。 图1 Notebook中选择自定义镜像与规格
原因分析 出现该问题的可能原因如下: OBS相关错误。 OBS文件不存在。The specified key does not exist。 用户OBS权限不足。 OBS限流。 OBS其他问题。 磁盘空间不足。 处理方法 如果是OBS相关错误。 OBS文件不存在。The specified
Notebook时长续约 启动Notebook实例 停止Notebook实例 获取动态挂载OBS实例信息列表 动态挂载OBS 获取动态挂载OBS实例详情 动态卸载OBS 添加资源标签 删除资源标签 查询Notebook资源类型下的标签 查询支持的镜像列表 注册自定义镜像 查询用户镜像组列表 查询镜像详情
单击下图所示的,进入TensorBoard实例管理界面,该界面记录了所有启动的TensorBoard实例,单击对应实例后面的SHUT DOWN即可停止该实例。 图3 单击SHUT DOWN停该实例 父主题: 通过JupyterLab在线使用Notebook实例进行AI开发
ModelArts自动学习,为入门级用户提供AI零代码解决方案 支持图片分类、物体检测、预测分析、声音分类场景 自动执行模型开发、训练、调优和推理机器学习的端到端过程 根据最终部署环境和开发者需求的推理速度,自动调优并生成满足要求的模型 ModelArts自动学习,为资深级用户提供模板化开发能力
预检失败&硬件正常 场景三:环境预检测成功并进入用户业务阶段,硬件检测出现故障并且用户业务非正常退出,系统隔离所有故障节点并重新下发训练作业。 图3 业务失败&硬件故障 场景四:环境预检测成功并进入用户业务阶段,硬件无故障,当用户业务异常时系统以失败状态结束作业。 图4 业务失败&硬件正常
功耗的AI芯片。 资源池 ModelArts提供的大规模计算集群,可应用于模型开发、训练和部署。支持公共资源池和专属资源池两种,分别为共享资源池和独享资源池。 ModelArts Standard默认提供公共资源池。ModelArts Standard专属资源池需单独创建,专属使用,不与其他用户共享。
Service,需提前在IEF(智能边缘服务)创建好节点。 vpc_id 否 String 在线服务实例部署的虚拟私有云ID,默认为空,此时ModelArts会为每个用户分配一个专属的VPC,用户之间隔离;如需要在服务实例中访问名下VPC内的其他服务组件,则可配置此参数为对应VPC的ID。VPC一旦配置
Lite Server GPU裸金属服务器使用EulerOS内核误升级如何解决 GPU A系列裸金属服务器无法获取显卡如何解决 GPU裸金属服务器无法Ping通如何解决 GPU A系列裸金属服务器RoCE带宽不足如何解决? GPU裸金属服务器更换NVIDIA驱动后执行nvidia-smi提示Failed
训练作业至少需要单机8卡。 确保容器可以访问公网。 本案例仅支持在专属资源池上运行。 Step1 创建专属资源池 本文档中的模型运行环境是ModelArts Standard,用户需要购买专属资源池,具体步骤请参考创建资源池。 资源规格要求: 硬盘空间:至少200GB。 昇腾资源规格:Ascend:
env_variables 否 Dict 训练作业的环境变量。 pool_id 否 String 训练作业选择的资源池ID。可在ModelArts管理控制台,单击左侧“专属资源池”,在专属资源池列表中查看资源池ID。 表2 TrainingFiles初始化参数说明 参数 是否必选 类型 描述 code_dir
lArts边缘资源池的服务不支持启动。 停止服务 停止服务,ModelArts将停止计费。您可以通过如下方式停止服务: 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署>批量服务”,进入批量服务管理页面。您可以单击“操作”列的“停止”,停止服务。 登录ModelAr
rts需要用户配置委托授权,允许访问这些依赖服务。 使用华为云账号登录ModelArts管理控制台,在左侧导航栏单击“权限管理”,进入“权限管理”页面,单击“添加授权”。 在弹出的“添加授权”窗口中,选择: 授权对象类型:所有用户 委托选择:新增委托 权限配置:普通用户 选择完成