检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如:training_data。 创建VPC 虚拟私有云(Virtual Private Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS
资源包名称。支持本地文件,OBS路径及用户已上传到DLI资源管理系统的文件。如果需要指定多个参数,可以使用--resources resource1 --resources resource2。 --files Array of String 否 用户已上传到DLI资源管理系统的类型为file的资源包名。也
使用时段,将自动转为按需收费。 关于套餐包的约束限制、资源包抵扣顺序和套餐包余量预警请参见套餐包。 购买操作如下: 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts Studio”进入ModelArts Studio大模型即服务平台。 在ModelArts
版本名称},局点信息可以参考下图查看,组织名称在“容器镜像服务>组织管理”创建。 注册镜像 在ModelArts Console上注册镜像 登录ModelArts控制台,在左侧导航栏选择“镜像管理”,进入镜像管理页面。 单击“注册镜像”,镜像源即为步骤1中推送到SWR中的镜像。请
使用外部已备案域名。 所有中国大陆境内下沉POD区服务使用的域名已完成备案。 所有中国大陆境内下沉POD区的服务均遵守国家《互联网信息服务管理办法》要求。 父主题: 安全
的起点是创建成功的时间点,而非创建时间。您可以在专属资源池详情页“基本信息”页签查看创建时间,在“事件”页签查看“事件信息”为“创建资源池管理节点成功”的“事件发生时间”,创建成功的时间点对应界面上的“事件发生时间”。 对于公共资源池:计费的起点以实例创建成功的时间点为准,终点以实例停止或删除的时间为准。
他模型不建议开启,因为性能会有损失。 Step2 部署模型 在ModelArts控制台的AI应用管理模块中,将模型部署为一个AI应用。 登录ModelArts控制台,单击“AI应用管理 > AI应用 > 创建”,开始创建AI应用。 图2 创建AI应用 设置创建AI应用的相应参数。
get-image 查询ModelArts已注册镜像。 register 注册SWR镜像到ModelArts镜像管理。 unregister 取消注册ModelArts镜像管理中的已注册镜像。 build 基于指定的Dockerfile构建镜像 (只支持ModelArts Notebook里使用)。
ToolKit中呈现,但Notebook实例仍然存在于控制台。如果想删除Notebook实例以释放资源,请登录ModelArts管理控制台,在Notebook管理页面进行删除。 图24 断开PyCharm ToolKit中的Notebook实例SSH连接 步骤4:使用PyCharm提交训练作业至ModelArts
Ascend-vLLM支持的特性介绍 表1 Ascend-vLLM支持的特性 特性名称 特性说明 调度 Page-attention 分块管理kvcache,提升吞吐。 Continuous batching 迭代级调度,动态调整batch,降低延迟,提升吞吐。 Multi-step
他模型不建议开启,因为性能会有损失。 Step2 部署模型 在ModelArts控制台的AI应用管理模块中,将模型部署为一个AI应用。 登录ModelArts控制台,单击“AI应用管理 > AI应用 > 创建”,开始创建AI应用。 图2 创建AI应用 设置创建AI应用的相应参数。
资料:查看训练看板中可视的数据。 关闭MindInsight 关闭MindInsight方式如下单击下方按钮进入MindInsight实例管理界面,该界面记录了所有启动的MindInsight实例,单击对应实例后面的SHUT DOWN即可停止该实例。 图2 单击SHUT DOWN停止实例
更多功能介绍请参见TensorBoard官网资料。 关闭TensorBoard 关闭TensorBoard方式如下: 单击下图所示的,进入TensorBoard实例管理界面,该界面记录了所有启动的TensorBoard实例,单击对应实例后面的SHUT DOWN即可停止该实例。 图3 单击SHUT DOWN停该实例
能通过SSH登录,不同机器之间网络互通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 Ascend-vLLM版本
5分钟,请耐心等待)。单击展开下载详情,可以查看该数据集的“目标位置”。 查看数据集是否已导入ModelArts。 返回ModelArts管理控制台,在左侧导航栏选择“数据集”,默认进入数据集新版页面。在新版数据集列表页,单击数据集名称左侧的,展开数据集,查看“导入状态”,导入状
placeholder_type=wf.PlaceholderType.BOOL), right=True) # 构建一个OutputStorage对象,对训练输出目录做统一管理 storage = wf.data.OutputStorage(name="storage_name", title="title_info"
INDEX}.${MA_VJ_NAME}"”。 在创建训练作业页面配置环境变量“ROUTE_PLAN”,取值为“true”,具体操作请参见管理训练容器环境变量。 代码示例 训练作业的启动脚本示例如下。 启动脚本中设置plog生成后存放在“/home/ma-user/modelar
在模型详情页,单击“前往控制台”。在弹出的“选择云服务区域”页面选择ModelArts所在的云服务区域,单击“确定”跳转至ModelArts控制台的“模型管理 > 订阅模型”页面。 图1 前往控制台 在“订阅模型”列表,单击“版本数量”,在右侧展开版本列表,当订阅模型的版本列表的状态显示为“就绪”时表示模型可以使用。
步骤一:ModelArts专属资源池打通VPC 创建好VPC和子网,具体步骤请参考创建虚拟私有云和子网。 创建Modelarts专属资源池网络。 登录ModelArts管理控制台,在左侧导航栏中选择“AI专属资源池 > 弹性集群Cluster”,默认进入“Standard资源池”页面。 切换到“网络”页签,单击“创建”,弹出“创建网络”页面。
Cluster资源购买,熟悉集群资源开通流程,再开始操作购买Cluster资源。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 购买专属资源池注意事项 使用场景需要选择ModelArts