检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
记录训练过程中时如果出现故障,作业自动重启的次数。仅当创建训练作业时开启“自动重启”功能时可见。 “描述” 训练作业的描述。 您可以单击编辑图标,更新训练作业的描述。 “作业优先级” 显示训练作业的优先级。 训练作业参数 表2 训练作业参数 参数 说明 “算法名称” 本次训练作业使用的算法。单击算法名称,可以跳转至算法详情页面。
在ModelArts中创建训练作业,并完成模型训练,在得到满意的模型后,可以将训练后得到的模型导入至模型管理,方便统一管理,同时支持将模型快速部署上线为服务。 约束与限制 针对使用订阅算法的训练作业,无需推理代码和配置文件,其生成的模型可直接导入ModelArts。 使用容器化部署,导入的元模型有大小限制,详情请参见导入模型对于镜像大小限制。
记住使用Dockerfile创建的新镜像名称, 后续使用 ${dockerfile_image_name} 进行表示。 Step2 在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图1 复制登录指令
进入IAM服务。 在统一身份认证服务控制台的左侧菜单栏中,选择“权限管理> 权限”。单击右上角“创建自定义策略”,“策略名称”为“Policy1”,策略配置方式选择JSON视图,输入策略内容,单击“确定”。 自定义策略“Policy1”的具体内容如下,可以直接复制粘贴。 {
记住使用Dockerfile创建的新镜像名称, 后续使用 ${dockerfile_image_name} 进行表示。 Step2 在ECS中Docker登录 在SWR中单击右上角的“登录指令”,然后在跳出的登录指定窗口,单击复制临时登录指令。在创建的ECS中粘贴临时登录指令,即可完成登录。 图1 复制登录指令
在服务部署页面,选择模型部署使用的资源规格。 模型来源:默认为生成的模型。 选择模型版本:自动匹配当前使用的模型版本,支持选择版本。 资源池:默认公共资源池。 分流:默认为100,输入值必须是0-100之间。 计算节点规格:请根据界面显示的列表,选择可用的规格,置灰的规格表示当前环境无法使用。
新创建的节点设置不同于资源池的计费模式,例如用户可以在包周期的资源池中创建按需的节点。如果用户不指定该参数,创建的节点计费模式和资源池保持一致。 在“专属资源池扩缩容”页面,设置“资源配置 > 可用区”,可用区可选择随机分配和指定AZ。 选择随机分配时,扩缩容完成后,节点的可用区分布由系统后台随机选择。
不同用户间的专属资源池物理隔离,公共资源池仅提供逻辑隔离,专属资源池的隔离性、安全性要高于公共资源池。 专属资源池用户资源独享,在资源充足的情况下,作业是不会排队的;而公共资源池使用共享资源,在任何时候都有可能排队。 专属资源池支持打通用户的网络,在该专属资源池中运行的作业可以访
如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型,包名:AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink)
标签属性,是Object格式,存放任意的键值对;key是属性名称,value是取值列表,如value为null表示不根据值搜索,否则搜索的值满足列表中任意一个即可。 type Integer 标签类型。可选值如下: 0:图像分类 1:物体检测 3: 图像分割 100:文本分类 101:命名实体
如果上述软件获取路径打开后未显示相应的软件信息,说明您没有下载权限,请联系您所在企业的华为方技术支持下载获取。 支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型,包名:AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink)
时后”、“自定义”。如果选择“自定义”的模式,可在右侧输入框中输入1~24范围内的任意整数。 如果您购买了套餐包,计算节点规格可选择您的套餐包,同时在“配置费用”页签还可查看您的套餐包余量以及超出部分的计费方式,请您务必关注,避免造成不必要的资源浪费。 完成资源配置后,单击“继续
已订阅的资产。 我的案例 展示个人发布的资产案例和已订阅的资产案例。 “我的发布”:可以查看个人发布的案例信息。 “我的订阅”:可以查看个人订阅的案例信息。 我的AI说 展示个人发布的技术文章列表,可以查看文章浏览量、收藏量、订阅量等信息。通过右侧的“删除”可以管理已发布的技术文章。
每个输出序列要生成的最大tokens数量。 top_k 否 -1 Int 控制要考虑的前几个tokens的数量的整数。设置为-1表示考虑所有tokens。 适当降低该值可以减少采样时间。 top_p 否 1.0 Float 控制要考虑的前几个tokens的累积概率的浮点数。必须在 (0, 1] 范围内。设置为1表示考虑所有tokens。
权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 Step2 修改训练超参配置 以 llama2-70b 和
String Workflow工作流配置参数的描述。 example 否 Object Workflow工作流配置参数的样例。 delay 否 Boolean 是否为延迟输入的参数,默认为否。 default 否 Object 配置参数的默认值。 value 否 Object 参数值。
Gallery,单击右上角“我的Gallery”进入我的Gallery页面。 左侧菜单栏选择“我的资源 > 云服务器”,单击专属资源池页签进入云服务详情页面。 在节点页签,单击选择“配置工具”,弹出该节点的配置工具页面。 在配置工具页面,单击“下载”启动下载任务。当配置工具的状态记录中“工具状
不同区域支持的AI引擎有差异,请以实际环境为准。 推理支持的AI引擎 在ModelArts创建模型时,如果使用预置镜像“从模板中选择”或“从OBS中选择”导入模型,则支持如下常用引擎及版本的模型包。 标注“推荐”的Runtime来源于统一镜像,后续统一镜像将作为主流的推理基础镜像
删除开发环境实例,删除的资源包括Notebook容器以及对应的所有存储资源。 通过运行的实例保存成容器镜像 运行的实例可以保存成容器镜像,保存的镜像中,安装的依赖包(pip包)不丢失,VSCode远程开发场景下,在Server端安装的插件不丢失。 查询支持的有效规格列表 查询支持的有效规格列表。
使用IAM用户认证 “account”填写您的账号名,“username”填写您的IAM用户名。 1 2 3 4 5 6 7 from modelarts.session import Session # 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者