检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发环境本地服务Predictor和在线服务Predictor说明 部署开发环境本地服务Predictor,即将模型文件部署在开发环境中,其环境规格取决于开发环境资源规格;例如在一个modelarts.vm.cpu.2u的Notebook中,部署本地Predictor,其运行环境就是cpu.2u。 部署
String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 flavor_type String 镜像的资源类型,枚举值: -ASCEND_SNT9 -ASCEND_SNT9B -ASCEND_SNT3 请求示例 GET https://{end
在代码中。 benchmark_eval ├──apig_sdk # ma校验包 ├──cpu_npu # 检测资源消耗 ├── config │ ├── config.json # 服务的配置模板,已配置了ma-standard,tgi示例
in_flavor", placeholder_type=wf.PlaceholderType.JSON, description="训练资源规格") ), log_export_path=wf.steps.job_step.LogExportPa
在条件允许的前提下配套安装最新商发版本的昇腾开发套件CANN Toolkit、昇腾驱动以及torch_npu包。具体操作,请参考昇腾商用版资源下载指导。 数据集。 需要排查是否使用的训练数据集存在差异。 初始权重。 需要排查是否加载的初始权重有差异,建议加载相同的初始权重。 父主题:
String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 flavor_type String 镜像的资源类型,枚举值: -ASCEND_SNT9 -ASCEND_SNT9B -ASCEND_SNT3 请求示例 DELETE https://{
maxIterTimes:最大输出长度。config.json文件中默认是1k,用户可以根据自己的推理场景设置。 当前在W8A8量化权重、2台Ascend Snt9B资源下支持的maxSeqLen最大为32768。 { "Version" : "1.0.0", "LogConfig" :
云监控服务”,进入“云监控服务”管理控制台。 在左侧导航栏,选择“告警 > 告警规则”页面,单击“创建告警规则”。 在“创建告警规则”页面,“资源类型”选择“ModelArts”,“维度”选择“服务”,“触发规则”选择“自定义创建”,设置告警策略,完成其他信息填写后,单击“立即创建”。
WorkflowServicePackege 参数 参数类型 描述 package_id String 资源包的UUID。 status String 资源包状态。 pool_id String 资源池ID。 service_id String 服务ID。 workflow_id String
export_params 否 ExportParams object 导出数据集任务的参数。 flavor 否 Flavor object 训练资源规格。 image_brightness 否 Boolean 是否通过图片亮度来聚类。 image_colorfulness 否 Boolean
placeholder_type=wf.PlaceholderType.JSON, description="训练资源规格" ) ) ) ) # 构建工作流对象 workflow = wf.Workflow(
操作任务流程说明 阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite Server运行的,需要购买并开通Server资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。
export_params ExportParams object 导出数据集任务的参数。 flavor Flavor object 训练资源规格。 image_brightness Boolean 是否通过图片亮度来聚类。 image_colorfulness Boolean 是否通过图片色彩来聚类。
图1 模型开发过程 ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。 请参考以下指导在ModelArts Standard上训练模型。 图2 ModelArts Standard模型训练流程
操作任务流程说明 阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite Server运行的,需要购买并开通Server资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。
操作任务流程说明 阶段 任务 说明 准备工作 准备环境 本教程案例是基于ModelArts Lite Server运行的,需要购买并开通Server资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。
String 工作空间ID。未创建工作空间时默认值为“0”,存在创建并使用的工作空间,以实际取值为准。 flavor_type String 镜像的资源类型,枚举值: -ASCEND_SNT9 -ASCEND_SNT9B -ASCEND_SNT3 请求示例 将运行的实例可以保存成容器镜像。
委托类型:选择“云服务”。 云服务:选择“ModelArts”。 持续时间:选择“永久”。 勾选新建的委托策略,然后单击“下一步”。设置最小授权范围选择“所有资源”,然后单击“确定”。 为子账号配置ModelArts委托权限。 在ModelArts服务页面的左侧导航选择“权限管理 ”,单击“添加授权
说明 准备工作 准备环境 本教程案例是基于ModelArts Lite k8s Cluster运行的,需要购买并开通k8s Cluster资源。 准备代码 准备AscendSpeed训练代码、分词器Tokenizer和推理代码。 准备数据 准备训练数据,可以用本案使用的数据集,也可以使用自己准备的数据集。
(可选)健康检查的URL路径必须为"/health"。 OBS模型包规范 模型包的名字必须为model。模型包规范请参见模型包规范介绍。 文件大小规范 当使用公共资源池时,SWR的镜像大小(指下载后的镜像大小,非SWR界面显示的压缩后的镜像大小)和OBS模型包大小总和不大于30G。 https示例 使用