检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用流程 表1 MaaS使用流程 步骤 操作 说明 相关文档 1 准备工作 在开始使用ModelArts Studio大模型即服务平台前,需要先准备好相关依赖资源,例如创建OBS桶、创建资源池等。
huggingface/transformers.git git clone https://github.com/NVIDIA/Megatron-LM.git git clone https://gitee.com/ascend/ModelLink.git 以上任务完成后重新上传代码至OBS
图2 开通自动续费 在续费管理页面修改自动续费 进入“费用中心 > 续费管理”页面。 选择需要修改自动续费的专属资源池,单击操作列“修改自动续费”。 设置续费方式,选择续费时长,并根据需要设置自动续费次数,单击“确认”。 父主题: 续费
注册新镜像 构建完成后,将新镜像注册到ModelArts镜像管理服务中,进而能够在ModelArts中使用该镜像。 有两种方式来注册镜像。 方式一:使用ma-cli image register命令来注册镜像。注册命令会返回注册好的镜像信息,包括镜像id,name等,如下图所示。
src_path 是 String 批量任务输入数据的OBS路径。 dest_path 是 String 批量任务输出结果的OBS路径。
正常 [model 0.0.1] OBS桶,OBS并行文件系统,SFS Turbo挂载成功。 [%s] %s volume successfully. - 服务部署和运行过程中,关键事件支持手动/自动刷新。
从OBS中选择元模型 不支持 不支持 方式一:通过服务管理页面修改服务信息 登录ModelArts管理控制台,在左侧菜单栏中选择“模型部署”,进入目标服务类型管理页面。 在服务列表中,单击目标服务操作列的“修改”,修改服务基本信息,然后根据提示提交修改任务。
注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中涉及到OBS等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。具体配置操作请参见配置ModelArts Standard访问授权。
可选值如下: asc:递增排序 desc:递减排序(默认值) process_parameter 否 String 图像缩略设置,同OBS缩略图设置,详见OBS缩略图设置。如:image/resize,m_lfit,h_200表示等比缩放目标缩略图并设置高度为200像素。
specification 否 String 在线服务的资源规格。详见部署服务 weight 否 Integer 权重百分比,分配到此模型的流量权重;仅当infer_type为real-time时需要配置,多个权重相加必须等于100。
正常的实例会产生费用,此时服务状态是concerning。 failed:失败,服务部署失败,失败原因可以查看事件和日志标签。 stopped:停止。 finished:只有批量服务会有这个状态,表示运行完成。
job_start_file = "jobstart_hccl.json" # job_start_file_path 路径默认为 "/user/config/jobstart_hccl.json" job_start_file_path = rank_table_file_path.rsplit
job_start_file = "jobstart_hccl.json" # job_start_file_path 路径默认为 "/user/config/jobstart_hccl.json" job_start_file_path = rank_table_file_path.rsplit
“保存路径”:表示新数据集的输入路径,即当前数据导出后存储的OBS路径。 “输出路径”:表示新数据集的输出路径,即新数据集在完成标注后输出的路径。“输出路径”不能与“保存路径”为同一路径,且“输出路径”不能是“保存路径”的子目录。
元模型来源 显示元模型的来源,主要有从训练中选择、从对象存储服务(OBS)中选择、从容器镜像中选择。不同来源的元模型,模型显示的参数会不同。 训练作业名称 如果元模型来源于训练作业,则显示关联的训练作业,单击训练作业名称可以直接跳转到训练作业详情页面。
说明: 智能标注创建时免费,但OBS存储会按需收费,请参考计费详情。为保证您的资源不浪费,标注作业与后续任务完成后,请及时清理您的OBS桶。 计算节点个数 默认为1,表示单机模式。目前仅支持此参数值。 表2 预标注 参数 说明 智能标注类型 “预标注”。
samples Array of SampleLabels objects 视频在线服务推理结果。 service_id String 在线服务ID。 service_name String 在线服务名称。
= (100.0 * image_features @ text_features.T).softmax(dim=-1) print("Label probs:", text_probs) # prints: [[1., 0., 0.]]
图7 注册镜像 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令,会在当前目录生成cert.pem和key.pem,并将生成的pem证书上传至OBS。证书用于后续在推理生产环境中部署HTTPS推理服务。
该类可用于执行AI Gallery工具链服务,此处以文本问答(Question Answering)的任务类型为例: class NewBertForQuestionAnswering(NewBertPreTrainedModel): def __init__(self,