检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备镜像 镜像方案说明 ECS获取和上传基础镜像 使用基础镜像 ECS中构建新镜像 Notebook中构建新镜像 父主题: 准备工作
autosearch_config_path String 自动化搜索作业的yaml配置路径,需要提供一个OBS路径。 autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。 command String 自定义镜像训练作业的自定义
单击“保存”,完成修改。 编辑版本 选择“版本”页签,单击右上方的“编辑”。 在此页面可以修改版本说明或者单击对应版本“操作”列的“下线”,下架不需要的资产版本。下线操作仅对已上架成功且存在多个可用版本的资产有效。 添加模型版本:在版本框右侧单击“添加版本”,弹出“选择云服务区域”,选择
String 资源规格。 instance_count Integer 模型部署的实例数。 envs Map<String, String> 运行模型需要的环境变量键值对。 表4 result结构 参数 参数类型 描述 node_id String 待查询的边缘节点ID,仅当infer_type为edge时存在。
在数据标注页面,单击未标注页签,在此页面中,您可以单击添加图片,或者增删标签。 如果增加了图片,您需要对增加的图片进行重新标注。如果您增删标签,建议对所有的图片进行排查和重新标注。对已标注的数据, 也需要检查是否需要增加新的标签。 在图片都标注完成后,单击右上角“开始训练”,在“训练设置”中,在“
即可添加子网(上限10个)。 如果需要使用打通VPC的方式实现专属资源池访问公网,由于要访问的公网地址不确定,一般是建议用户在VPC中创建SNAT。此场景下,在打通VPC后,专属资源池中作业访问公网地址,默认不能转发到用户VPC的SNAT,需要提交工单联系技术支持在专属资源池VP
购买Lite专属池 k8s Cluster资源配置 若已完成集群资源购买和开通,则需要对网络、存储、容器镜像等内容进行配置。请参考k8s Cluster环境配置详细流程。 kubectl访问集群配置 本步骤需要在节点机器,对kubectl进行集群访问配置。 首先进入已创建的CCE集群控
”文件夹下。如果用户需要修改,可添加并自定义该变量。 CONVERT_MG2HF TRUE 训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换,则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换,则在运行脚
”文件夹下。如果用户需要修改,可添加并自定义该变量。 CONVERT_MG2HF TRUE 训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换,则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换,则在运行脚
”文件夹下。如果用户需要修改,可添加并自定义该变量。 CONVERT_MG2HF TRUE 训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换,则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换,则在运行脚
预置:可选择SWR服务上自有的或他人共享的镜像。 自定义:可直接填写镜像地址。 添加镜像密钥 若本租户不具有预热镜像的权限(即非公开/非本租户私有/非他人共享的镜像),此时需要添加镜像密钥。在开启镜像密钥开关后,选择命名空间及对应密钥。创建密钥方法可参考创建密钥,密钥类型须为kubernetes.io/dockerconfigjson类型。
规格:CPU: 8 核 32GB (modelarts.vm.cpu.8ud) 计算节点个数:1个 用了一段时间后,用户发现当前规格无法满足业务需要,于2023/03/20 9:00:00扩容规格增加1个节点(扩容后,共有2个节点)。因为该专属资源池打算长期使用下去,于2023/03/20
autosearch_config_path String 自动化搜索作业的yaml配置路径,需要提供一个OBS路径。 autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。 command String 自定义镜像训练作业的自定义
码编写需逻辑清晰,代码简洁,以此达到更好的推理效果。 推理代码编写指导 在模型代码推理文件“customize_service.py”中,需要添加一个子类,该子类继承对应模型类型的父类,各模型类型的父类名称和导入语句如表1所示。导入语句所涉及的Python包在ModelArts环境中已配置,用户无需自行安装。
py”则需要通过该参数指定。推理脚本必须放于模型所在路径(请参见“source_location”参数)的model目录下,名称固定为:“customize_service.py”。 runtime 否 String 支持的运行环境。如果使用了model_type参数,则需要填该参
weight Integer real-time类型必选。权重百分比,分配到此模型的流量权重,仅当infer_type为real-time时需要配置,多个权重相加必须等于100;当在一个在线服务中同时配置了多个模型版本且设置不同的流量权重比例时,持续地访问此服务的预测接口,Mode
conditioning_images.zip unzip images.zip 接着修改fill50k.py文件,如果机器无法访问huggingface网站,则需要将脚本文件中下载地址替换为容器本地目录。 56 def _split_generators(self, dl_manager):
规格:选择所需GPU规格。 计算节点个数:选择需要的节点个数。 SFS Turbo:增加挂载配置,选择SFS名称,云上挂载路径为“/home/ma-user/work”。 为了和Notebook调试时代码路径一致,保持相同的启动命令,云上挂载路径需要填写为“/home/ma-user/work”。
#原始权重及tokenizer目录,需要用户手动创建并上传,后续操作步骤中会提示 ├── llama2-13b-hf |── tokenizers #tokenizer目录,需要用户手动创建,后续操作步骤中会提示
部分运行Workflow节点,首先在新开发Workflow时,需要预先定义好部分运行场景。具体流程如下: 通过SDK创建工作流时,预先定义好部分运行场景,具体可参考在Workflow中指定仅运行部分节点。 在配置工作流时,打开“部分运行”开关,选择需要执行的部分运行场景,并填写完善相关节点的参数。