检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果type是DATASET,source为数据集ID。 如果type是CUSTOM且是资源租户调用,source为真实用户的project_id, 否则不需要这个字段。 type String 数据源类型。可选值如下: OBS:数据来源于OBS TASK:数据处理任务 DATASET:数据集 CUSTOM:资源租户调用
/home/mind/model/run_vllm.sh'。 图4 修改build_image.sh 执行build_image.sh脚本制作推理镜像。安装过程需要连接互联网git clone,请确保机器环境可以访问公网。 sh build_image.sh --base-image=${base_image}
dSpore系列。用户可以直接使用预置镜像启动Notebook实例,在实例中开发完成后,直接提交到ModelArts训练作业进行训练,而不需要做适配。 开发环境提供的预置镜像版本是依据用户反馈和版本稳定性决定的。当用户的功能开发基于ModelArts提供的版本能够满足的时候,建议
type”,表示MindSpore暂不支持该算子。 报错日志中搜到“Convert graph to om failed”,表示CANN模块进行图编译存在保存,需要结合CANN的报错日志和dump图进行具体分析。 Stable Diffusion WebUI如何适配? WebUI一般可以分为前端和后端
如果type是DATASET,source为数据集ID。 如果type是CUSTOM且是资源租户调用,source为真实用户的project_id, 否则不需要这个字段。 type String 数据源类型。可选值如下: OBS:数据来源于OBS TASK:数据处理任务 DATASET:数据集 CUSTOM:资源租户调用
团队标注成员任务状态。可选值如下: 6:已创建。 0:启动中。 1:运行中。 2:验收中。 3:通过,即团队标注任务已完成。 4:驳回,即需要重新修改标注和审核工作。 update_time Long 团队标注成员任务更新时间。 worker_id String 团队标注成员ID。
durationInMinutes * 60 * 1000)计算开始时间。如:-1.-1.60(表示最近60分钟)约束:单次请求中,查询时长与周期需要满足以下条件: durationInMinutes * 60 / period <= 1440。 statistics 否 String 统计方式。可选值如下:
tebook。 SSH:镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Notebook实例的镜像,需要指定镜像ID,ID格式为通用唯一识别码(Universally Unique Identifier,简称UUID)。预置镜像的ID参考查询支持的镜像列表获取。
E=/home/ma-user/anaconda3/envs/MindSpore 如果使用的基础镜像不是ModelArts提供的公共镜像,需要在Dockerfile文件中添加ModelArts指定的用户和用户组,具体可参考Dockerfile文件(基础镜像为非ModelArts提供)。
@#$%^&*_=|?/':.;,”其中的某一字符。 否 str 使用案例 主要包含三种场景的用例: 场景一:将指定存储路径下的数据导入到目标数据集中。适用于需要对数据集进行数据更新的操作。 用户将指定路径下已标注的数据导入到数据集中(同时导入标签信息),后续可增加数据集版本发布节点进行版本发布。
模型的版本数量。 请求模式 在线服务的请求模式。 同步请求:单次推理,可同步返回结果(约<60s)。例如: 图片、较小视频文件。 异步请求:单次推理,需要异步处理返回结果(约>60s)。例如: 实时视频推理、大视频文件。 创建时间 模型的创建时间。 描述 模型的描述。 操作 部署:将模型发布为在线服务、批量服务或边缘服务。
用户实际的安装路径为准。 图1 安装路径回显 刷新JupyterLab页面,可以看到新的kernel。 重启Notebook后kernel需要重新注册。 克隆原有的虚拟环境到SFS盘 # shell conda create --prefix /home/ma-user/work
tebook。 SSH:镜像支持本地IDE通过SSH协议远程连接Notebook。 id String 待创建Notebook实例的镜像,需要指定镜像ID,ID格式为通用唯一识别码(Universally Unique Identifier,简称UUID)。预置镜像的ID参考查询支持的镜像列表获取。
MB。 自定义数据 预训练数据:用户也可以自行准备预训练数据。数据要求如下: 使用标准的.json格式的数据,通过设置--json-key来指定需要参与训练的列。请注意huggingface中的数据集具有如下this格式。可以使用–json-key标志更改数据集文本字段的名称,默认为t
停止 continue 继续 data_requirements 否 Array of DataRequirement objects 工作流需要的数据。 parameters 否 Array of WorkflowParameter objects 参数。 表3 DataRequirement
如果type是DATASET,source为数据集ID。 如果type是CUSTOM且是资源租户调用,source为真实用户的project_id, 否则不需要这个字段。 type String 数据源类型。可选值如下: OBS:数据来源于OBS TASK:数据处理任务 DATASET:数据集 CUSTOM:资源租户调用
通过样本属性搜索。 parent_sample_id String 父样本ID。 sample_dir String 根据样本所在目录搜索(目录需要以/结尾),只搜索指定目录下的样本,不支持目录递归搜索。 sample_name String 根据样本名称搜索(含后缀名)。 sample_time
8 指定梯度累积的步数,这可以增加批次大小而不增加内存消耗。可根据自己要求适配 num_train_epochs 5 表示训练轮次,根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。可根据自己要求适配 cutoff_len 4096 文本处理时的最大长度,此处为4096,用户可根据自己要求适配。
执行代码存放的OBS地址,默认值为空,名称固定为“customize_service.py”。 推理代码文件需存放在模型“model”目录。该字段不需要填,系统也能自动识别出model目录下的推理代码。 否 str dependencies 推理代码及模型需安装的包,默认为空。从配置文件读取。
本示例仅用于示意Ascend容器镜像制作流程,且在匹配正确的Ascend驱动/固件版本的专属资源池上运行通过。 操作流程 使用自定义镜像创建训练作业时,需要您熟悉docker软件的使用,并具备一定的开发经验。详细步骤如下所示: Step1 创建OBS桶和文件夹 Step2 准备脚本文件并上传至OBS中