检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
保持一致。 数据类型:图片。 数据集输入位置:用来存放源数据集信息,例如本案例中从Gallery下载的数据集。单击图标选择您的OBS桶下的任意一处目录,但不能与输出位置为同一目录。 数据集输出位置:用来存放输出的数据标注的相关信息,或版本发布生成的Manifest文件等。单击图标
在本地的PyCharm开发环境中,单击File -> Settings -> Tools -> SSH Configurations,单击+号,增加一个SSH连接配置。 Host:云上开发环境的IP地址,即在开发环境实例页面远程访问模块获取的IP地址。例如:dev-modelarts-cnnorth4
准备Docker机器并配置环境信息 准备一台具有Docker功能的机器,如果没有,建议申请一台弹性云服务器并购买弹性公网IP,并在准备好的机器上安装必要的软件。 ModelArts提供了ubuntu系统的脚本,方便安装docker。 本地Linux机器的操作等同ECS服务器上的操作,请参考本案例。
elArts中的数据安全可靠。 数据保护手段 说明 静态数据保护 对于AI Gallery收集的用户个人信息中的敏感信息,如用户邮箱和手机号,AI Gallery在数据库中做了加密处理。其中,加密算法采用了国际通用的AES算法。 传输中的数据保护 在ModelArts中导入AI应
停止规格资源计费。可选择“1小时”、“2小时”、“4小时”、“6小时”或“自定义”几种模式。选择“自定义”模式时,可指定1~72小时范围内任意整数。 定时停止:开启定时停止功能后,该Notebook实例将在运行时长超出您所选择的时长后,自动停止。 说明: 出于对用户任务进度的保护
工具查看 nerdctl --namespace k8s.io image list 步骤三 构建ModelArts Lite训练镜像 获取模型软件包,并上传到机器SFS Turbo的目录下(可自定义路径),获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6
工具查看 nerdctl --namespace k8s.io image list 步骤三 构建ModelArts Lite训练镜像 获取模型软件包,并上传到机器SFS Turbo的目录下(可自定义路径),获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6
工具查看 nerdctl --namespace k8s.io image list 步骤三 构建ModelArts Lite训练镜像 获取模型软件包,并上传到机器SFS Turbo的目录下(可自定义路径),获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6
直接填写“预测代码”进行文本预测。 选择“multipart/form-data”时,需填写“请求参数”,请求参数取值等同于使用图形界面的软件进行预测(以Postman为例)Body页签中填写的“KEY”的取值,也等同于使用curl命令发送预测请求上传数据的参数名。 设置完成后,
匹配x或y。例如,“z|food”能匹配“z”或“food”。“(z|f)ood”则匹配“zood”或“food”。 “[xyz]” 字符集合。匹配所包含的任意一个字符。例如,“[abc]”可以匹配“plain”中的“a”。 更多正则表达式请参考表达式全集。 图1 按用户分流 如果在线服务部署多个
get pod 图3 启动成功的回显 执行如下命令,查看日志。日志显示如图所示表示成功执行动态路由。 kubectl logs {pod-name} 其中{pod-name}替换为实际pod名称,可以在5的回显信息中获取。 图4 成功执行动态路由的回显 只有任务节点大于等于3的训练任务才能成功执行动态路由。
PU)、CANN(NPU)。 自定义模型使用的预置镜像 AI Gallery提供了PyTorch基础镜像,镜像里已经安装好了运行任务所需的软件,供自定义模型直接使用,快速进行训练、推理。预置镜像的版本信息请参见表3。 表3 AI Gallery预置镜像列表 引擎类型 资源类型 版本名称
地址{image_url}获取请参见表1。 docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.907-xxx.zip和算子包AscendCloud-OPP-6.3.907-xxx.zip到主机中,包获取路径请参见表2。
False True 执行 False 执行 默认规则:当某个节点依赖的所有节点状态均为跳过时,该节点自动跳过,否则正常执行,此判断逻辑可扩展至任意节点。 在上述案例的基础上,如果需要打破默认规则,在job_step_a以及job_step_b跳过时,model_step也允许执行,则
地址{image_url}获取请参见表1。 docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.908-xxx.zip和算子包AscendCloud-OPP-6.3.908-xxx.zip到主机中,包获取路径请参见表2。
(包括通用SSO、高IO和超高IO)。 添加容器数据盘 部分规格支持额外挂载容器数据盘,可以看到“添加容器数据盘”参数,单击该参数前面的+号,可以给专属资源池的每个实例额外挂载容器数据盘,此处挂载的盘都是EVS云硬盘,会单独收费。 支持设置挂载盘的磁盘类型、大小和数量,具体取值以控制台实际显示为准。
csv格式,支持用户进行文本分类、命名实体、文本三元组三种类型的标注。 视频:对视频类数据进行处理,支持.mp4格式,支持用户进行视频标注。 自由格式:管理的数据可以为任意格式,目前不支持标注,适用于无需标注或开发者自行定义标注的场景。如果您的数据集需存在多种格式数据,或者您的数据格式不符合其他类型数据集时,可选择自由格式的数据集。
执行以下脚本,生成文本。 sh ./generate_text.sh 若回显信息如下,则表示生成文本完成。 图8 生成文本完成信息 查看模型生成的文本文件。 cat unconditional_samples.json 回显信息如下: 图9 文件信息 开启交互式对话模式。 执行以下命令,创建文本生成脚本。
开启自动停止功能后,可选择“1小时”、“2小时”、“4小时”、“6小时”或“自定义”几种模式。选择“自定义”模式时,可指定1~24小时范围内任意整数。 填写Notebook详细参数,如镜像、资源规格等。 镜像:在“自定义镜像”页签选择已上传的自定义镜像。 资源类型:按实际情况选择已创建的专属资源池。
nd" 图17 配置云端python解释器 云端Notebook安装依赖。 打开“Tool>Start SSH Section”,安装依赖软件。 # 进入MindSpore环境 source /home/ma-user/anaconda3/bin/activate MindSpore