检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
a-user/work”。 单击“提交”,在“信息确认”页面,确认训练作业的参数信息,确认无误后单击“确定”。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。 训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几
“环境变量”增加“MY_SSHD_PORT = 38888”。 “配置节点间SSH免密互信”开关打开,并设置“SSH密钥目录”,一般保持默认值。该配置会在下发训练作业后,自动在训练容器的“/home/ma-user/.ssh”目录下生成SSH密钥文件和配置文件“authorized_keys config id_rsa
创建成功后,Notebook实例的状态为“运行中”,单击操作列的“打开”,访问JupyterLab。 图2 打开Notebook实例 进入JupyterLab页面后,自动打开Launcher页面,如下图所示。您可以使用开源支持的所有功能,详细操作指导可参见JupyterLab官网文档。 图3 JupyterLab主页
作为AI应用页签的背景图展示在AI应用列表。建议使用16:9的图片,且大小不超过7MB。 如果未上传图片,AI Gallery会为AI应用自动生成封面。 应用描述 否 输入AI应用的功能介绍,AI应用创建后,将展示在AI应用页签上,方便其他用户了解与使用。 支持0~100个字符。
地址{image_url}获取请参见表1。 docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.908-xxx.zip和算子包AscendCloud-OPP-6.3.908-xxx.zip到主机中,包获取路径请参见表2。
单击搜索框右侧的按钮,可设置Workflow列表页需要展示的内容和展示效果。 表格内容折行:默认为关闭状态。启用此功能可以让Workflow列表页中的内容在显示时自动换行。禁用此功能可截断文本,Workflow列表页中仅显示部分内容。 操作列:默认为开启状态,启用此能力可让操作列固定在最后一列永久可见。
对比:针对某条工作流的所有运行记录,按照状态、运行记录、启动时间、运行时长、参数等进行对比。 图3 对比 当单击“启动”运行工作流时,运行记录列表会自动刷新,并更新至最新一条的执行记录数据,且与DAG图和总览数据面板双向联动更新数据。每次启动后都会新增一条运行记录。 用户可以单击Workf
置专属资源池容器引擎空间不会造成额外费用增加。 更多信息,请参见导入AI应用对镜像大小的约束限制。 自动学习项目中,在完成模型部署后,其生成的模型也将自动上传至模型列表中。但是自动学习生成的模型无法下载,只能用于部署上线。 Standard推理服务部署 只支持使用专属资源池部署的
apReduce服务(MRS)和本地上传。 数据集中的数据导入入口 数据集中的数据导入有5个入口。 创建数据集时直接从设置的数据导入路径中自动同步数据。 创建完数据集后,在数据集列表页面的操作栏单击“导入”,导入数据。 图1 在数据集列表页导入数据 在数据集列表页面,单击某个数据
通过运行install.sh脚本,还会git clone下载Megatron-LM、MindSpeed、ModelLink源码(install.sh中会自动下载配套版本,如果手动下载源码还需修改版本)至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下: AscendSpeed/
在构建镜像的过程中会下载完整的模型代码、执行环境,然后自动进行NPU适配,并将以上源码和环境打包至镜像中。 在ModelArts中创建训练作业如:SFT全参微调训练,执行代码包中例如:finetune/finetune_ds.sh 的脚本,开始训练。 在训练中,程序会自动执行对数据集预处理、权重转换、执
description="请输入一个只包含大小写字母、数字、下划线、中划线或者中文字符的名称。填写已有标注任务名称,则直接使用该标注任务;填写新标注任务名称,则自动创建新的标注任务") ), inputs=wf.steps.LabelingInput(name="labeling_input"
付欠款,那么付费资源(如计算规格、OBS桶)、等都将被冻结,资源进入保留期。保留期的资源不支持任何操作。如果用户在宽限期内充值,则华为云会自动扣取欠费金额(含宽限期内产生的费用) 保留期到期时仍未支付欠款(含宽限期内产生的费用),则付费资源将释放,数据无法恢复。 宽限期和保留期的详细规则请参见宽限期保留期。
UTC'的毫秒数。 description String 模型描述信息。 source_type String 模型来源的类型,仅当模型为自动学习部署过来时有值,取值为“auto”。 父主题: 模型管理
由于商用模型支持同时购买多种配额模式的资产,所以仅部署商用模型时需要进行配额选择。免费模型仅一种配额模式无需选择。 图2 修改配额 如果您选择部署的非商业模型,系统自动跳转至“部署”页面。 在部署页面中,无需再选择模型及其版本,参考部署模型的操作指导完成其他参数填写,即可部署为您需要的服务。 父主题: 创建模型
荐使用此工具创建桶或上传对象。obsutil是一款用于访问管理OBS的命令行工具,对于熟悉命令行程序的用户,obsutil是执行批量处理、自动化任务的好的选择。 如果您的业务环境需要通过API或SDK执行数据上传操作,或者您习惯于使用API和SDK,推荐选择OBS的API或SDK方法创建桶和上传对象。
ECS中DockerFIle构建新镜像:在ECS中,通过运行Dockerfile文件会在基础镜像上创建新的镜像。新镜像命名可自定义。Dockerfile会尝试自动下载三方依赖源码并安装依赖的pip包,并将以上源码打包至镜像环境中; 训练作业的资源池以及ECS都需要连通公网,否则会安装和下载失败。资源
cx,xls,xlsx,ppt,pptx,pdf,txt格式的附件,单个附件大小不超过20M,最多可传5个附件。 编辑AI说时,30秒钟后自动保存草稿,用户可单击“草稿箱”查看。 草稿箱可支持保存草稿记录共三条,存满后请手动删除;建议您及时发布重要内容,以免重要内容无法保存。 单击“发布”,跳转至技术文章详情页面。
通过运行install.sh脚本,还会git clone下载Megatron-LM、MindSpeed、ModelLink源码(install.sh中会自动下载配套版本,若手动下载源码还需修改版本)至llm_train/AscendSpeed文件夹中。下载的源码文件结构如下: |——AscendCloud-LLM
用户在使用ModelArts服务的过程中,为了简化用户的操作,ModelArts后台可以代替用户完成一些工作,如训练作业启动前自动下载用户OBS桶中的数据集到作业空间、自动转储训练作业日志到用户OBS桶中。 ModelArts服务不会保存用户的Token认证凭据,在后台异步作业中操作用户的