检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多个文件同时上传时,JupyterLab窗口最下面会显示上传文件总数和已上传文件数。 上传文件入口 方式一:使用JupyterLab打开一个运行中的Notebook环境。 图1 直接将文件拖拽到JupyterLab窗口左边的空白处上传。 方式二:单击窗口上方导航栏的ModelArts
String 特征分析的缓存路径。 analysis_status Integer 特征分析任务的当前状态。可选值如下: 0:初始化 1:运行中 2:完成 3:失败 analysis_task_id String 特征分析的任务ID。 annotated_sample_count
模型来源选择“从对象存储服务(OBS)中选择”,元模型选择转换后模型的存储路径,AI引擎选择“Custom”,引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。 图2 设置AI应用 单击“立即创建”开始AI应用创建,待应用状态显示“正常”即完成AI应用创建。 首次创建AI应用预
模型来源选择“从对象存储服务(OBS)中选择”,元模型选择转换后模型的存储路径,AI引擎选择“Custom”,引擎包选择准备镜像中上传的推理镜像。 系统运行架构选择“ARM”。 图2 设置AI应用 单击“立即创建”开始AI应用创建,待应用状态显示“正常”即完成AI应用创建。 若权重文件大于60
面。“公共镜像”选择“MindSpore”的,其他参数默认。具体操作请参考创建Notebook实例。 创建完成后Notebook的状态为“运行中”,单击“操作列”的“打开”,自动进入JupyterLab界面,打开Terminal。 在Notebook中制作自定义镜像 首先配置鉴权
'original_max_position_embeddings': 8192, 'rope_type': 'llama3'} 解决方法:升级transformers版本到4.43.1:pip install transformers --upgrade 问题5:使用Smooth
'original_max_position_embeddings': 8192, 'rope_type': 'llama3'} 解决方法:升级transformers版本到4.43.1:pip install transformers --upgrade 问题5:使用Smooth
描述 cluster_id 否 String MRS集群ID。可登录MRS控制台查看。 cluster_mode 否 String MRS集群运行模式。可选值如下: 0:普通集群 1:安全集群 cluster_name 否 String MRS集群名称。可登录MRS控制台查看。 database_name
训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换,则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换,则在运行脚本中必须删除CONVERT_MG2HF变量。 对于Yi系列模型、ChatGLMv3-6B和Q
训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换,则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换,则在运行脚本中必须删除CONVERT_MG2HF变量。 对于Yi系列模型、ChatGLMv3-6B和Q
训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换,则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换,则在运行脚本中必须删除CONVERT_MG2HF变量。 对于Yi系列模型、ChatGLMv3-6B和Q
不同模型推荐的参数与NPU卡数设置 模型 Template 模型参数量 训练策略类型 序列长度cutoff_len 梯度累积值 优化工具 (Deepspeed) 规格与节点数 Qwen-VL Qwen-VL 7B full 2048 gradient_accumulation_steps: 16 ZeRO-3
--all # 删除所有的安装包及cache 安装完外部库后保存镜像环境 ModelArts的新版Notebook提供了镜像保存功能。支持一键将运行中的Notebook实例保存为镜像,将准备好的环境保存下来,可以作为自定义镜像,方便后续使用。保存镜像,安装的依赖包不会丢失。安装完依赖包
删除网络资源 更新网络资源 查询资源实时利用率 创建资源池 查询资源池列表 查询资源池 删除资源池 更新资源池 资源池监控 资源池统计 查询资源规格列表 查询专属资源池作业列表 查询专属资源池作业统计信息
调用成功时无此字段。 job_id Long 可视化作业的ID。 job_name String 可视化作业的名称 status Integer 可视化作业的运行状态,详细作业状态列表请参见作业状态参考。 create_time Long 可视化作业的创建时间,时间戳格式。 service_url String
则app_url/boot_file_url和engine_id无需填写。 parameter 否 Array<Object> 训练作业的运行参数,为“label-value”格式。该样例请参考请求示例;当为自定义镜像训练作业的时候,此参数为容器环境变量。表5 data_url 否
处理后删除的图片数量。 description String 数据处理任务的版本描述。 duration_seconds Integer 数据处理任务的运行时间,单位秒。 inputs Array of ProcessorDataSource objects 数据处理任务的输入通道。 modified_sample_count
--trust_remote_code --output_path ${output_path} 参数说明: model_args:标志向模型构造函数提供额外参数,比如指定运行模型的数据类型; vllm_path是模型权重路径; max_model_len 是最大模型长度,默认设置为4096; gpu_memor
# 三方依赖的代码仓,和补丁patch包 |──src/acs_train_solution/ # 训练运行包 |──intall.sh # 安装脚本 |——dependences.yaml
训练完成的权重文件默认不会自动转换为Hugging Face格式权重。如果需要自动转换,则在运行脚本添加变量CONVERT_MG2HF并赋值TRUE。如果用户后续不需要自动转换,则在运行脚本中必须删除CONVERT_MG2HF变量。转换的Hugging Face格式权重会保存至OUTPUT_SAVE_DIR的目录中。