正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询第51-100条记录 print(dataset_list) 参数说明 表1 请求参数 参数 是否必选 参数类型 描述 session 是 Object 会话对象,初始化方法请参见Session鉴权。 dataset_type 否 Integer 根据数据集类型查询数据集列表,默认为空。可选值如下:
本地上传:将本地数据直接通过Internet上传至OBS指定目录后,再导入数据集。 表格型数据来源 表格数据集支持从5种数据源导入数据,分别为对象存储服务(OBS)、数据仓库服务(DWS)、数据湖探索服务(DLI)、MapReduce服务(MRS)和本地上传。 数据集中的数据导入入口
MA_STUDIO TENSOR_BOARD WEB_IDE extensions Map<String,String> 通过应用专属URL直接打开应用进入远程开发模式。 ssh_keys Array of strings SSH密钥对名称列表,允许设置多个密钥对实现同时对SSH实例的访问。
如何导入大文件到Notebook中? 大文件(大于100MB的文件) 针对大文件,建议使用OBS服务上传文件。使用OBS客户端,将本地文件上传至OBS桶中,然后使用ModelArts SDK从OBS下载文件至Notebook本地。 使用OBS客户端上传文件的操作指导:上传文件。 使用ModelArts
大于500MB数据量,请先上传到OBS中,再从OBS下载到云上Notebook。 图1 数据通过OBS中转上传到Notebook 上传数据至OBS,具体操作请参见上传文件至OBS桶。 将OBS中的数据传至Notebook中,通过在本地IDE的Terminal中使用ModelArts提供的Moxing库的文件操作API(mox
MA_STUDIO TENSOR_BOARD WEB_IDE extensions Map<String,String> 通过应用专属URL直接打开应用进入远程开发模式。 ssh_keys Array of strings SSH密钥对名称列表,允许设置多个密钥对实现同时对SSH实例的访问。
r资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254
[Errno xx] Broken pipe”。 原因分析 出现该问题的可能原因如下: 在大规模分布式作业上,每个节点都在拷贝同一个桶的文件,导致OBS桶限流。 OBS Client连接数过多,进程/线程之间的轮询,导致一个OBS Client与服务端连接30S内无响应,超过超时时间,服务端断开了连接。
因为您在使用ModelArts过程中,将数据上传至OBS进行存储,OBS会根据实际存储的数据进行计费。建议前往OBS管理控制台,清理您不再使用的数据、文件夹以及OBS桶,避免产生不必要的费用。 您在创建Notebook时,选择了云硬盘EVS存储,该存储会单独收费,Notebook停止后,EVS还在计费,请及时删除该Notebook实例。
int,一般在10-20之间,值越大,搜索时间越长,效果越好 kind 采集函数类型 string,默认为'ucb',可能取值还有'ei'、'poi',一般不建议用户修改 kappa 采集函数ucb的调节参数,可理解为上置信边界 float,一般不建议用户修改 xi 采集函数poi和ei的调节参数 float,一般不建议用户修改
Notebook的详细资料请查看Notebook使用场景介绍。 本案例中的训练作业需要通过SFS Turbo挂载盘的形式创建,因此需要将上述数据集、代码、权重文件从OBS桶上传至SFS Turbo中。 用户需要创建开发环境Notebook,并绑定SFS Turbo,以便能够通过Notebook访问SFS T
config.json # 请求的参数,根据实际启动的服务来调整 ├── mmlu_subject_mapping.json # 数据集配置 ├── evaluators ├── evaluator
助力开发者快速了解并学习大模型。 构建零门槛线上模型体验,零基础开发者开箱即用,初学者三行代码使用所有模型 通过AI Gallery的AI应用在线模型体验,可以实现模型服务的即时可用性,开发者无需经历繁琐的环境配置步骤,即可直观感受模型效果,快速尝鲜大模型,真正达到“即时接入,即时体验”的效果。
Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的 llm_train/AscendSpeed 代码目录。 图1 创建训练作业 若镜像使用使用基础镜像(二选一)中的基础镜像时,训练作业启动命令中输入:
在ModelArts上训练模型,输入输出数据如何配置? ModelArts支持用户上传自定义算法创建训练作业。上传自定义算法前,请完成算法开发并上传至OBS桶。创建算法请参考使用预置框架创建算法。创建训练作业请参考创建训练作业指导。 解析输入路径参数、输出路径参数 运行在ModelArts的模
如何将多个物体检测的数据集合并成一个数据集? 可以在OBS桶中创建一个父级目录,目录下面设置不同的文件夹,将多个数据集分别导出到这些文件夹里面,最后用父目录创数据集即可。 登录ModelArts管理控制台,选择“数据管理>数据集”进入数据集概览页,单击右上角“导出”,将对应的数据
Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的 llm_train/AscendSpeed 代码目录。 图1 创建训练作业 若镜像使用使用基础镜像(二选一)中的基础镜像时,训练作业启动命令中输入:
中即可。 大于500MB数据量,请先上传到OBS中,再从OBS上传到云上开发环境。 操作步骤 上传数据至OBS。具体操作请参见上传文件至OBS桶。 或者在本地VS Code的Terminal中使用ModelArts SDK完成数据上传至OBS。首先在本地VS Code中单击上方菜
Step1 创建训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及选择上传的镜像。 代码目录选择:OBS桶路径下的 llm_train/AscendSpeed 代码目录。 图1 创建训练作业 若镜像使用使用基础镜像(二选一)中的基础镜像时,训练作业启动命令中输入:
介绍如何在Notebook中配置NPU环境,部署并启动推理服务,完成精度测试和性能测试。 在推理生产环境中部署推理服务 介绍如何在创建AI应用,部署并启动推理服务,在线预测在线服务。 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.905)