检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何将git clone的py文件变为ipynb文件 在ipynb文件中,执行%load XXX.py命令,即可将py文件内容加载到ipynb中。以“test.py”文件为例,下图展示了如何将“test.py”的文件内容加载到ipynb文件中。 图1 test.py文件 图2 将“test
1-70B-Instruct 权重文件下载有如下几种方式,但不仅限于以下方式: 方法一:网页下载:通过单击表格中权重文件获取地址的访问链接,即可在模型主页的Files and Version中下载文件。 方法二:huggingface-cli:huggingface-cli是 Hugging Face
代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的文件系统,work_dir为宿主机中工作目录,目录下存放着训练所需代码、数据等文件。container_dir为要挂载到的容器中的目录。为方便两个地址可以相同。 shm-size:共享内存大小。 ${container_name}:
tokenizer_config.json └── visual.py 赋予容器访问权重文件的权限。上传代码和数据到宿主机时使用的是root用户,此处需要执行如下命令统一文件属主为ma-user用户。 #统一文件属主为ma-user用户 sudo chown -R ma-user:ma-group
如何导入大文件到Notebook中? 大文件(大于100MB的文件) 针对大文件,建议使用OBS服务上传文件。使用OBS客户端,将本地文件上传至OBS桶中,然后使用ModelArts SDK从OBS下载文件至Notebook本地。 使用OBS客户端上传文件的操作指导:上传文件。 使用ModelArts
MoXing如何访问文件夹并使用get_size读取文件夹大小? 问题现象 使用MoXing无法访问文件夹。 使用MoXing的“get_size”读取文件夹大小,显示为0。 原因分析 使用MoXing访问文件夹,需添加参数:“recursive=True”,默认为False。 处理方法
如何下载Notebook中的文件到本地? Notebook中JupyterLab下载文件到本地的方式,请参见从JupyterLab下载文件至本地。 父主题: 文件上传下载
如何在Notebook中上传下载OBS文件? 在Notebook中可以通过调用ModelArts的Moxing接口或者SDK接口与OBS交互,将Notebook中的文件上传至OBS,或者下载OBS中的文件至Notebook中。 图1 Notebook中上传下载OBS文件 使用OBS客户端上传文件的操作指导:上传文件
2-3B-Instruct 权重文件下载有如下几种方式,但不仅限于以下方式: 方法一:网页下载:通过单击表格中权重文件获取地址的访问链接,即可在模型主页的Files and Version中下载文件。 方法二:huggingface-cli:huggingface-cli是 Hugging Face
失败原因。 config 不同infer_type的config结构数组 不同infer_type的config结构数组 服务配置(如果是共享过来的服务,只返回model_id ,model_name,model_version) access_address String 推理
images查询得到。 --shm-size:表示共享内存,用于多进程间通信。由于需要转换较大内存的模型文件,因此大小要求200g及以上。 修改目录权限,上传代码和数据到宿主机时使用的是root用户,如用ma-user用户训练,此处需要执行如下命令统一文件权限。 #统一文件权限 chmod -R 777
volumes属性列表 参数 是否必选 参数类型 说明 nfs 否 Object 共享文件系统类型的存储卷。仅支持运行于已联通共享文件系统网络的资源池的训练作业。具体说明请参见表6。 host_path 否 Object 主机文件系统类型的存储卷。仅支持运行于专属资源池中的训练作业。具体说明请参见表7。
场景。关闭绑核表示关闭工作负载实例独占CPU的功能,优点是CPU共享池可分配的核数较多。也可关闭系统默认绑核后,在业务容器中用taskset等方式进行灵活绑核。 Dropcache:开启后表示启用Linux的缓存清理功能,是一种应用性能调优手段,在大部分场景下可以提升应用性能。但
images查询得到。 --shm-size:表示共享内存,用于多进程间通信。由于需要转换较大内存的模型文件,因此大小要求200g及以上。 修改目录权限,上传代码和数据到宿主机时使用的是root用户,如用ma-user用户训练,此处需要执行如下命令统一文件权限。 #统一文件权限 chmod -R 777
images查询得到。 --shm-size:表示共享内存,用于多进程间通信。由于需要转换较大内存的模型文件,因此大小要求200g及以上。 修改目录权限,上传代码和数据到宿主机时使用的是root用户,如用ma-user用户训练,此处需要执行如下命令统一文件权限。 #统一文件权限 chmod -R 777
注册并登录华为云,且创建好OBS桶用于存储数据和模型。 如果是订阅使用HiLens技能,则需要获取相关服务权限,详细操作请参见准备工作(华为HiLens)。 订阅免费模型 登录“AI Gallery”。 选择“资产集市 > 模型”,进入模型页面,该页面展示了所有共享的模型,包括M
在Notebook中上传文件失败,如何解决? 问题现象 文件上传很快,但是上传失败。 上传文件到Notebook时,界面一直在转圈;使用Moxing命令上传,报错;上传OBS文件时,打开OBS浏览器也不显示桶,一直在“获取数据中”。 在JupyterLab界面通过ModelArts
--shm-size:表示共享内存,用于多进程间通信。由于需要转换较大内存的模型文件,因此大小要求200g及以上。 通过容器名称进入容器中。启动容器时默认用户为ma-user用户。 docker exec -it ${container_name} bash 上传代码和数据到宿主机时使用的是root
确保目录下无影响容器启动的文件,否则文件会被替换,导致容器启动异常,工作负载创建失败。 storage_type 否 String 挂载类型sfs_turbo极速文件系统挂载。 source_address 否 String 挂载源路径,挂载为极速文件时为sfs turbo id。
ation/octet-stream,返回临时下载链接。 X-Auth-Token 是 String 用户token 表3 请求Body参数 参数 是否必选 参数类型 描述 app_name 是 String app名称。 app_remark 否 String app备注。 workspace_id