检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议用户新建一个文件夹（例如：tb_logs），将tensorboard的日志文件（例如：tb.events）放到新建的文件夹下，然后执行tensorboard命令。示例命令如下： mkdir -p ./tb_logs mv tb.events ./tb_logs tensorboard
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/tokenizers/Qwen2-72B
on device”。 同一目录下创建较多文件，为了加快文件检索速度，内核会创建一个索引表，短时间内创建较多文件时，会导致索引表达到上限，进而报错。 触发条件和下面的因素有关： 文件名越长，文件数量的上限越小 blocksize越小，文件数量的上限越小。（ blocksize，系统默认
Turbo文件系统。同一区域不同可用区之间文件系统与云服务器互通，因此保证SFS Turbo与Server服务器在同一区域即可。 当创建文件系统后，您需要使用弹性裸金属服务器来挂载该文件系统，具体步骤请参考挂载NFS协议类型文件系统到云服务器（Linux）。 为避免已挂载文件系统的云服务器重启后，挂载信息丢失，您可
7936补充规范。Web IDL中的WebSocket API由W3C标准化。 WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就可以建立持久性的连接，并进行双向数据传输。 前提条件
在ModelArts中如何查看OBS目录下的所有文件？ 在使用Notebook或训练作业时，需要查看目录下的所有文件，您可以通过如下方式实现： 通过OBS管理控制台进行查看。 使用当前账户登录OBS管理控制台，去查找对应的OBS桶、文件夹、文件。 通过接口判断路径是否存在。在已有的No
在调用指南页签中显示的调用地址都是华为云APIG（API网关服务）的地址。调用发起方的客户端和华为云网络不通。 处理方法 如果客户端位于华为云网络之外，保证客户端所处的网络环境可以连接Internet； 如果客户端位于华为云网络内，默认的网络配置即可以访问通这个地址，避免设置特殊的网络配置，例如防火墙规则等。
7936补充规范。Web IDL中的WebSocket API由W3C标准化。 WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手，两者之间就可以建立持久性的连接，并进行双向数据传输。 前提条件
在业务执行前加如下命令，检查是否能找到so文件。如果已经找到so文件，执行2；如果没有找到，执行3。 import os; os.system(find /usr -name *libcudart.so*); 设置环境变量LD_LIBRARY_PATH，设置完成后，重新下发作业即可。 例如so文件的存放路径为
使用moxing适配OBS路径，pandas读取文件报错 问题现象 使用moxing适配OBS路径，然后用较高版本的pandas读取OBS文件报出如下错误： 1.‘can't decode byte xxx in position xxx’ 2.‘OSError:File isn't
Standard平台会自动运行训练作业的启动文件。 Ascend-Powered-Engine框架的启动文件的默认启动方式如下： 每个训练作业的启动文件的运行次数取决于任务卡数，即在训练作业运行时，有N个任务卡数训练作业内就会运行N次启动文件。例如，单机1卡，则worker-0任务的启动文件会被运行1次；单
ModelArts通过OBS的API访问OBS中的文件，算内网还是公网？ 在同一区域，ModelArts通过OBS的API访问OBS中的文件属于内网通信，不消耗公网流量费。 如果是通过互联网从OBS下载数据到本地，这时候会产生OBS公网流量费。OBS的详细计费说明可以参见计费项。
字段。 log_file_list String 训练作业的日志文件名。单机作业日志仅有一个文件，分布式作业日志有多个文件。 请求示例 如下以获取“job_id”为10，“version_id”为10的作业日志文件为例。 GET https://endpoint/v1/{p
建议用户新建一个文件夹（例如：tb_logs），将tensorboard的日志文件（例如：tb.events）放到新建的文件夹下，然后执行tensorboard命令。示例命令如下： mkdir -p ./tb_logs mv tb.events ./tb_logs tensorboard
创建模型时，OBS文件目录对应镜像里面的目录结构是什么样的？ 问题现象 创建模型时，元模型来源指定的OBS目录下存放了自定义的文件和文件夹，都会复制到镜像中去。复制进去的路径是什么，怎么读取对应的文件或者文件夹里面的内容？ 原因分析 通过OBS导入模型时，ModelArts会将指
打开VS Code的配置文件settings.json 在VS Code环境中执行Ctrl+Shift+P 搜Open Settings（JSON） 父主题： VS Code使用技巧
大量数据文件，训练过程中读取数据效率低？ 当数据集存在较多数据文件（即海量小文件），数据存储在OBS中，训练过程需反复从OBS中读取文件，导致训练过程一直在等待文件读取，效率低。 解决方法 建议将海量小文件，在本地压缩打包。例如打包成.zip格式。 将此压缩后的文件上传至OBS。
集、模型等大型文件，建议申请规格300GB+。存储支持在线按需扩容。 图2 自定义存储配置 使用Notebook将OBS数据导入云硬盘EVS 打开已创建的Notebook实例，选择Notebook的python-3.9.10，即可编辑Untitled.ipynb文件。编写以下代码，并运行Untitled
Standard上运行GPU多机多卡训练作业 操作流程 准备工作： 购买服务资源（VPC/SFS/OBS/SWR/ECS） 配置权限 创建专属资源池（打通VPC） ECS服务器挂载SFS Turbo存储 在ECS中设置ModelArts用户可读权限 安装和配置OBS命令行工具 （可选）工作空间配置 模型训练：
如果您创建的Notebook使用EVS存储实例时 单击“upload”后，数据将直接上传至当前实例容器中，即在“Terminal”中的“~/work”目录下。 父主题： 文件上传下载
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
