检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买并开通资源 如果使用Server资源，请参考Lite Server资源开通，购买Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169
购买并开通资源 如果使用Server资源，请参考Lite Server资源开通，购买Server资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169
本章节介绍了2种精度测评方式，分别为Lm-eval工具和MME工具。 lm-eval工具适用于语言模型的推理精度测试，数据集包含mmlu、ARC_Challenge、GSM_8k、Hellaswag、Winogrande、TruthfulQA等，该工具为离线测评，不需要启动推理服务。 MME工具适用于多模态模型的
/ma-user/file1.txt', dst_obs_dir='obs://bucket-name/dir1/') 示例代码执行后，本地源文件“file1.txt”被上传至“bucket-name”桶的“dir1”文件夹下，路径为“obs://bucket-name/dir1/file1
停止实例，进入实例详情页。 更新密钥：单击“认证”旁边的编辑按钮，然后单击“立即创建”创建并选择新密钥。 重新使用VS Code连接实例，选择新创建的密钥。 父主题： VS Code连接开发环境失败故障处理
由于权限配置需要等待15-30分钟生效，建议在配置完成后，等待30分钟，再执行如下验证操作。 使用用户组02中任意一个子用户登录ModelArts管理控制台。在登录页面，请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码，请根据界面提示进行修改。 验证ModelArts权限。 在左上角的服务列表中，
由于4中的权限需要等待15-30分钟生效，建议在配置完成后，等待30分钟，再执行如下验证操作。 使用用户组02中任意一个子账号登录ModelArts管理控制台。在登录页面，请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码，请根据界面提示进行修改。 验证ModelArts权限。 在左上角选择区域，区域需与授权配置中的区域相同。
放在/mnt/sfs_turbo/training_data目录下。 通过拖拽文件的方式，上传文件。使用CloudShell或者其它SSH远程工具。数据存放参考目录： /mnt/sfs_turbo/training_data |── train-00000-of-0
放在/mnt/sfs_turbo/training_data目录下。 通过拖拽文件的方式，上传文件。使用CloudShell或者其它SSH远程工具。数据存放参考目录： /mnt/sfs_turbo/training_data |── train-00000-of-0
放在/mnt/sfs_turbo/training_data目录下。 通过拖拽文件的方式，上传文件。使用CloudShell或者其它SSH远程工具。数据存放参考目录： /mnt/sfs_turbo/training_data |── train-00000-of-0
由于权限配置需要等待15-30分钟生效，建议在配置完成后，等待30分钟，再执行如下验证操作。 使用用户组02中任意一个子账号登录ModelArts管理控制台。在登录页面，请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码，请根据界面提示进行修改。 验证ModelArts权限。 在左上角的服务列表中，
后的Lite资源池详情页面中通过“标签”页签设置标签信息。 管理 登录凭证 集群登录方式，可以设置密码登录，也可以设置密钥对登录。 密码登录：默认用户名为root，用户自己设置密码。 密钥对（KeyPair）登录：可以选择已有的密钥对，或者单击右侧的“创建密钥对”，先去创建一个密钥对。
Deepseek-v2系列模型的W8A8量化需要使用llm-compressor工具。 SmoothQuant量化模型 本章节介绍如何使用SmoothQuant量化工具实现推理量化。 SmoothQuant量化工具使用到的脚本存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools目录下。
Server，ECS）是由CPU、内存、操作系统、云硬盘组成的一种可随时获取、弹性可扩展的云服务器。具体过程请参考ECS文档购买一个Linux弹性云服务器。创建完成后，单击“远程登录”，可直接访问ECS服务器。 注意：CPU架构必须选择鲲鹏计算；镜像推荐选择EulerOS；ECS服务器确保可以访问公网，用于获取镜像和构建镜像。
ir='/home/ma-user/', dst_obs_dir='obs://bucket-name/dir1/') 示例代码执行后，本地源文件夹“/ma-user/”被上传至“bucket-name”桶的“dir1”文件夹下，路径为“obs://bucket-name/di
放在/mnt/sfs_turbo/training_data目录下。 通过拖拽文件的方式，上传文件。使用CloudShell或者其它SSH远程工具。数据存放参考目录： /mnt/sfs_turbo/training_data |── train-00000-of-0
Windows：C:\Users\{{user}} macOS/Linux： Users/{{user}} 解决方法二： 请检查文件和文件夹权限。 父主题： VS Code连接开发环境失败故障处理
其中，加粗的斜体字段需要根据实际值填写： iam_endpoint为IAM的终端节点。 user_name为IAM用户名。 user_password为用户登录密码。 domain_name为用户所属的帐号名。 cn-north-1为项目名，代表服务的部署区域。 返回状态码“201 Created
图1。Entrypoint参数中指定的可执行文件或命令会覆盖镜像的默认启动命令，Entrypoint中指定的执行命令内容不在镜像中预置，在本地环境通过docker run启动通过Notebook保存的镜像，报错创建容器任务失败，启动文件或目录不存在，如图2。 因此需要设置--en
已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。 Step1 上传权重文件 将权重文件上传到集群节点机器中。权重文件的格式要求为Huggi
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
