检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
面向AI开发零基础的用户 使用Standard自动学习实现口罩检测 本案例基于华为云AI开发者社区AI Gallery中的数据集资产,让零AI基础的开发者使用ModelArts Standard的自动学习功能完成“物体检测”AI模型的训练和部署。
当华为云技术支持发起运维申请后,按钮会变为可点状态。 在完成运维操作后,华为云技术支持会主动关闭已获得授权,无需您额外操作。 重启节点 在节点的操作列,选择“更多>重启”,支持重启单个节点。也可以勾选节点名称,在节点列表上方单击“重启”,进行批量重启节点操作。
#进入scripts目录换 cd /home/ma-user/ws/llm_train/AscendSpeed #执行安装命令 sh scripts/install.sh 为了避免因使用不同版本的 transformers 库进行训练和推理而导致冲突的问题,建议用户分别为训练和推理过程创建独立的容器环境
零改造迁移 提供业界通用的k8s接口使用资源,业务跨云迁移无压力。 SSH直达节点和容器,一致体验。
准备工作 注册华为账号并开通华为云、实名认证 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中涉及到OBS、SWR、IEF等服务交互,首次使用ModelArts需要用户配置委托授权,允许访问这些依赖服务。
配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: 硬盘限制故障
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 关于充值的详细操作请参见账户充值。 欠费受限 您购买的资源欠费后,会导致部分操作受限,建议您尽快续费。
在推理场景下使用,可以对于模型的图和算子运行内置的知识库进行自动优化,以提升模型的运行效率。 自动高性能算子生成工具AKG AKG(Auto Kernel Generator)对深度神经网络中的算子进行优化,并提供特定模式下的算子自动融合功能。
图5 打开代码文件 在JupyterLab中直接调用ModelArts提供的SDK,创建训练作业,上云训练。 调用SDK创建训练作业的操作请参见调用SDK创建训练作业。 父主题: 通过JupyterLab在线使用Notebook实例进行AI开发
具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置GPTQConfig的参数,并且创建一个数据集用于校准量化的权重,以及一个tokenizer
单击“名称/ID”,进入服务器详情页面,查看虚拟私有云配置信息。
配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE(VS Code)开发模型。 父主题: 硬盘限制故障
配置本地IDE(Pycharm或者VSCode)联接云上环境调试请参考使用本地IDE开发模型。 父主题: OBS操作相关故障
图7 登录节点 方式2:通过华为云自带的远程登录功能 使用华为云账号登录CCE管理控制台。 在CCE集群详情页面,单击“节点管理”页签,在“节点”页签中单击需要登录的节点名称,跳转至弹性云服务器页面。
单击“名称/ID”,进入服务器详情页面,查看虚拟私有云配置信息。
global user.email "you@example.com" && \ git config --global user.name "Your Name" && \ 编辑llm_train/AscendSpeed中的Dockerfile文件,修改安装transformers库代码的位置
global user.email "you@example.com" && \ git config --global user.name "Your Name" && \ 编辑llm_train/AscendSpeed中的Dockerfile文件,修改安装transformers库代码的位置
具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置GPTQConfig的参数,并且创建一个数据集用于校准量化的权重,以及一个tokenizer
具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置GPTQConfig的参数,并且创建一个数据集用于校准量化的权重,以及一个tokenizer
具体操作如下: 开始之前,请确保安装了以下库: pip install auto-gptq pip install --upgrade accelerate optimum transformers 设置GPTQConfig的参数,并且创建一个数据集用于校准量化的权重,以及一个tokenizer