检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出Native Service包给其他用户使用 使用说明 当服务编排中,可以成功调用原生服务后,说明整个流程已经测通。此时,可以导出Native Service包给其他用户,其他用户可以在沙箱环境或者运行环境中安装该包,以便于使用该软件或进行定制。 操作步骤 当原生服务部署成功后
准备镜像环境 Step1 检查环境 请参考DevServer资源开通,购买DevServer资源,并确保机器已开通,密码已获取,能通过SSH登录,不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,
推理模型量化 使用AWQ量化 使用SmoothQuant量化 使用kv-cache-int8量化 使用GPTQ量化 父主题: 主流开源大模型基于DevServer适配PyTorch NPU推理指导(6.3.908)
预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作
查看日志和性能 查看日志 训练过程中,训练日志会在最后的Rank节点打印。 图1 打印训练日志 训练完成后,如果需要单独获取训练日志文件,可以在${SAVE_PATH}/logs路径下获取。日志存放路径为:/home/ma-user/ws/saved_dir_for_ma_output
LoRA微调训练 步骤1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中,可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中,具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作
训练脚本说明 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 父主题: 主流开源大模型基于DevServer适配ModelLink PyTorch NPU训练指导(6.3.907)
准备工作 准备环境 准备代码 准备镜像环境 准备数据(可选) 父主题: 主流开源大模型基于DevServer适配LlamaFactory PyTorch NPU训练指导(6.3.907)
预训练数据处理 训练前需要对数据集进行预处理,转化为.bin和.idx格式文件,以满足训练要求。 这里以Qwen-14B为例,对于Qwen-7B和Qwen-72B,操作过程与Qwen-14B相同,只需修改对应参数即可。 Alpaca数据处理说明 数据预处理脚本preprocess_data.py
场景介绍 ChatGLM3-6B大模型是一个包含多种参数数量模型的语言模型。 方案概览 本文档以ChatGLM3-6B(以下简称GLM3-6B)为例,利用训练框架Pytorch_npu+华为自研Ascend Snt9b硬件,为用户提供了开箱即用的预训练和全量微调方案。 本方案目前配套的是
对接ROMA Connect调用服务的API 应用与数据集成平台(ROMA Connect)是一个全栈式的服务平台,聚焦应用和数据连接,提供数据、API、消息和设备集成能力,帮助企业快速联接云上云下,消除数字鸿沟,实现数字化转型。在AstroZero中,通过连接器和ROMA Connect
开发环境规划管理 规划开发环境的目的是要保证开发人员更好的并行工作,减少依赖,减少搭建环境的工作量,降低生产环境上线的风险。 管理开发环境的目的是为了更好的进行开发测试,部署上线。 图1 开发环境 结合项目经验,一般会按照图1规划开发环境: 搭建内网本地开发环境。本地开发环境的好处是各个业务
修改组策略 本地组策略编辑器 打开运行窗口,输入gpedit.msc,打开本地组策略编辑器。 图1 打开组策略 使用指定的远程桌面许可证服务器 选择“计算机配置 > 管理模板 > Windows组件 > 远程桌面服务 > 远程桌面会话主机 > 授权”,双击“使用指定的远程桌面许可证服务器
授权并激活远程桌面服务 前提条件 已提前申购企业许可号码,并获取相关信息。 已获取服务器管理员账号与密码。 操作步骤 使用管理员账号登录服务器。 选择“开始 > 管理工具 > 远程桌面服务 >RD授权管理器”,打开RD授权管理器界面。 选择未激活的目标服务器,鼠标右键选择“激活服务器
安装RemoteApp程序 V3.3.26.0及以上版本需要在应用发布服务器中安装RemoteAppProxy跳板工具。 前提条件 已获取服务器管理员账号与密码。 操作步骤 使用管理员账号登录服务器。 在服务器中,下载RemoteaProxyInstaller_xxx.zip(xxx
安装RemoteApp程序 V3.3.26.0及以上版本需要在应用发布服务器中安装RemoteAppProxy跳板工具。 前提条件 已获取服务器管理员账号与密码。 操作步骤 使用管理员账号登录服务器。 在服务器中,下载RemoteaProxyInstaller_xxx.zip(xxx
添加请求信息(思考时间) 为了更好的模拟用户的行为,需要模拟用户在不同操作之间等待的时间,例如,当用户收到来自服务器的数据时,可能要等待几秒查看数据,然后再做出响应,这种延迟,就称为思考时间。 操作步骤 登录性能测试服务控制台,在左侧导航栏中选择“PerfTest测试工程”。 在待编辑
IE 10&IE 11浏览器无法保存数据 问题 通过IE 10&IE 11浏览器访问Loader界面,提交数据后,会报错。 回答 现象 保存提交数据,出现类似报错:Invalid query parameter jobgroup id. cause: [jobgroup]。 原因
建表,主键自增create table aaa( id bigint identity(1,1) not null PRIMARY key, name nvarchar(255) );navicat没办法给主键列,加identity,只能用sql建表赋值时,identity列不能赋值
原文:[constr_1665]{DRAFT} Unique ApApplicationError.errorCode⌈ Within the set of all ApApplicationErrors that reference a given ApApplicationErrorDomain