云服务器内容精选

  • 上传数据集至SFS Turbo 准备数据集,例如根据Alpaca数据部分给出的预训练数据集、SFT全参微调训练、LoRA微调训练数据集下载链接下载数据集。可通过两种方式,将数据集上传至SFS Turbo中。 方式一:将下载的原始数据通过SSH直接上传至SFS Turbo中。具体步骤如下: 进入到/mnt/sfs_turbo/目录下。创建目录“training_data”,将原始数据存放在/mnt/sfs_turbo/training_data目录下。 通过拖拽文件的方式,上传文件。使用CloudShell或者其它SSH远程工具。数据存放参考目录: /mnt/sfs_turbo/training_data |── train-00000-of-00001-a09b74b3ef9c3b56.parquet # 训练原始数据集 |── alpaca_gpt4_data.json # 微调数据文件
  • 数据集下载 本教程使用Alpaca数据集,数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令数据可以用来对语言模型进行指令调优,使语言模型更好地遵循指令。 预训练使用的Alpaca数据集下载:https://huggingface.co/datasets/tatsu-lab/alpaca/resolve/main/data/train-00000-of-00001-a09b74b3ef9c3b56.parquet,数据大小:24M左右。 SFT和LoRA微调使用的Alpaca数据集下载:https://huggingface.co/datasets/QingyiSi/Alpaca-CoT/blob/main/alpacaGPT4/alpaca_gpt4_data.json,数据大小:43.6 MB。
  • 注册华为账号 并开通华为云 在使用华为云服务之前您需要申请华为云账号并进行实名认证。通过此账号,您可以使用所有华为云服务,并且只需为您所使用的服务付费。 如果您已有一个华为云账号,请跳到下一个任务。如果您还没有华为云账号,请参考以下步骤创建。 打开华为云官网,单击“注册”。 根据提示信息完成注册,详细操作请参见注册华为账号并开通华为云。 注册成功后,系统会自动跳转至您的个人信息界面。 参考实名认证完成个人或企业账号实名认证。 父主题: 准备工作
  • 操作步骤 登录华为云首页。 单击页面右上角的“控制台”。 在控制台页面,选择自动驾驶云服务 Octopus 支持的区域。 单击左上角展开服务列表,在搜索栏中输入“八爪鱼自动驾驶云服务 Octopus”。 单击服务名称进入八爪鱼自动驾驶云服务 Octopus管理控制台。 单击“立即申请”。 根据实际情况设置企业规模、研发人员比例、应用场景、业务当前阶段等信息。 用户第二次申请公测时,可以继承上一次申请该产品公测活动所填写的必填项信息。 选中“同意《公测试用服务协议》”。 单击“申请公测”,完成公测申请。 等待运营开通公测权限。单击“前往公测管理”,可以查看已经申请的公测产品或者服务。
  • 操作步骤 登录华为云控制台后,在页面左上角单击,在服务列表中选择“Fabric”。 图1 Fabric服务 单击“创建工作空间”,参照创作工作空间填写页面参数说明输入必要参数后,单击“直接创建”。创建工作空间完成后会返回工作空间管理台界面。 图2 创建工作空间 表1 创建工作空间填写页面参数说明 参数 说明 工作空间名称 请输入工作空间名称,同一账号下集群不可重名。 工作空间描述 可选,请输入工作空间描述。 Metastore 可选,需要绑定的lakeformation实例。 企业项目 选择某个企业项目后,集群和集群安全组将会创建在该企业项目下。您可以通过企业项目服务(EPS)管理集群及其他资源(节点、ELB、以及节点的安全组等)。 标签 可选,通过为资源添加标签,可以对资源进行自定义标记,实现资源的分类。 您可以在TMS中创建“预定义标签”,预定义标签对所有支持标签功能的服务资源可见,通过使用预定义标签可以提升标签创建和迁移效率。具体请参见创建预定义标签。 标签键只能包含中文、英文字母、数字、空格和特殊字符(-_.:=+@),且首尾不能包含空格,不能以_sys_开头,长度不超过128个字符。资源标签键不可以为空。 标签值只能包含中文,英文字母、数字、空格和特殊字符(-_.:/=+@),长度不超过255个字符。资源标签值可以为空。 单击已创建的工作空间中的“进入工作空间”,弹出用户协议时,用户可查看声明协议,确认后单击“同意授权”,后续即可正常进入创建好的工作空间。
  • 创建OBS操作步骤 登录OBS管理控制台,在桶列表页面右上角单击“创建桶”,创建OBS桶。 图2 创建桶 创建桶的区域需要与ModelArts所在的区域一致。例如:当前ModelArts在华北-北京四区域,在 对象存储服务 创建桶时,请选择华北-北京四。 如何查看OBS桶与ModelArts的所处区域,请参见查看OBS桶与ModelArts是否在同一区域。 请勿开启桶加密,ModelArts不支持加密的OBS桶,会导致ModelArts读取OBS中的数据失败。 在桶列表页面,单击桶名称,进入该桶的概览页面。 图3 桶列表 单击左侧导航的“对象”,在对象页面单击新建文件夹,创建OBS文件夹。例如,在已创建的OBS桶“c-flowers”中新建一个文件夹“flowers”。 图4 新建文件夹 在OBS桶中创建完文件夹,即可以上传文件,上传文件操作请参见OBS上传操作。
  • HTTP Body签名 Body签名,需要包含在每个接口的响应中,包含两部分: 参数 取值 描述 sign_type HMAC-SHA256 当前取值: HMAC-SHA256 signature base64_encode(HMAC_SHA256(key, httpBody)) base64_encode(HMAC_SHA256(key, httpBody)) httpBody:整个HTTP Body,包括开始和结束的空格、TAB符等。 key = Key值 HTTP响应头域示例: Body-Sign: sign_type="HMAC-SHA256", signature= "*****" 消息头的格式请严格按照示例添加,sign_type和signature的值必须要加双引号。 代码示例请参见ISV Server对响应消息体进行签名。 父主题: 接入准备工作
  • 操作步骤 在“服务管理”界面,在Cross-ChainA服务卡片中,单击“获取客户端配置”。 勾选“SDK文件”,配置参数请参考表1。 表1 配置参数 参数 说明 链代码名称 tcshelper,注:名字必须保持一致 证书存放路径 /home/service/Certs 通道名称 channela 组织&Peer节点 保持默认即可,即:orgA下的所有peer节点 勾选“共识节点证书”和“Peer节点证书”,“Peer节点证书”中指定节点保持默认值(orgA),勾选管理员证书,单击“下载”。 重复1-3,下载Cross-ChainB的配置文件及证书,通道名称改为channelb。 解压Cross-ChainA的下载包“Cross-ChainA-config.zip”,将文件夹中的“Cross-ChainA-channela-sdk-config.yaml”文件修改为“crosschainA.yaml”存在本地备用,将后缀为.peer和.orderer的文件夹压缩为certsA.zip存在本地备用。 (可选)解压Cross-ChainA的下载包“Cross-ChainA-config.zip”,将文件夹中的“Cross-ChainA-channela-sdk-config.json”文件修改为“crosschainA.json”存在本地备用,将后缀为.peer和.orderer的文件夹压缩为certsA.zip存在本地备用。 解压Cross-ChainB的下载包“Cross-ChainB-config.zip”,将文件夹中的“Cross-ChainB-channelb-sdk-config.yaml”文件修改为“crosschainB.yaml”存在本地备用,将后缀为.peer和.orderer的文件夹压缩为certsB.zip存在本地备用。 (可选)解压Cross-ChainB的下载包“Cross-ChainB-config.zip”,将文件夹中的“Cross-ChainB-channelb-sdk-config.json”文件修改为“crosschainB.json”存在本地备用,将后缀为.peer和.orderer的文件夹压缩为certsB.zip存在本地备用。