检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤 前提条件 云侧 请确认虚拟私有云VPC已经创建完成。如何创建虚拟私有云VPC,请参见创建虚拟私有云和子网。 请确认虚拟私有云VPC的安全组规则已经配置,ECS通信正常。如何配置安全组规则,请参见安全组规则。 如果通过企业路由器ER关联VPN网关,请确认企业路由器ER已经
创建用户 开通IAM身份中心服务后,您需要创建用户。将用户与组织下的多个账号关联并配置权限,然后使用用户登录即可访问多个账号下的资源,无需重复登录。 如您首次使用IAM身份中心,界面将显示服务开通页,单击“立即开通”,即可开通IAM身份中心服务并使用相关功能。 操作步骤 登录华为云控制台。
column_name 否 String 敏感字段。 algorithm_name 否 String 算法名称。 algorithm_type 否 String 算法类型。 en_name 否 String 算法名称。 algorithm_parameters 否 String 参数。 failure_policy
数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据,与平台要求的文件内容格式是否一致。
单击“立即创建”。 图17 进入OBS桶创建界面 图18 创建OBS桶 上传文件:单击此文件下载地址,下载训练数据集及ModelArts算法、推理脚本、配置文件压缩包,解压并通过拖拽文件夹的方式上传至3.1准备工作步骤1准备的OBS桶中。 图19 上传ModelArts相关文件
缺省值:无 建议值:无 信任证书链 上传本地证书链文件。 须知: 当RSA密钥长度为1024,或者当前上传的信任证书使用了SHA1withRSA算法时,存在一定的安全风险! 上传的证书文件必须是.pem、.cer或.crt格式。 上传的证书必须是一个完整的证书链,最多只能上传10个文件
录监听 ConfigWinRMCertificateAuthPlugin:设置远程登录无密码认证 加载模块对应的插件WinRM使用了弱密码算法,可能存在安全隐患,为保证系统安全,不建议您添加此插件。 (可选)增加如下配置项,配置获取metadata的重试次数和间隔。 retry_count=40
在扫描结果列表页面,找到目标数据库表,单击“添加脱敏规则”。 在“添加脱敏规则”对话框中,设置脱敏信息。 图4 添加脱敏规则 配置规则名称,并在脱敏列表中选择数据类型对应的脱敏算法。 单击“保存”。 脱敏规则保存后自动启用,访问数据库时查询到的明文数据均为脱敏后的数据。此时可配置脱敏白名单,命中白名单则放行不脱敏。 步骤四:配置脱敏白名单
件,具体请参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
文件,具体请参见训练tokenizer文件说明。 Step2 创建LoRA微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
nizer文件,具体请参见训练tokenizer文件说明。 Step2 创建预训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
件,具体请参见训练tokenizer文件说明。 Step2 创建SFT全参微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
文件,具体请参见训练tokenizer文件说明。 Step2 创建LoRA微调训练任务 创建训练作业,并自定义名称、描述等信息。选择自定义算法,启动方式自定义,以及上传的镜像。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 图1 选择镜像 如果镜像使用使用基础镜像中的基础镜像时,训练作业启动命令中输入:
例如目录封面、图注表注、标注说明、尾部信息、冗余段落和参考文献等。 N-gram特征过滤 用于判断文档重复度,根据特征N值计算文档内词语按N值组合后的重复此时,可通过以下两种算法比较结果是否大于特征阈值,大于特征阈值的文档删除。 top-gram过滤:计算重复最多的garm占总长度的比例,大于特征阈值则删除。 gr
写作业信息,创建方式参考表1,其他参数填写请参考创建训练作业。 表1 创建训练作业的创建方式 参数名称 说明 创建方式 必选,选择“自定义算法”。 启动方式 必选,选择“预置框架”,并选择训练作业要使用的预置框架引擎和引擎版本,引擎版本选择“自定义”。 镜像 容器镜像选择上一步上传到SWR的镜像。
常见问题 是否支持同步删除文件 列举接口是否支持保存结果到本地文件 列举桶内对象返回的大小与控制台桶内对象大小不一致 批量任务执行失败如何确认错误信息 i/o timout、EOF错误原因定位及解决 批量任务进度条中出现问号的原因 是否支持多个config文件在同一个目录下 Wi
数据运营专家服务 服务简介 本服务工作说明书列明由华为云为客户实施“数据运营专家服务”项目所提供的专业服务内容。 本服务工作说明书列明华为云提供的服务目录、服务范围、分工界面、双方职责等,以此来约束双方服务行为。 本服务工作说明书是《数据运营专家项目合同》的附件,本工作说明书的具
概述 云计算从根本上改变了IT基础设施和应用系统的建设、运维和管理方式。传统模式下,组织通常需要购买、安装和运维自己的硬件和软件,包括服务器设备、存储设备、网络设备、虚拟化软件、操作系统、数据库管理软件和中间件等IT基础设施,资源部署周期长,运维负担重,初始投资大。 云计算模式下
功能说明:网关所在集群信息,可为空 取值范围:0-36长度的字符串 最小长度:0 最大长度:36 hash_mode String 功能说明:nexthops在底层的负载均衡策略 取值范围:'2_TUPLE'二元组、'3_TUPLE'三元组、'5_TUPLE'五元组 缺省值:5_TUPLE 最小长度:0 最大长度:256
扩展属性:提供用户设置自定义信息 【使用说明】 internal_elb字段,布尔类型,普通租户可见。只有在创建内网ELB的虚拟IP的网卡时设置为true。普通租户没有权限更改该字段,由系统维护。 举例: {"internal_elb": true} disable_security_gr