检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
预置模板参数说明 Data+已下线,如果需要使用数据处理服务,可使用数据工坊 DWR。 详情请参见数据工坊 DWR。 本小节提供Data+各类函数模板及自定义函数的参数配置说明。 当前支持的函数模板如下: 不同区域支持的预置模板数量不同,请以控制台实际支持的模板为准。 表1 Data+函数模板
访问密钥(AK/SK) OBS支持通过访问密钥认证方式进行认证鉴权,即使用AK/SK加密的方法来验证某个请求发送者身份。 访问密钥(AK/SK,Access Key ID/Secret Access Key)包含访问密钥ID(AK)和秘密访问密钥(SK)两部分,是您的长期身份凭证
驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源,包括高性能算力,高速存储和网络带宽等基础设施,即“大算力、大存力、大运力”的AI基础大设施底座,让算力发展不要偏斜。 从过去的经典AI,到今天人人谈论的大模型,自动驾驶,我们看到AI模型的参数及
(“>”) 左方括号 (“[”) 波浪字符 (“~”) “小于”符号(“<”) “井号”字符 (“#”) 竖线 (“|”) 请注意,OBS数据模型是一种扁平结构:您创建桶,桶存储对象。不存在子桶或子文件夹层次结构。但您可以使用键名称前缀和分隔符推断逻辑层次结构(如同OBS控制台一样)
望能方便快捷的构建AI训练系统时,可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗? OBS为容量型存储,在时延、带宽等存储性能上无法满足高性能AI训练,建议使用SFS Turbo HPC型高性能文件系统加速AI训
《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
FunctionGraph、Moderation、OBS 人证核身解决方案 该解决方案基于华为云人证核身 IVS服务和人脸识别 FRS服务构建,快速实现对用户身份真实性的核验 FunctionGraph、IVS、OBS、FRS、APIG 语音识别解决方案 该方案支持中文普通话以及带方言口音的普通话识别以及方言(四川话、粤语和上海话)的识别
选择本地文件,进行表单上传。 知识扩展 采用BrowserJS SDK直接计算签名时,AK/SK可能会展现在前端界面,有一定风险。 您还可以采用客户端-服务端模型,服务端可以采用Java、Python等SDK计算POST上传签名,客户端采用JavaScript向服务端获取签名信息后利用签名信息访问OBS。
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
人访问。OBS提供多种方式将OBS资源权限授予给他人,资源拥有者可以根据业务需求制定不同的权限控制方案,从而确保数据安全。 OBS权限控制模型 OBS提供多种权限控制方式,包括IAM权限、桶策略、对象ACL、桶ACL。各个方式说明及应用场景如表1所示。 图1 OBS权限控制方式 表1
资源和成本规划 本节介绍最佳实践中资源规划情况,包含以下内容: 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS:存放训练数据集、预训练模型等数据资源的桶,桶存储类别为“标准存储”,桶策略为“私有”。 SFS Turbo:文件系统类型为“HPC型”,存储类型请根据存储容量和性能
由第三方云厂商收取数据读取费用,具体以第三方云厂商提供的价格为准。 低成本、500TB以上的数据迁移请在华为云上提交工单或联系人工客服,根据您的业务模型,为您定制适合超大规模数据迁移的方案。 OMS方式 OMS是一种云上的对象数据迁移服务,具有安全、高效等优势。数据迁移时,采用HTTPS数
Turbo监控指标说明和创建告警规则。 SFS Turbo性能监控 您可以在CES云监控服务上监控和SFS Turbo文件系统的性能使用情况。当AI算力集群规模变大,大模型参数量变大,导致Checkpoint读加载时间变长时,或训练数据集加载由于存储读写带宽不足导致拖慢AI训练时,您可以对SFS Turbo进
事件订阅:存储接收到的事件消息,并根据事件规则将事件消息路由到事件目标。 事件模型:定义事件的结构。云服务事件源产生的所有事件都可以关联到事件网格提供的相应的云服务事件模型。对于自定义事件源产生的事件,您可以自定义事件模型。基于事件模型生成SDK,您可以通过编程实现快速消费事件。 事件目标:消费事件消息。
创建OBS桶。 创建ModelArts资源池 以常见的专属资源池为例,专属资源池提供独享的计算资源,可用于Notebook、训练作业、部署模型。专属资源池不与其他用户共享,更加高效。在使用专属资源池之前,您需要先创建一个专属资源池,操作指导请参考创建专属资源池。 父主题: 实施步骤
配置生命周期管理策略 您可以为某个桶定义生命周期管理规则,来为该桶的对象定义各种生命周期规则。 操作步骤 登录OBS Browser+。 选中待配置的桶,单击“更多 > 生命周期规则”,如图1所示。 图1 生命周期规则 在“生命周期规则”窗口中单击“创建”,如图2所示。 图2 创建生命周期规则
如何获取访问密钥(Python SDK) OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,
利用obsutil上传软链接 obsutil支持上传文件/文件夹时上传软链接指向的真实路径。您可通过在运行上传/增量同步上传时指定命令级参数:link,来实现上传软链接的功能。 obsutil支持识别文件夹软链接,如果软链接指向的真实路径是一个文件夹则会递归扫描该文件夹中的内容。
快速入门(Go SDK) 准备访问密钥 OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一个用户,一
快速入门(Python SDK) 创建AK、SK OBS通过用户账户中的AK和SK进行签名验证,确保通过授权的账户才能访问指定的OBS资源。以下是对AK和SK的解释说明: AK:Access Key ID,接入键标识,用户在对象存储服务系统中的接入键标识,一个接入键标识唯一对应一