检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持的大数据组件简介 在华为云大数据存算分离方案中,OBS除了可以与大数据平台对接外,还可以直接与开源的大数据组件对接。 当前支持的大数据组件如下: Hadoop Hive Spark Flume DataX Druid Flink logstash 父主题: 对接大数据组件
设置图片水印 完成样式的编辑后,单击“确定”保存样式。新建成功的样式将会显示在样式列表中。 后续即可参考步骤四:使用图片样式使用新建的水印样式处理图片。 文字水印 添加文字水印时使用的参数,包括字体大小、字体类型以及文字颜色等。具体文字水印参数如表3所示。 表3 文字水印参数 参数 取值说明
Python SDK提供了丰富的对象上传接口,可以通过以下方式上传对象: 文本上传:使用字符串作为对象的数据源。 流式上传:使用包含“read”属性的可读对象作为对象的数据源。 文件上传:使用本地文件作为对象的数据源。 分段上传:对于较大文件上传,可以切分成段上传。 追加上传:对同一个对象追加数据内容。
Key:临时秘密访问密钥。与临时访问密钥ID结合使用,对请求数据进行签名验证,可标识发送方,并防止请求被修改,确保请求的机密性、完整性和请求者身份的正确性。 securitytoken:与临时访问密钥ID和临时秘密访问密钥结合使用,可以访问指定账号下所有资源。 当使用如下工具访问OBS资源时,需配
存储费用 在使用对象存储服务时,按实际使用的存储容量、存储类型和时长收费。在使用不同存储类别的桶存储不同存储类别的对象文件时,收取的计费项有所不同。具体计费说明如表1所示。 不同规格的存储类别详细介绍请参考存储类别。 计费说明 表1 存储费用说明 资费项 计费项 含义 适用的计费模式
第二步:使用表单上传 以BrowserJS为例,演示如何直接使用SDK计算签名。 基于表单上传是使用HTML表单形式上传对象到指定桶中,对象最大不能超过5GB。 您可以通过ObsClient.createPostSignatureSync生成基于表单上传的请求参数。使用Brows
图片处理约束限制 操作限制 所有的图片处理操作均不会修改原图。 归档存储不支持图片处理。 深度归档存储不支持图片处理。 使用SSE-KMS服务端加密的OBS桶不能用做图片处理。 当前只有桶版本号为3.0的桶支持图片处理。桶版本号可以在对象存储服务控制台上,进入桶概览页后,在“基本信息”中查看。
服务端加密(Go SDK) 功能说明 用户可以使用普通方式上传、下载对象,也可以使用服务端加密方式进行上传、下载对象。 OBS支持服务端加密功能,使加密的行为在服务端进行。 用户可以根据自身的需求,使用不同的密钥管理方式来使用服务端加密功能。当前支持两种服务端加密方式: KMS托
配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在对象存储OBS存储桶中的对象,您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台,在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中,单击
通过控制台快速使用OBS 控制台是网页形式的操作平台,提供更直观的界面操作,简单易上手。 本章节以上传对象至“test-example-bucket”桶为例,帮助您通过控制台快速使用OBS的基础功能,包括创建桶、上传对象、下载对象、分享对象。 准备工作 使用OBS之前,您需要拥有
开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档的“上传对象”章节详细介绍了参数和使用方法。 文件上传使用本地文件作为对象的数据源。以下代码展示了如何进行文件上传: // 创建ObsClient实例 var obsClient = new
方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Che
使用obsutil下载文件夹前期速度正常,下载到90%后速度变慢 出现此种现象有两种场景。 场景一:文件夹中存在部分大对象和大量小对象。对于大对象,下载速度很快;对于大量小对象,下载速度主要受TPS影响。如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文
配置ModelArts和SFS Turbo间网络直通 创建委托授权ModelArts云服务使用SFS Turbo 使用IAM管理员账号登录IAM控制台。 在IAM控制台的左侧导航窗格中选择“权限管理 > 权限”,单击右上角的“创建自定义策略”,进入自定义策略配置页面。 输入“策略
在使用访问密钥AK和SK访问OBS过程中,AK和SK是否可以更换或多个用户共享? 可以。 在使用过程中,访问密钥AK和SK可以随时更换。 不同的用户使用相同的一对AK和SK可以同时访问OBS中的资源,且访问到的资源相同。 父主题: 数据安全、迁移和备份
配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后,建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容,仅保留文件元数据,数据内容释放后不占用SFS Turbo文件系统上的存储空间,再次访问该文件时,将重新从OBS中加载文件数据内容。
至OBS,更多内容请参考数据上云方案。 将数据从OBS预热到SFS Turbo中 SFS Turbo HPC型文件系统绑定OBS桶后,可以使用数据预热功能,以减少后续训练首次访问数据耗时。 训练任务开始前可通过数据预热功能将文件元数据和数据内容全部从OBS导入到SFS Turbo
持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 超过5GB的文件,可以使用OBS Browser+、obsutil上传,或使用OBS SDK及API的多段接口上传,上限为48.8TB。 OBS Browser+最多同时一次上传500个文件,obsutil没有上传文件数量限制。
S禁止通过OBS的默认域名在线预览桶内对象,即使用分享链接从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。解决方案请参考:如何在浏览器中在线预览OBS中的对象? 使用命令行工具obsutil 使用obsutil指定桶名、对象名前缀和提取码,创建目录分享的授权码。
的数据的完整性和机密性。建议您使用HTTPS协议进行数据访问。 建议使用桶策略限制对OBS桶的访问必须使用HTTPS协议 为避免客户端误使用HTTP协议进行OBS业务操作,建议通过桶策略中的SecureTransport条件进行限制,限制是否必须使用HTTPS协议发起请求对该桶进