检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark是专为大规模数据处理而设计的快速通用的计算引擎。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 注意事项 为了减少日志输出,在/opt/spark-2.3.3/conf/log4j.properties文件中增加配置: log4j.logger.com.obs= ERROR
上传或下载对象),则需要生成带对应请求的URL后(例如使用生成PUT请求的URL上传对象),将该URL提供给其他用户。 如果遇到跨域报错、签名不匹配问题,请参考以下步骤排查问题: 未配置跨域,需要在控制台配置CORS规则,请参考配置桶允许跨域请求。 签名计算问题,请参考URL中携
号A,同时授权账号B该对象的读写权限。 桶版本号为3.0及以上的桶才支持通过标准桶策略授权桶的公共读写权限后挂载外部桶。 如果是在创建桶时授权公共读写权限的,需在桶创建完成后,手动更改标准桶策略为私有,然后再更改为公共读写权限,挂载外部桶才能成功。 操作步骤 登录OBS Browser。
桶策略简介 桶的所有者可以通过编写桶策略,限定桶的访问权限。 桶策略可基于各种条件,如动作、被授权用户、资源和请求的其他要素(如IP地址)提供对桶和对象的集中访问控制。如果资源设置为*,则权限适用于该桶内所有对象。例如,账户可以按以下维度制定策略,授予某用户写权限: 给予用户特定的桶的写权限。
CORS配置成功。CORS配置会在两分钟内生效。 CORS配置成功后,便仅允许跨域请求来源的地址通过允许的方法访问OBS的桶。例如:为桶“testbucket”允许的来源配置为“https://www.example.com”,允许的方法配置为“GET”,允许的头域配置为“*”,
设置桶日志后,进行图片处理,发现有100网段的ip访问桶 用户开启了桶日志配置,在对桶里的对象进行图片处理后,查看桶的访问日志,发现有100网段的ip访问了该桶。 原因是:在进行图片处理的过程中,OBS会通过内网访问客户的桶来下载原图并进行图片处理,此时内网ip会被记录到桶日志中,同时会产生下载次数的计费。
图2 关联SFS Turbo 选择完成后,单击“确定”创建关联。 使用过程中请不要解除关联,解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。 一个SFS Turbo文件系统最多可关联1个网络。 父主题: 基本配置
设置桶日志管理配置 ObsClient.setBucketLogging 设置桶的访问日志配置。 获取桶日志管理配置 ObsClient.getBucketLogging 获取桶的访问日志配置。 设置桶策略 ObsClient.setBucketPolicy 配置桶的策略,如果桶
登录控制台,进入创建桶页面。 设置“基础配置”。 参数 示例 说明 区域 华北-北京四 桶所属区域。请选择靠近您业务的区域,以降低网络时延,提高访问速度。 桶创建成功后,不支持变更区域,请谨慎选择。 设置“桶配置”。其他参数保持默认,也可在桶创建后修改。 参数 示例 说明 桶名称 test-example-bucket
您可以通过网页登录OBS管理控制台。 操作步骤 登录华为云网站https://www.huaweicloud.com。 注册账号。 使用OBS前需注册一个华为账号。如果您已有账号,请从3开始。 在顶部导航栏右侧,单击“注册”。 在注册页面,根据提示信息完成注册。 注册成功后,系统会自动跳转至您的个人信息界面。
此处以授予上传和下载桶内对象的权限为例。如果需要配置其他指定的权限,在桶策略和给IAM用户授权中配置对应的权限即可。 推荐配置方法 对其他账号下的IAM用户授予桶和桶内资源的访问权限,需要同时配置桶策略和给IAM用户授权。 例如要允许账号A下的IAM用户A访问账号B的桶B: 首先,需要账号B配置桶策略:允许IAM用户A访问桶B。
某个桶或对象。 推荐配置方法 IAM自定义策略 配置须知 按照本案例配置后,可以正常通过API或SDK完成权限所允许的操作,但如果通过控制台或OBS Browser+登录,可能会出现无权限的相关提示信息。 报错原因:通过控制台或者OBS Browser+登录后,加载桶列表时会调用
// 初始化配置参数 ObsConfig config = new ObsConfig(); config.Endpoint = "https://your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量
访问。 单击“访问权限控制>桶策略”。 单击“创建”。 配置桶策略信息。 图2 配置对象只读权限 表2 配置公共读策略参数配置说明 参数 说明 策略配置方式 支持可视化视图和JSON视图。此处以可视化视图为例,JSON视图的说明请参见自定义创建桶策略(JSON视图)。 策略名称 输入自定义桶策略的名称。
法读取和修改该对象的ACL。 需要对象级的访问权限控制时,桶策略可以授予对象或对象集访问权限,当授予一个对象集权限后,想对对象集中某一个对象再进行单独授权,通过配置桶策略的方法显然不太实际。此时建议使用对象ACL,使得单个对象的权限控制更加方便。 使用对象链接访问对象时。一般使用
配置桶ACL 前提条件 配置桶ACL的账号需要是桶 的拥有者,或者具备该桶的ACL写权限。 使用方式 OBS支持通过控制台、API、SDK、OBS Browser+、obsutil方式配置桶ACL。 使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制
创桶时指定预定义访问策略 以下代码展示如何在创建桶时指定预定义访问策略: // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCE
静态网站通常仅包含静态网页,以及可能包含部分可在客户端运行的脚本,如JavaScript、Flash等。相比之下,动态网站则依赖于服务器端处理脚本,包括PHP、JSP或ASP.Net等。 您可以将静态网站文件上传至OBS的桶中作为对象,并对这些对象赋予公共读权限,然后将该桶配置成静态网站托
tObjectAcl权限,如果使用桶策略则需授予GetObjectAcl权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 用户必须拥有对指定对象读ACP(access
此错误均是由于未配置桶的CORS或配置的CORS有误导致,解决方法:请参考配置桶的CORS章节重新配置桶的CORS。 请求成功但返回结果缺少某些字段 此类错误一般有两种原因: 在桶的CORS配置中ExposeHeader配置不完整,例如未配置ETag(导致上传对象成功后无法获取ETa