检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
算分离方案。 图1 基于OBS的华为云大数据存算分离方案 华为云大数据存算分离方案基于对象存储服务OBS的大容量高带宽能力,以及多协议共享访问技术(HDFS/POSIX/OBS API),实现Hadoop生态多计算引擎(Hive、Spark等)兼容对接。 方案优势 相比传统企业在
资源。数组长度不超过10,每个字符串长度不超过128,规则如下: 可填 * 的五段式:::::,例:"obs:::bucket:*"。 region字段为*或用户可访问的region。service必须存在且resource属于对应service。 当该自定义策略为委托自定义策略时,该字段类型为Object,值为:"Resource":
environment:环境名字,Presto集群中的节点的环境名字都必须是一样的。 node.id:唯一标识,每个节点的标识都必须是唯一的。就算重启或升级Presto都必须还保持原来的标识。 node.data-dir:数据目录,Presto用它来保存log和其他数据 示例: node.en
响应消息头 该请求的响应消息使用公共消息头,具体请参考表1。 响应消息元素 该请求的响应消息中不带有响应元素。 错误响应消息 表2 对象存储访问服务错误码列表 错误码 描述 HTTP状态码 RestoreAlreadyInProgress 参数解释: 对象正在恢复,请求冲突。 ErrorMessage:
如需购买与此前配置一样的资源包,参数保持默认即可。 图2 配置资源包参数 确认无误后加入清单,单击“立即购买”。 单击“去支付”,并在支付页面完成付款。 示例 以下示例中出现的费用价格仅供参考,实际价格请参见产品价格详情中“对象存储服务”的内容。 示例一:某用户的标准存储单AZ桶中的数据为2
Browser提供扁平化风格的GUI界面,符合Windows系统用户的操作习惯。要想拥有更好的体验,建议使用1280*1024或更高分辨率的显示设备。 您可以通过单击页面右上角的图标,单击“关于”查看客户端的当前版本信息,也可以单击“在线帮助”查看帮助文档。 父主题: OBS Browser介绍
的对象,例如 texta/file1.txt 和 texta/file2.txt。 此规则指定了两种生命周期操作:在对象创建90天后将其转换为低频访问存储类型,在对象创建120天后将其删除。 xml: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 <
object 是 str 参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test
Map 函数执行必须的参数,可用于传入调用的服务。 表2 函数的环境变量 名称 是否必选 参数类型 说明 region 否 String 当前区域名称。 函数输入的JSON示例 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
前7日自动续费扣款是系统默认配置,您也可以根据需要修改此扣款日。 续费更多相关详情请参见续费管理。 如何查看资源到期时间 进入“续费管理”页面,可通过到期时间过滤即将到期的资源,在续费列表“倒计时”查看资源具体的到期时间。 图2 到期时间详情 父主题: 续费
Browser+方式统计文件夹。 使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 单击待统计文件夹操作列的“统计”,或单击“大小”列的。 单击对象列表上方的“任务中心”,在“统计”页签查看文件夹统计信息。 文件夹统计
、公网流出流量包、跨区域复制流量包、医疗影像单AZ存储包和回源流量包。 OBS各类资源包的详细介绍,请参见OBS计费说明。 进入购买资源包页面。 根据界面提示进行信息配置。 资源包所属区域和类型需要和桶属性相匹配,才能正常使用资源包抵扣桶的相关费用。 “定向使用”可限定企业项目使
Browser+、obsutil方式配置桶标签。 使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在左侧导航栏单击“基础配置>标签”,进入“标签”界面。 单击“添加标签”,系统弹出“添加标签”对话框。 图1 添加标签 按照表1要求输入标签的键和值。
Browser+)而言,如果配置了OBS OperateAccess权限,是可以进行对象上传、下载等操作的。 配置步骤 使用账号登录华为云,在右上角单击“控制台”。 在控制台页面,鼠标移动至右上方的用户名,在下拉列表中选择“统一身份认证”。 创建用户组并授权。 按照IAM文档指导,将符合业务场景需求的系统角色或策略添加到用户组中。
使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在左侧导航栏,单击“数据管理>桶清单”进入“桶清单”页面。 单击“创建”,系统弹出“创建桶清单”对话框。 图1 清单配置 设置“清单配置”相关参数。 表2 清单配置参数说明
OBS控制台提供图形化的碎片列表界面,您可以一键批量删除桶中所选中的碎片。 具体操作请参见清理碎片。 OBS Browser+ 您可以一键批量删除桶中所选中的碎片。也可以单击页面上方“删除所有”,清除所有碎片。 obsutil obsutil分段上传任务产生的碎片,可以通过删除分段上传任务来删除碎片。如果一个桶内有
使用方式 OBS支持通过控制台、API、SDK、OBS Browser+、obsutil方式列举桶。 使用OBS控制台 登录管理控制台。 单击页面左上角的,选择“存储 > 对象存储服务 OBS”。 进入桶列表页,桶列表页展示账户下所有的桶。 使用API 列举桶 使用SDK Java Python
为已有对象添加标签,具体步骤如下: 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 单击待添加标签的对象名称,进入“基本信息”页签。 切换至“标签”页签,单击“添加标签”。 在“添加标签”对话框,填写标签键和标签值。 表1
创建解析对象元数据并封装MPC转码任务的函数。 在FunctionGraph创建函数,选择“Python 2.7”运行时语言,并为函数配置具有访问OBS权限的委托,最后配置函数环境变量:region_id=cn-north-4。 图2 创建函数 具体代码如下: 1 2 3
Browser+、obsutil方式配置桶策略。 使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。 在左侧导航栏,单击“权限控制 > 桶策略”。 单击“创建”。 选择桶策略模板。详细参数说明请参见桶策略。 图1 选择公共读模板 图2 选择公共读写模板