检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
为obsutil配置HTTP代理 您可以通过如下两种方式配置HTTP代理。 方式一,通过配置文件.obsutilconfig中的proxyUrl参数,示例:proxyUrl=http://username:password@your-proxy:8080; 方式二,通过系统环境变
obs://example-bucket/input/test.txt obs://obs-bucket/output 【附】hadoop-huaweicloud相关配置 配置项 默认值 是否必填 说明 fs.obs.impl org.apache.hadoop.fs.obs.OBSFileSystem 是 - fs
配置Hive通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在Hive客户端创建存储在OBS并行文件系统中的表。 Hive对接OBS MRS集群支持Hive服务基于Metastore方式对接OBS。 配置Hive基于MetaStore方式对接OBS:
配置对象策略 操作步骤 登录OBS Browser。 单击待配置的桶,进入桶界面。 选择待操作的对象,在对象列表上方,单击“配置对象策略”。 如果您是第一次配置,在系统弹出的“配置对象策略”对话框中,输入“账号ID”,并单击“确定”。如果您不是第一次配置,则不会有该信息弹出,系统直接弹出“配置对象策略”窗口信息。
配置ClickHouse对接OBS源文件 使用S3表函数 登录主OMS节点。 执行以下命令获取OBS内的存储数据。 select * from S3(path, [ak, sk,] format, structure, [compression]) path:访问域名/OBS文件
OBS Browser介绍 产品概述 功能概述
用户服务器将临时访问密钥分发给对应权限的终端APP。 终端APP可通过临时访问密钥使用OBS SDK或API访问OBS服务,因临时凭据的有效时间较短,终端APP需及时向用户服务器请求更新临时访问密钥。 配置示例 请参见临时授权访问OBS。 父主题: 请求方式介绍
如果账户B为桶“bucket_share”设置匿名用户的“读取权限”,则所有注册OBS的用户均可以挂载“bucket_share”。为匿名用户设置权限的方法请参见配置桶ACL权限。 操作步骤 登录OBS Browser+。 单击页面左边“外部桶”,如图1所示。 图1 外部桶 单击“
系统配置 本节介绍如何修改OBS Browser的各项配置。 操作步骤 登录OBS Browser。 在OBS Browser右上角,单击,并选择“系统配置”,系统弹出“系统配置”对话框,如图1所示。 图1 系统配置 单击“基本配置”,根据需要修改基本配置参数。 各参数含义如表1所示。
更新配置文件 功能说明 更新配置文件(.obsutilconfig)中的部分配置信息,可更新的配置包括:endpoint、ak、sk、token。 关于配置文件(.obsutilconfig)中参数的详细说明,请参见配置参数说明。 命令结构 Windows操作系统 交互模式更新配置
MRS集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS
配置桶策略 桶策略定义了OBS中的资源(桶和对象)的访问控制策略。 操作步骤 登录OBS Browser。 选择待配置的桶,单击“更多 > 配置桶策略”。 根据需求在“配置桶策略”输入框中输入桶策略。 桶策略最多不能超过20KB。 桶策略各字段含义如表1所示。除“Effect”字段为必选外,其他字段均为可选字段。
可选择列表文件所在的OBS连接。 OBS_test_link 列表文件OBS桶 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶名。 01 列表文件或目录 当“列表文件”选择为“是”时,才有该参数。该参数表示列表文件所在的OBS桶中的绝对路径或目录。
配置OBS客户端(Node.js SDK) 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。 您可通过初始化参数对ObsClient进行配置,可以配置的参数见下表: 参数 描述 建议值 access_key_id 访问密钥中的AK。
创建OBS桶 在配置 Backint Agent之前,您需要创建一个 OBS桶来保存备份。请注意,HANA数据库所在的服务器与OBS桶必须在同一华为云账号下,且区域相同。如您已有满足条件的OBS桶,可以跳过此步骤。 进入公有云管理控制台,在左上角选择对应区域。 在左侧导航栏,单击
日志备份”,进入系统日志备份配置管理页面。 图1 日志备份 在“远程备份至OBS服务器”区域,单击“编辑”,弹出备份至OBS桶配置窗口,配置桶相关参数。 表1 配置桶参数说明 参数 说明 状态 选择开启或关闭备份至OBS桶,默认。 ,表示开启备份日志至OBS桶。每天零点自动启动备份。
配置Spark通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在Spark客户端创建Location为OBS路径的表。 Spark对接OBS MRS集群支持Spark服务在创建表时指定Location为OBS文件系统路径,也支持基于Hive
配置Mapreduce通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,MapReduce服务还需参考本章节新增自定义配置。 Mapreduce对接OBS 登录FusionInsight Manager,选择“集群 > 服务 >
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类(ObsConfiguration)创建OBS客户端(ObsClient)时,您可通过ObsConf
配置桶ACL OBS固定有对拥有者、匿名用户、注册用户组以及日志投递用户组设置ACL权限的功能。 操作步骤 登录OBS Browser。 选中待配置的桶,单击“配置桶ACL”。 根据需求设置目标桶的ACL权限,单击“保存”,如图1所示。 图1 配置桶ACL 在弹出的消息窗口中,单击“确定”关闭消息窗口。