检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置OBS桶 脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。请参考本节操作配置OBS桶。 约束限制 OBS路径仅支持OBS桶,不支持并行文件系统。 配置方法 参考访问DataArts Studio实例控制台,登录DataArts
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 当使用配置类(ObsConfig)创建OBS客户端(ObsClient)时,您可通过ObsConfig配置类对O
配置OBS客户端 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可通过初始化参数对ObsClient进行配置,可以配置的参数见下表: 参数 描述 建议值 key 访问密钥中的AK。
K是否匹配。 配置的权限不正确 请参考检查配置的权限是否正确。 配置了拒绝访问的权限 请参考检查是否配置了拒绝访问的权限。 配置了防盗链 请参考配置防盗链修改白名单Referer/黑名单Referer。 账户余额不足 请根据所需费用给账户充值后再进行操作。 检查配置的权限是否正确
String bucketName ="obs_name"; ObsBuckets obsBuckets = new ObsBuckets(); obsBuckets.addObsBucketsItem(bucketName);
配置Flink通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Flink客户端访问OBS并行文件系统并运行作业。 Flink对接OBS 使用安装客户端的用户登录Flink客户端安装节点。 执行如下命令初始化环境变量。 source
所有桶)无法通过OBS权限进行配置,只能在IAM权限中配置,OBS权限只能作用于资源级(桶和对象)。如果要同时授予OBS服务级权限和资源级权限,必须使用IAM权限,或者IAM权限与OBS权限结合使用。 图2 OBS权限与IAM权限的关系 OBS权限控制要素 OBS的权限控制模型中,以下几个要素共同决定了授权的结果:
跳转到OBS列表页。 单击“新建”。 参考界面和表1配置必选参数。 表1 OBS存储配置参数说明 字段 说明 如何配置 基本信息 名称 OBS连接器的名称,用户自定义。 单击文本框,填入名称。 账号地区 前提条件里创建桶时,选择的区域。 下拉框里选择,请根据实际情况配置。 访问密钥
更多 产品咨询 OBS如何收费? OBS支持HTTPS访问吗? OBS、EVS和SFS有什么区别? OBS单AZ和多AZ有什么区别? OBS如何实现备份和容灾? OBS的数据冗余存储方式是什么? OBS的持久性和可用性如何? 更多 obsutil等工具相关 如何配置obsutil定时任务?
全局配置 为监控提供密钥配置和通知配置能力,支持配置数据中心级自动切换能力。 密钥配置 机房监控通知配置 数据中心级自动切换 父主题: 监控管理
配置OBS访问权限 OBS服务 OBS全称Object Stroage Service(对象存储服务),提供海量、安全、高可靠、低成本的数据存储能力,可供用户存储任意类型和大小的数据。 宫颈癌细胞病理筛查API支持直接使用华为云OBS服务进行数据的存储,以减少服务使用成本,降低服务的响应时长,提升服务使用的体验。
连接OBS服务的终端节点的IP地址网段为100.125.0.0/16,为了通过VPN或者云专线访问OBS,需要将用户本地数据中心节点访问OBS服务的流量指向用户本地数据中心节点的专线网关或者VPN网关。 在用户本地数据中心节点配置永久路由,指定访问OBS的流量下一跳为用户本地数据中
创建自定义策略”。 配置自定义策略参数。 在使用IAM权限之前需明确用户所需要的权限集合,IAM用户只拥有配置的策略所对应的权限。在本案例中APPServer只拥有APPClient文件夹下对象的所有操作权限。 图1 配置自定义策略 表1 自定义策略参数配置说明 参数 说明 策略名称
配置Hive通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Hive客户端创建Location为OBS路径的表。 建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source
配置Spark通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在Spark客户端创建Location为OBS路径的表。 集群安装后使用spark beeline 登录FusionInsight Manager,选择“集群 > 服务 >
配置MRS集群通过IAM委托对接OBS MRS支持用户将数据存储在OBS服务中,使用MRS集群仅作数据计算处理的存算模式。MRS通过IAM服务的“委托”机制进行简单配置, 实现使用ECS自动获取的临时AK/SK访问OBS。避免了AK/SK直接暴露在配置文件中的风险。 通过绑定委托
配置Hudi通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
配置MapReduce通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,MapReduce服务还需参考本章节新增自定义配置。 MapReduce对接OBS 登录MRS管理控制台,单击集群名称进入集群详情页面。 选择“组件管理 > Mapr
选择“操作系统类”,筛选镜像;或者直接搜索目标镜像。 单击镜像卡片,根据弹出界面描述配置使用操作系统yum源;或者跳转至下载目录页面,下载操作系统镜像。以CentOS为例,如下图所示。 根据界面配置方法,可以配置使用操作系统yum源。 CentOS-9 stream 的镜像地址为:https://repo