检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hudi通过Guardian访问OBS 参考配置Guardian服务对接OBS完成Guardian对接OBS后,即可在spark-shell中创建Hudi COW表存储到OBS中。 Hudi对接OBS 使用客户端安装用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env
OBS工具汇总 对象存储服务(Object Storage Service,OBS)提供如表1所示工具,供用户使用。 表1 OBS工具一览表 工具 说明 应用场景 OBS Browser+ OBS Browser+是一款用于访问和管理对象存储服务的图形化工具,支持完善的桶管理和对象管理操作。OBS
自定义OBS私有桶策略配置 如果您采用了自定义OBS私有桶作为CDN的源站,即:跨账号添加OBS私有桶作为源站,您需要前往OBS控制台为您的私有桶配置策略。 配置步骤 在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击待操作的桶名称,进入“对象”页面。 在左侧导航栏,选择“访问权限控制
Turbo的自动导出功能当前处于受限使用状态,请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响,默认是16Gbit/s,如果大模型训练生成的Checkpoint文件过大、导出速度过慢,可提交工单申请调大OBS服务的写入带宽。 父主题: 基本配置
obsutil安装和配置 obsutil是用于访问、管理对象存储服务OBS的命令行工具,使用该工具可以对OBS进行常用的配置管理操作,如创建桶、上传文件/文件夹、下载文件/文件夹、删除文件/文件夹等。 obsutil安装和配置的具体操作指导请参见obsutils快速入门。 操作命
行的操作下的“配置数据存储”。 进入“配置数据存储”页面。 在“配置数据存储”页面,根据页面提示设置参数,为企业路由器实例配置OBS存储。 在“配置数据存储”页面,参数的详细说明,请参见配置OBS数据存储。 父主题: 使用CES服务监控ESW网络指标
查看桶日志配置 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过ObsClient.getBucketLogging查看桶日志配置。以下代码展示了如何查看桶日志配置: //
flink-obs-fs-hadoop目前仅支持OBS并行文件系统。 为了减少日志输出,在/opt/flink-1.12.1/conf/log4j.properties文件中增加配置: logger.obs.name=com.obs logger.obs.level=ERROR flink-obs-fs-hado
下载OBS Browser OBS Browser已于2020年4月15日下线,相关功能已集成到新版客户端工具OBS Browser+中,请获取最新的OBS Browser+工具。给您带来不便敬请谅解。 父主题: 入门
log-group2 目标OBS桶 存储日志的OBS桶。 如果没有创建过OBS桶,请单击“查看OBS”跳转到OBS界面进行创建。 首次配置一次性转储到未授权的OBS桶中时,AOM服务会授权给OBS桶ACL规则,授权生效需要15分钟,如果您第一次配置一次性转储后失败,请15分钟后重试。
配置Sqoop通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成Sqoop客户端对接OBS文件系统的配置后,可在Sqoop客户端导入关系型数据库的表到OBS中,或导出OBS中的表到关系型数据库中。 前提条件 需在MySQL官网https://downloads
已经配置了静态网站托管,配置方法请参见静态网站托管。 新建CORS规则 OBS支持通过控制台、API、SDK方式新建CORS规则,不支持通过OBS Browser+、obsutil方式新建CORS规则。 使用OBS控制台 在OBS管理控制台左侧导航栏选择“桶列表”。 在OBS管理控制台桶列表中,单击待操作的桶,进入“对象”页面。
配置桶ACL权限 OBS Browser+可以配置拥有者、匿名用户、特定用户对应的ACL权限。 操作步骤 登录OBS Browser+。 选中待配置的桶,单击“桶ACLs”。 根据需求设置目标桶的ACL权限,单击“确认”,如图1所示。 图1 配置ACL 当用户新创建一个桶时,如果不指定相应的ACL权限,OBS
桶的高级配置 本章介绍对桶属性的一系列管理操作,包括:桶ACL权限、生命周期管理、桶策略、挂载外部桶。 桶ACL权限 生命周期管理 桶策略 挂载外部桶
由于日志文件是OBS产生,并且由OBS上传到存放日志的桶中,因此OBS需要获得委托授权,用于上传生成的日志文件,所以在配置桶日志管理前,需要先到统一身份认证服务生成一个对OBS服务的委托,并将委托名作为参数配置到桶上,并且在xml文件中<LoggingEnabled>标签下配置相应的日
配置CDN下载 操作步骤 登录OBS Browser。 选中待操作的桶,在桶列表上方单击“更多>配置CDN下载”,系统弹出“配置CDN下载”对话框。 在待配置的用户域名所在行后面,勾选“启用CDN下载”。 单击“确定”。 在弹出的消息窗口中,单击“确定”关闭消息窗口。 父主题: CDN下载
status命令可查看是否开启该服务。 配置步骤 执行crontab -e命令,打开编辑定时任务的配置文件。 进入Insert模式开始编辑配置文件。 30 21 * * * cd /root && nohup ./obsutil cp /src/src1 obs://bucket-test -r
配置Presto通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Presto即可通过presto_cli.sh客户端创建表存储在OBS中。 Presto对接OBS 未开启Kerberos认证的集群 使用客户端安装用户,登录已安装客户端的节点。
obsfs简介 obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 obsfs是对象存储服务 (Object Storage Servic
Browser+下载地址及具体操作请参见下载OBS Browser+。 登录OBS Browser+ 由于OBS Browser+默认使用公网访问OBS,因此在登录OBS Browser+时,“服务提供商”和“服务器地址”需要按照以下要求填写: 服务提供商:选择“其他对象存储服务”。 服务器地址:根据ECS