检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Flume通过IAM委托访问OBS 参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
添加桶 桶是OBS中存储对象的容器。您需要先创建一个桶,然后才能在OBS中存储数据。 一个账号及账号下的所有IAM用户可创建的桶+并行文件系统的上限为100个。建议结合OBS细粒度权限控制能力,合理进行桶规划和使用。例如,建议在桶内根据对象前缀划分不同的目录,通过细粒度权限控制实
Create OBS OBS路径不支持s3a://开头的日志路径。 约束限制 该功能依赖于OBS服务。 功能 通过Create OBS节点在OBS服务中创建桶和目录。 参数 用户可参考表1和表2配置Create OBS节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是
访问OBS域名失败,连接不上CA证书 在证书不受信的情况下,访问OBS域名会失败,需要重新获取OBS证书并将其导入客户端信任库。 获取OBS证书(以Chrome浏览器为例)。 在浏览器中访问OBS域名:https://obs.myhuaweicloud.com。 单击域名左侧的,选择“证书”。
外部桶 外部桶简介 挂载外部桶 应用示例一:由桶ACL授权挂载桶的权限 应用示例二:由标准桶策略授权挂载桶的读写权限 应用示例三:由高级桶策略授权挂载桶的读写权限
检查网络。 ping同区域的OBS终端节点(Endpoint),例如ping obs.cn-north-1.myhuaweicloud.com,检查网络时延、丢包率等。 OBS各区域终端节点列表 检查是否通过内网访问OBS。 检查方法参考如何判断是否内网访问OBS?。 对于大量小文件的
在域名管理界面右上方单击“开启OBS委托授权”。 单击“确定”,系统将为您在IAM管理控制台委托页面创建名为“CDNAccessPrivateOBS”委托关系,CDN将有权限(只读权限)访问您的私有OBS桶。 请勿删除CDN与OBS的委托关系,否则会导致CDN无法在回源时从OBS私有桶获取相应资源。
OBS对象名约束 图引擎服务支持的OBS对象名支持以下字符: 字母数字字符 0-9 a-z A-Z 特殊字符 ! - _ . * ' ( ) 中文 \u4e00-\u9fa5 暂不支持的字符有: 特殊字符 \ { ^ } % ` ] " > [ ~ < # | & @ : , $
“已恢复”。 基于安全合规要求,华为云对象存储服务OBS禁止通过OBS的默认域名在线预览桶内对象,即使用分享链接从浏览器访问桶内对象(如视频、图片、网页等)时,不会显示对象内容,而是以附件形式下载。解决方案请参考:如何在浏览器中在线预览OBS中的对象? 父主题: 对象操作
我可以在OBS中存储多少数据? OBS系统和单个桶都没有总数据容量和对象/文件数量的限制,但对于单次上传对象的大小有如下限制: OBS管理控制台支持批量上传文件,单次最多支持100个文件同时上传,总大小不超过5GB。如果只上传1个文件,则这个文件最大为5GB。 OBS Brows
配置日志记录 当一个桶启用了日志记录功能后,OBS自动将该桶的日志按照固定的命名规则,生成一个对象写入用户指定的桶。 前提条件 日志投递用户组对目标桶具有“写入权限”和“查看ACL权限”。权限设置方法请参见配置桶ACL。 操作步骤 登录OBS Browser。 选中待配置的桶,单击“更多
挂载外部桶 OBS Browser支持挂载外部桶功能。 前提条件 本账号已获取了挂载桶的相应的读写权限。 例如:账号A要挂载账号B的“testbucket”桶,账号B需授权给账号A“testbucket”桶的读取权限。账号A还需要上传对象到挂载桶中时,账号B还需授权给账号A“te
假设bucket-test桶内包含如下对象: obs://bucket-test/test1.txt obs://bucket-test/test2.txt obs://bucket-test/test3.txt obs://bucket-test/test4.txt obs://bucket-test/test5
定时上传是否采用增量 OBS Browser+的定时上传任务默认情况下采用的是增量上传,当周期开始时,OBS Browser+会扫描本地文件与桶中对应路径的对象进行对比,仅在对象不存在,或者对象大小与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时才会进行上传。 需
Windows操作系统 obsutil help [command] macOS/Linux操作系统 ./obsutil help [command] 运行示例 以Windows操作系统为例,运行obsutil help mb,查看创建桶命令的帮助文档。 obsutil help mb
运行模式:选择HDFS连接的运行模式。 步骤3:创建OBS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图3所示。 名称:用户自定义连接名称,例如“obslink”。 OBS终端节点、端口:配置为OBS实际的地址信息。
重新下载到本地。 如果问题未能解决,请将obsutil升级到最新版本再进行下载。 如果问题仍然存在,请联系客服处理。 父主题: OBS Browser+和obsutil等工具相关
合规性要求。 OBS Broswer目前支持KMS托管密钥的服务端加密(SSE-KMS)方式,SSE-KMS方式是指OBS使用KMS提供的密钥进行服务端加密。 OBS Broswer目前支持通过接口提供KMS托管密钥的服务端加密(SSE-KMS)。 父主题: 服务端加密
复制到目标桶: Windows操作系统 obsutil cp obs://src-bucket obs://dst-bucket -f -r -crr Linux操作系统 ./obsutil cp obs://src-bucket obs://dst-bucket -f -r -crr