检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
S实现的HDFS协议不支持租约Lease机制(并发写同一个文件时将产生不可确定的状态),所以在flume场景下可以通过文件命名规则进行解决。 如sink文件的命名规则:hostname-sinkname作为文件的前缀,如果一个主机上部署了多个flume agent,不同的agent要有不同的sinkname。
详细操作请参见金融大数据咨询业务数据迁移。 DES磁盘方式 DES磁盘方式同样采用离线的方式将用户数据磁盘(USB、eSATA接口的磁盘等)快递至华为云,实现数据高效传输。磁盘方式适用于30TB以下的数据量搬迁。 图2 DES磁盘方式搬迁数据示意图 创建OBS桶 通过OBS控制台或OBS
采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题,可参考以下方法排查处理: 检查网络。 ping同区域的OBS终端节点(Endpoint),例如ping obs.cn-north-1
如果下载到90%后都是小对象,此时下载速度一定程度上可能会降低。 场景二:文件夹中的对象大小均匀。可能原因为数据已经下载完成,但是在写入磁盘时产生排队现象,造成显示下载变慢的假象,请客户排查客户端的写入速率等问题。 父主题: OBS Browser+和obsutil等工具相关
使用obsutil下载文件到99%后失败 出现该问题的主要原因: 网络波动导致下载失败。 磁盘IO卡顿导致缓存文件到目标文件夹失败。 解决方法: 重新执行下载命令。 obsutil在下载的时候默认开启断点续传,此时只要重新执行之前的下载命令就可以将之前下载失败的对象采用续传的方式重新下载到本地。 如果问
定时上传 OBS Browser+ 提供强大的定时上传功能,您可以将本地磁盘或目录中的一个或多个文件周期性的上传到目标桶的对应路径下。 首先进入定时上传页面,单击“立即上传”,进入到“创建定时上传”页面。 然后选择目标桶类型、桶路径、本地上传对象,您还可以打开自动上传开关,设置上传周期策略。
IAM用户如果希望使用AK/SK访问OBS,必须要账号为其开启“编程访问”。开启方法请参见查看或修改IAM用户信息。 在调用接口的时候,需要使用AK/SK进行签名验证。AK/SK获取步骤如下: 登录控制台。 鼠标指向界面右上角的登录用户名,在下拉列表中单击“我的凭证”。 在左侧导航栏单击“访问密钥”。
桶策略 桶的访问权限分为桶的ACL权限和桶策略两种。本节介绍桶策略以及配置方法。 桶策略简介 配置桶策略 父主题: 桶的高级配置
OBS是否支持流量监控? OBS支持流量监控功能: 通过OBS控制台的用量统计,能监控统计周期内的流量指标。查看方法,请参见查看用量统计。 通过云监控CES,能监控OBS包括流量指标在内的如下指标: 表1 OBS支持的监控指标(请求类) 指标ID 指标名称 指标含义 取值范围 测量对象
利用obsutil帮助命令查找工具功能 obsutil提供了帮助命令(help命令)用于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。
删除桶 用户可根据需要删除已创建的桶。 前提条件 待删除的桶为空。 只有桶的所有者才能删除桶。 删除桶之前必须确保桶内的对象已全部删除,并且桶内没有未完成的多段上传任务。 操作步骤 登录OBS Browser+。 选中待删除的桶,单击“删除”。 用户删除桶后,需要等待30分钟才能创建同名桶和并行文件系统。
如果有读ACP的权限,则可以获取对应的桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有读对应桶或对象ACP的权限。 ObsClient::PermissionReadAcp 写ACP权限 如果有写ACP的权限,则可以更新对应桶或对象的权限控制列表(ACL)。 桶或对象的所有者永远拥有写对应桶或对象的ACP的权限。
账号下的IAM用户;授权的范围是以桶为粒度的,一条ACL策略为一个桶设置策略,因此设置ACL策略时您必须明确指定桶名;桶ACL授予的权限包括桶的访问权限和桶ACL的访问权限两个方面,桶的访问权限包括对桶及桶内对象的查看和编辑权限,桶ACL的访问权限包括对桶ACL策略的查看和编辑权限,详情可参见ACL权限控制方式介绍。
明细。 选择需要查看的时间,统计维度默认“按使用量”。 在筛选条件中选择“资源ID”,并输入步骤2中复制的桶名,单击图标即可搜索该桶的账单。 图1 明细账单 可以单击列表右侧的导出详细账单进行查看。 账单使用量类型与计费项对照关系 目前费用中心对象存储服务账单中的使用量类型与OB
ecycle查看桶的生命周期规则,以下代码展示了如何查看桶的生命周期规则: static OBSClient *client; NSString *endPoint = @"your-endpoint"; // 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建
与其他服务的关系 对象存储服务OBS与周边服务的依赖关系如图1所示。 图1 对象存储服务OBS与其他服务的关系示意图 表1 与其他服务的关系 交互功能 相关服务 位置 通过相关服务将数据迁移到OBS 对象存储迁移服务(Object Storage Migration Service,OMS)
SetBucketPolicy 配置桶的策略,如果桶已存在策略,那么当前请求中的策略将完全覆盖桶中现存的策略。 获取桶策略 obsClient.GetBucketPolicy 获取桶的策略配置。 删除桶策略 obsClient.DeleteBucketPolicy 删除桶的策略配置。 设置桶的生命周期配置
登录华为云,进入IAM控制台,选择“用户组”页签。 单击需要查询的用户组前的下拉框,即可查询用户组名称、用户组ID。 图3 查询用户组名称、用户组ID 获取区域ID 登录华为云,进入IAM控制台,选择“项目”页签。 “项目”列的内容即为所属区域对应的ID。 图4 查看区域ID 获取委托名称和ID 登录华
获取桶的存量信息,包含桶的空间大小以及对象个数。 设置桶配额 ObsClient.setBucketQuota 设置桶的配额值,单位为字节,支持的最大值为263-1,配额值设为0表示桶的配额没有上限。 获取桶配额 ObsClient.getBucketQuota 获取桶的配额值,0代表配额没有上限。
任务列表中存在失败的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口单击“失败”按钮。 图1 失败队列列表 可选: 选择对单个任务或者多个任务单击“删除”按钮。 可选: 选择对单个任务或者多个任务单击“重试”按钮。 失败的任务会自动重试三次。