检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Browser+工具? OBS Browser+与OBS Browser的不同之处? OBS Browser+支持迁移OBS Browser保存的账号信息和任务信息吗? 为什么我运行了百万级别的任务后,感觉任务执行较慢? 为什么OBS Browser+上显示的桶中对象数量和桶内存储用量与实际的不一致?
0-187/hadoop-mapreduce/*。 重启MapReduce2集群。 增加Hive对接OBS的jar包 执行以下命令,在Hive Server节点创建auxlib文件夹。 mkdir /usr/hdp/3.0.1.0-187/hive/auxlib 执行以下命令,将OBSA-HDFS工具的jar包放到auxlib文件夹。
桶管理 桶管理方法介绍 添加桶 搜索桶 查看桶的基本信息 碎片管理 删除桶
监控与日志 使用CES监控OBS桶 使用CTS审计OBS操作事件 使用桶日志记录OBS日志信息
打开浏览器,在地址栏中输入https://www.huaweicloud.com并按“Enter”。 单击“注册”。 在注册页面,根据提示信息完成注册。 注册成功后,系统会自动跳转至您的个人信息界面。 按需计费 对象存储服务默认是按需付费,即按实际使用的时长收费,以小时为单位,按每小时整点结算,不设最低消费标准。
批量设置对象属性时,如果该值为空,则表示设置桶内所有对象的属性。 meta 附加参数,可选 复制对象时可指定的目标对象的标准和自定义元数据。格式为:key1:value1#key2:value2#key3:value3。 说明: 该参数需要与direct搭配使用才会生效。 以上值表示复制对象完成后,
管理桶 获取桶元数据 判断桶是否存在 删除桶 管理桶访问权限 管理桶策略 获取桶区域位置 获取桶存量信息 桶配额 桶存储类型
getenv("SECRET_ACCESS_KEY_ID"); String endPoint = "https://your-endpoint"; // 创建ObsClient实例 ObsClient obsClient = new ObsClient(ak, sk, endPoint); obsClient
在ECS上通过内网访问OBS方案概述 应用场景 某企业基于弹性云服务器(Elastic Cloud Server,ECS)构建好基础的业务后,随着数据增长,硬盘已无法满足大量的图片、视频等数据存取需求。了解到华为云提供有海量、弹性的云存储服务OBS后,决定将OBS作为数据存储资源池,以减轻服务器负担。
txt。 说明: 支持“*”匹配多个任意字符和“?”匹配单个任意字符,例如abc*.txt代表匹配以abc开头以.txt结尾的任意文件。 您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。 如果待下载的对象名匹配该参数,则跳过该对象的复制。 须知: 建议使
ark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。 MRS与OBS对接的具体操作,请参见华为云MRS对接OBS。 Cloudera
北-北京四的服务器访问华北-北京四的OBS桶,属于内网访问,华东-上海一的服务器访问华北-北京四的OBS桶,属于外网访问。表1是该用户7月份的费用构成。 表1 计费构成 操作分类 详细操作 涉及计费项 单价 计费量 费用 公网上传对象 华东-上海一的云服务器往华北-北京四的桶中上
txt。 说明: 支持“*”匹配多个任意字符和“?”匹配单个任意字符,例如abc*.txt代表匹配以abc开头以.txt结尾的任意文件。 您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。 如果待上传的文件名匹配该参数,则跳过该文件的上传。 须知: 建议使
追加上传可实现对同一个对象追加数据内容的功能。您可以通过ObsClient.appendObject进行追加上传。示例代码如下: // 创建ObsClient实例 var obsClient = new ObsClient({ // 认证用的ak和sk硬编码到代码中或者
txt。 说明: 支持“*”匹配多个任意字符和“?”匹配单个任意字符,例如abc*.txt代表匹配以abc开头以.txt结尾的任意文件。 您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。 如果待下载的对象名匹配该参数,则跳过该对象的复制。 须知: 建议使
的请求IP等信息,如果请求IP固定且不需要该IP访问对象,可通过设置桶策略,拒绝请求来源的IP访问桶。具体请参见限制指定的IP地址访问桶。 设置防盗链(白名单或黑名单访问) 针对账单中请求量较大的时间点,查询该时间点对应的日志,过滤出请求来源的Referer字段信息,设置防盗链。
说明: 如果msm=1则代表上传的URL是一组文件/文件夹列表(以英文逗号分隔)。 如果该值为msm=2则代表上传的URL是一个包含文件/文件夹列表的文件。 如果文件/文件夹名本身包含英文逗号,请不要使用msm=1的模式。 如果没有设置r参数,则列表中的文件夹不会被上传。 exclude
常见问题 是否支持同步删除文件 列举接口是否支持保存结果到本地文件 列举桶内对象返回的大小与控制台桶内对象大小不一致 批量任务执行失败如何确认错误信息 i/o timout、EOF错误原因定位及解决 批量任务进度条中出现问号的原因 是否支持多个config文件在同一个目录下 Window
桶名。 key 删除单个对象时必选 批量删除对象时可选 待删除的对象名,或批量删除的对象名前缀。 说明: 批量删除对象时,如果该参数为空,则表示删除桶中所有的对象。 fr 附加参数,删除单个对象时可选 删除单个对象时生成结果清单文件。 f 附加参数,可选 强制操作,不进行询问提示。
SDK打印的日志均会显示在浏览器提供的开发者工具的控制台上。 日志功能默认是关闭的,需要主动开启。 您可以从日志分析章节获取更多关于SDK日志的信息。 父主题: 初始化