检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
大数据场景下使用OBS实现存算分离 大数据场景下使用OBS实现存算分离方案概述 操作流程 对接大数据平台 对接大数据组件 迁移HDFS数据至OBS
动态卸载OBS 功能介绍 卸载后,OBS存储中的对象保持不变,Notebook容器中无法再操作OBS对象。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
删除无用的文件或文件夹可节省空间和成本。 用户上传到OBS的某些文件,可能需要定期删除,对于这类删除文件的场景,可通过OBS的生命周期管理功能实现,也可通过OBS的生命周期管理功能一次性清空桶里面所有文件或文件夹。详情请参见生命周期管理。 操作步骤 登录OBS Browser+。 选中待配置的桶,进入文件列表。
检查网络。 ping同区域的OBS终端节点(Endpoint),例如ping obs.cn-north-1.myhuaweicloud.com,检查网络时延、丢包率等。 OBS各区域终端节点列表 检查是否通过内网访问OBS。 检查方法参考如何判断是否内网访问OBS?。 对于大量小文件的
下载并安装obsfs obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 配置运行环境 obsfs的运行环境依赖openssl-devel
OBS是否支持批量下载文件? OBS管理工具批量下载功能的支持情况: 表1 OBS管理工具批量下载功能 工具 批量下载 管理控制台 不支持 OBS Browser+ 支持 详情请参见下载文件或文件夹。 obsutil 支持,详情请参见下载对象。 SDK 不支持 API 不支持 父主题:
注意事项 OBS桶作为源站,可以通过“OBS桶域名”或“源站域名”两种形式接入CDN,具体请参见源站配置。OBS桶的版本或接入CDN的方式不同将决定您是否可以购买OBS回源流量包抵扣回源流量: 可以购买OBS回源流量包的前提条件:OBS桶版本为3.0以上且以“OBS桶域名”方式接入CDN。
安装OBS Browser+ 操作步骤 单击OBS Browser+工具的下载链接下载该工具。 解压下载的软件包。 运行“obs-browser-plus Setup xxx.exe”完成OBS Browser+工具安装。“xxx”为OBS Browser+工具的版本号。 在开始
将本地文件拖拽至“上传对象”区域框内来添加对象。 也可以通过单击区域框内的“添加文件”,选择本地文件进行添加。 其他参数保持默认,单击“上传”。 右侧自动弹出任务中心页面,可在任务中心查看对象上传状态。上传成功的对象将在对象列表中展示。 步骤三:下载对象 当对象上传至桶后,您可以将对象下载至浏览器默认保存路径或本地指定路径。
确认是否已经是内网访问OBS 具体方法请参见如何判断是否内网访问OBS? OBS桶的全局域名格式为:桶名.obs.my-kualalumpur-1.alphaedge.tmone.com.my 下载OBS Browser+ OBS Browser+下载地址及具体操作请参见下载OBS Browser+。
对服务授权 如果您需要使用OBS中的数据,请开通对象存储服务OBS授权。登录管理控制台,进入“服务管理”页面。打开对象存储服务OBS授权的按钮,完成授权操作。完成授权即可使用授权方式的URL对服务进行访问。 图1 OBS授权 不支持跨区域OBS,OBS的区域需要和服务保持一致。 开启公共读授权
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图2所示。
重新下载到本地。 如果问题未能解决,请将obsutil升级到最新版本再进行下载。 如果问题仍然存在,请联系客服处理。 父主题: OBS Browser+和obsutil等工具相关
登录客户端 本节介绍如何登录OBS Browser。 操作步骤 双击“obs.exe”程序,打开OBS Browser。 如果是首次启用OBS Browser,打开OBS Browser时将自动弹出“添加新账号”界面,请执行步骤4。 在OBS Browser右上角,单击账号名,并选择“账号管理”。
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink
日志分析 日志配置 OBS BrowserJS SDK提供了日志功能,您可以通过ObsClient.initLog开启日志功能并进行配置。示例代码如下: // 创建ObsClient实例 var obsClient = new ObsClient({ // 认证用的ak和
利用obsutil帮助命令查找工具功能 obsutil提供了帮助命令(help命令)用于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。
end_time 是 int 无 查询结束时间(毫秒时间戳)。 service_type 否 string OBS 服务类型。 zone_type 否 string OBS_POD OBS专属区。 page_size 是 int 0~1000 页大小。 offset_value 是 int
使用源码安装时引入SDK代码库 // require 'obs-autoloader.php'; // 声明命名空间 use Obs\ObsClient; // 创建ObsClient实例 $obsClient = new ObsClient ( [ //推荐通过环境变