检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行模式:选择HDFS连接的运行模式。 步骤3:创建OBS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图3所示。 名称:用户自定义连接名称,例如“obslink”。 OBS终端节点、端口:配置为OBS实际的地址信息。
OBS授权给DLI服务 功能介绍 用户主动授权OBS桶的操作权限给DLI服务,用于保存用户作业的checkpoint、作业的运行日志等。 当前接口已废弃,不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project
为什么OBS存储的数据丢失了? 如果您的OBS中存储的数据丢失了,请按照以下原因排查: 请检查桶中是否设置了生命周期过期删除规则,符合规则的对象会被删除。 请检查桶是否授权了其他用户桶的写权限,被授权的用户都可以删除对象。如果您开启了日志记录功能,可以通过日志记录查询到删除对象的用户。
"very good." 上传数据到OBS 上传数据到OBS。 将待导入的数据源文件存储在OBS桶中。 登录OBS管理控制台。 单击“服务列表”,选择“对象存储服务”,打开OBS管理控制台页面。 创建桶。 如何创建OBS桶,具体请参见《对象存储服务控制台指南》中的创建桶章节。 例如
动态卸载OBS 功能介绍 卸载后,OBS存储中的对象保持不变,Notebook容器中无法再操作OBS对象。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
通过Flink作业处理OBS数据 应用场景 MRS支持在大数据存储容量大、计算资源需要弹性扩展的场景下,用户将数据存储在OBS服务中,使用MRS集群仅做数据计算处理的存算分离模式。 本文将向您介绍如何在MRS集群中运行Flink作业来处理OBS中存储的数据。 方案架构 Flink
下载并安装obsfs obsfs工具于2024年7月1日下线,下线后OBS不再对此工具提供维护和客户支持服务,请使用s3fs将OBS对象桶挂载至Linux系统,给您带来不便敬请谅解。如有问题请提交工单寻求技术支持。 配置运行环境 obsfs的运行环境依赖openssl-devel
最佳实践 利用obsutil帮助命令查找工具功能 利用crontab配置定时任务 将obsutil设为系统内置命令 为obsutil配置自动获取访问密钥 obsutil性能调优最佳实践 利用obsutil进行断点续传 利用obsutil上传软链接 为obsutil配置HTTP代理
定时上传是否采用增量 OBS Browser+的定时上传任务默认情况下采用的是增量上传,当周期开始时,OBS Browser+会扫描本地文件与桶中对应路径的对象进行对比,仅在对象不存在,或者对象大小与文件大小不一致,或者对象的最后修改时间早于文件的最后修改时间时才会进行上传。 需
计费项 存储费用 请求费用 流量费用 数据恢复费用 数据处理费用 特殊场景计费
OBS域名管理 通过CDN加速访问OBS 使用自定义域名托管静态网站
OBS数据安全 OBS安全配置建议 减少因误操作导致的数据丢失风险
说明 endpoint OBS的endpoint,例如 https://obs.cn-north-4.myhuaweicloud.com http://obs.cn-north-4.myhuaweicloud.com access_key_id 具备访问OBS权限的ak。 secret_access_key
发送OBS事件 在OBS管理控制台左侧导航栏选择“桶列表”。 在桶列表单击已创建的桶“eg-obs”,进入“对象”页面。 进入待上传的文件夹,单击“上传对象”,系统弹出“上传对象”对话框。 上传一个本地已准备好的文件,单击“上传”。 更多上传对象文件的方法请参考上传对象。 图1 上传对象
利用obsutil帮助命令查找工具功能 obsutil提供了帮助命令(help命令)用于查看各命令的帮助文档。以查询创建桶命令的帮助文档为例,详细的步骤如下: 使用obsutil help命令查看当前支持的所有命令列表。 根据命令列表中的文档说明,找到需要查看的命令缩写,例如创建桶命令缩写为mb。
customer_address_ext用于接收数据服务器上的数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。 其中设置的导入信息如下所示: 由于OBS服务器上的数据源文件存放目录为“/input-data1/data/
日志文件 配置日志文件 obsutil的日志文件分为工具日志和SDK日志,可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志: 工具日志(记录工具在运行期间产生的日志信息):配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize。
将WordPress远程附件存储到OBS 背景信息 WordPress是一个基于PHP语言和MySQL数据库开发的博客平台,并逐步演化成一款内容管理系统软件,具有广泛的应用场景。 本文介绍如何通过插件,将WordPress远程附件存储到华为云OBS。OBS提供海量、稳定、安全的云存储能
OBS是否支持断点续传功能? OBS管理工具断点续传功能的支持情况: 表1 OBS管理工具断点续传功能 OBS管理工具 断点续传功能 管理控制台 不支持 OBS Browser+ 支持 obsutil 支持 参考文档:利用obsutil进行断点续传 SDK 支持 使用SDK的断点
检查网络。 ping同区域的OBS终端节点(Endpoint),例如ping obs.cn-north-1.myhuaweicloud.com,检查网络时延、丢包率等。 OBS各区域终端节点列表 检查是否通过内网访问OBS。 检查方法参考如何判断是否内网访问OBS?。 对于大量小文件的