检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataX对接OBS 概述 DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDF
如何解决进程偶现卡死的问题? 在调用.NET SDK方法时,如果遇到该问题,可以将方法调用加上using方式,示例如下。 // 初始化配置参数 ObsConfig config = new ObsConfig(); config.Endpoint = "https://your-endpoint";
grep obsutil,查看obsutil进程是否正在执行。 如何强制终止正执行的定时任务? 执行命令:ps -ef | grep obsutil,查看obsutil的进程信息。 执行命令:kill -9 PID,强制终止该进程(PID为查询到的进程号)。 父主题: 最佳实践
恢复对象任务状态一直是恢复中 OBS Browser+中任务数量达到了百万级别及以上,系统会处于海量查找的状态中,因批量恢复的对象数量较多,browser+在这种数量级的恢复请求下,获取真实的恢复状态会很慢,实际恢复请求已经成功。建议通过服务端或者其他途径进行查询对象的实际状态,
返回码 通过进程等方式调用obsutil时,无法实时查看回显信息。obsutil支持在进程运行结束后,根据不同的运行结果生成不同的返回码,具体的返回码及其含义如表1所示。您可以通过以下方式获取最近一次运行结果的返回码,然后根据返回码分析并处理问题。 macOS/Linux操作系统
将WordPress远程附件存储到OBS 背景信息 WordPress是一个基于PHP语言和MySQL数据库开发的博客平台,并逐步演化成一款内容管理系统软件,具有广泛的应用场景。 本文介绍如何通过插件,将WordPress远程附件存储到华为云OBS。OBS提供海量、稳定、安全的云
exceeded”。 使用OBS Browser上传文件夹,其中某个文件在上传完成后,操作系统返回IO状态异常,上传进度一直显示99.99%。 使用OBS Browser上传大文件,进度条没有反应,状态一直是“等待中”。 回答 出现以上问题都是由于OBS Browser客户端版本老旧引起的,升级到最新版本OBS
必选参数,指定允许的跨域请求的来源,即允许来自该域名下的请求访问该桶。 允许多条匹配规则,以回车换行为间隔。每个匹配规则允许使用最多一个“*”通配符。例如: http://rds.example.com https://*.vbs.example.com * 允许的方法 必选参数,指定允许的跨域请求方法,即桶和对象
获取上传进度(Java SDK) 功能说明 获取指定对象的上传进度。 您可以通过PutObjectRequest.setProgressListener设置数据传输接口来获取上传的进度。 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。
常见问题 同一个并行文件系统可以挂载至多个客户端吗? 可以。 同一个客户端可以挂载多个并行文件系统吗? 可以,且每一个挂载进程都是独立的。 obsfs挂载到华为云服务器ECS上时占用OBS流量还是云服务器ECS的流量? 该情况下占用OBS流量,不占用华为云服务器ECS的流量。 挂载的并行文件系统如何让其他用户访问?
多版本控制 使用场景 利用多版本控制,您可以在一个桶中保留多个版本的对象,使您更方便地检索和还原各个版本,在意外操作或应用程序故障时快速恢复数据。 默认情况下,OBS中新创建的桶不会开启多版本功能,向同一个桶上传同名的对象时,新上传的对象将覆盖原有的对象。 约束与限制 开启了桶级
必选参数,指定允许的跨域请求的来源,即允许来自该域名下的请求访问该桶。 允许多条匹配规则,以回车换行为间隔。每个匹配规则允许使用最多一个“*”通配符。例如: http://rds.example.com https://*.vbs.example.com * 允许的方法 必选参数,指定允许的跨域请求方法,即桶和对象
建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变 量AccessKeyID和SecretAccessKey。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support
获取上传进度 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过设置回调函数来获取上传的进度。示例代码如下: // 创建ObsClient实例 var obsClient
number 同一个用户如果开启多个obsutil进程同时运行时,可能导致日志文件并发写失败或日志内容丢失的问题,请在运行命令时加上-config参数为每个进程配置独立的配置文件。同时确保utilLogPath和sdkLogPath对每个进程均配置为不同的路径。 收集日志文件 您可通过如下两种方式收集日志:
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
上传的本地文件路径,需要指定到具体的文件名 }; // 以传输字节数为基准反馈上传进度 request.ProgressType = ProgressTypeEnum.ByBytes; // 每上传1MB数据反馈上传进度 request.ProgressInterval = 1024
已购买资源包,为什么仍然扣费? 问题描述 已经购买了OBS包年包月资源包,使用过程中仍然产生了按需费用。 排查思路 以下排查思路根据原因的出现概率进行排序,建议您从高频率原因往低频率原因排查,从而帮助您快速找到问题根因。 如果处理完某个可能原因仍未解决问题,请继续排查其他可能原因。
服务上的资源。使用OBS C SDK发起OBS请求,您需要先调用初始化接口,在进程退出的时候调用取消初始化的接口,释放资源。 在使用C SDK前要先调用初始化接口obs_initialize,而且进程中只需要调用一次: obs_status ret_status = OBS_STATUS_BUTT;
获取下载进度 开发过程中,您有任何问题可以在github上提交issue,或者在华为云对象存储服务论坛中发帖求助。接口参考文档详细介绍了每个接口的参数和使用方法。 您可以通过GetObjectRequest.setProgressInterval设置数据传输接口来获取下载的进度。示例代码如下: