检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
eSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。 对接步骤 下载datax源码,以发布版本datax_v202308为例:下载地址。 修改编译datax。
您可以通过调用truncate_object来对对象进行截断操作,truncate_object接口只适用于并行文件系统的桶,对象桶该接口不支持。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文,配置option 必选 桶参数。 key char * 必选 对象名。 object_length
您可以通过rename_object来修改对象名和目录名,rename_object接口只适用于并行文件系统,对象桶该接口不支持。 参数描述 字段名 类型 约束 说明 option 请求桶的上下文,配置option 必选 桶参数。 key char * 必选 需要重命名的对象名或目录名。 new_object_name
附加参数,可选 每个分段移动任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。 说明: 支持带容量单位配置,例如,配置1MB代表1048576字节。 支持配置为auto,此时obsutil会根据源对象大小自动设置每个分段任务的段大小。 cpd
如何对OBS进行访问权限控制? IAM权限和桶策略访问控制有什么区别? 在IAM配置OBS系统权限后仍然提示拒绝访问,请检查相应权限 给IAM用户配置了桶读写权限,登录控制台仍然提示拒绝访问,请检查相应权限 已配置OBS权限,仍然无法访问OBS(403 AccessDenied)
指定以自定义格式打印列举结果。当前仅支持值[default],指定列举结果在一行显示。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。
),可为云上多个弹性云服务器ECS,容器CCE&CCI,裸金属服务器BMS提供共享访问。 如何迁移? SFS的文件系统需要挂载到弹性云服务器、容器或裸金属服务器上,对于SFS和OBS之间的数据迁移,可以理解为服务器与OBS或者容器与OBS之间的数据迁移,其中服务器或容器中的数据存放在所挂载的SFS文件系统中。
务管理功能无法正常使用”的报错 问题 在Windows操作系统上启动OBS Browser时,出现“OBS Browser由于数据库不可用原因,导致任务管理功能无法正常使用。请关闭客户端,并前往您的数据库路径(可以在“系统配置 > 其他”中查看)删除obs文件夹中的所有文件,再重
径,以确保数据库正常运行。 在OBS Browser右上角,单击,并选择“系统配置”。 单击“其他”。 单击“数据库路径”参数后面的按钮打开本地文件浏览器对话框。 选择路径后,单击“确定”。 在“系统配置>其他”界面单击“保存”,保存修改后的路径。 此时,重新执行上传、下载或删除操作,任务列表将正常显示任务信息。
对深度归档存储对象执行DELETE类操作产生的请求费用。 并行文件系统GET类请求 pfs_get 请求费用 对并行文件系统执行GET类操作产生的请求费用。 并行文件系统PUT类请求 pfs_put 请求费用 对并行文件系统执行PUT类操作产生的请求费用。 并行文件系统DELETE类请求 pfs_delete
附加参数,可选 每个分段上传任务的段大小,单位:字节,取值范围是100KB~5GB,默认为配置文件中的defaultPartSize。 说明: 支持带容量单位配置,例如,配置1MB代表1048576字节。 支持配置为auto,此时obsutil会根据源文件大小自动设置每个分段任务的段大小。 cpd
传。 支持带容量单位配置,例如,配置1MB代表1048576字节。 ps 附加参数,可选 每个分段下载任务的段大小,单位:字节,默认为配置文件中的defaultPartSize。 说明: 支持带容量单位配置,例如,配置1MB代表1048576字节。 支持配置为auto,此时obs
针对同一个对象或桶的操作,比如多个客户端对同一个对象并行上传、查询和删除时,具体操作结果依赖于操作到达系统的时间和系统内部处理的时延,可能返回不一致的结果。比如,当多个客户端并行上传同一个对象时,系统最后收到的上传请求会覆盖前一个上传的对象。 详情请参考并发一致性说明。 父主题: API和SDK等开发者相关
重命名对象 功能介绍 重命名对象操作是指将指定文件桶内的一个对象重命名为其他对象名。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。重命名对象操作为非幂等操作。 请求消息样式 POST /ObjectName?name=Name&rename
修改写对象 功能介绍 修改写对象操作是指将指定文件桶内的一个对象从指定位置起修改为其他内容。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?modify&position=Position HTTP/1
截断对象 功能介绍 截断对象操作是指将指定文件桶内的一个对象截断到指定大小。 目前接口仅在并行文件系统支持,创建并行文件系统的方法详见请求示例:创建并行文件系统。 请求消息样式 PUT /ObjectName?truncate&length=Length HTTP/1.1 Host:
说明: 如果设置了该参数,必须确保更新了配置文件中客户端跨区域复制的相关配置信息,具体可参考更新配置文件。 复制时源桶对应的配置信息为配置文件中的:akCrr/skCrr/tokenCrr/endpointCrr,目标桶对应的配置信息为配置文件中的:ak/sk/token/endpoint。
Turbo”。 在文件系统列表中,单击要扩容的文件系统所在行的“容量调整”或“扩容”,弹出对话框。 图1 SFS Turbo HPC型容量调整 根据业务需要,在“新容量”文本框中重新设置文件文系统的容量。 在弹出对话框中确认容量调整信息后,单击“是”。 在文件系统列表中查看文件系统调整后的容量信息。
OBS支持在创建桶时打开桶级WORM开关,打开后可以为桶内的对象设置WORM,详见配置桶级默认WORM策略。在打开WORM开关的时候会默认为桶开启多版本,且多版本状态无法关闭;您无法为一个桶同时开启WORM开关和并行文件系统。 新创建桶的桶名在OBS中必须是唯一的。如果是同一个用户重复创建同一
OBS会不会扫描我的数据用于其他用途? 不会。 系统对数据做的扫描仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),不会读取具体的内容。 父主题: 数据安全、迁移和备份