检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DataX对接OBS 概述 DataX是一个数据同步框架,实现了包括MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能。OBS在大数据场景中可以替代Hadoop系统中的HDFS服务,本文介绍DataX如何对接OBS。
参数解释: 响应中的Cache-Control头,指定对象被下载时的网页的缓存行为。 默认取值: 无 contentDisposition String 可选 参数解释: 为请求的对象提供一个默认的文件名赋值给该对象,当下载对象或者访问对象时,以默认文件名命名的文件将直接在浏览器上显示或在访问时弹出文件下载对话框。
下载对象简介(Go SDK) OBS Go SDK提供了丰富的对象下载接口,可以通过以下方式下载对象: 流式下载 范围下载 限定条件下载 断点续传下载 下载对象-流式下载(Go SDK) 下载对象-范围下载(Go SDK) 下载对象-限定条件下载(Go SDK) 下载对象-断点续传下载(Go
最新动态(html) 本文介绍了Huawei Cloud EulerOS产品新特性和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。
策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 重复恢复归档或深度归档存储对象时在延长恢复有效期的同时,也将会对恢复时产生的恢复费用进行重复收取。产生的标准存储类别的对象副本有效期将会延长,并且收取延长时间段产生的标准存储副本费用。 ObsClient
} } 相关链接 关于下载对象的API说明,请参见获取对象内容。 更多关于下载对象的示例代码,请参见Github示例。 下载对象过程中返回的错误码含义、问题原因及处理措施可参考OBS错误码。 下载对象常见问题请参见下载对象失败。 父主题: 下载对象(Java SDK)
下载对象(Node.js SDK) 对象下载简介(Node.js SDK) 文本下载(Node.js SDK) 流式下载(Node.js SDK) 文件下载(Node.js SDK) 范围下载(Node.js SDK) 限定条件下载(Node.js SDK) 重写响应头(Node
cp命令如何开启增量上传、下载和复制? 在执行obsutil cp命令进行上传/下载时,可以通过增加“-u”参数开启增量功能。 该参数的含义为:上传/下载/复制每个对象时都会对比源路径和目标路径,仅在目标对象不存在,或者对象大小不一致,或者目标对象的最后修改时间早于源对象的最后修改时间时进行上传/下载/复制。
交issue,或者在华为云对象存储服务论坛中发帖求助。 下载对象时,可以重写部分HTTP/HTTPS响应头信息。可重写的响应头信息见下表: 参数 作用 ResponseContentType 重写HTTP/HTTPS响应中的Content-Type ResponseContentLanguage
如何实现下载对象时限速(Java SDK) 此示例用于下载对象时设置链接的限速,通过自定义头域,SDK透传x-obs-traffic-limit,服务端校验完成限速。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
管理运行队列 前提条件 任务列表中存在正在运行的任务。 操作步骤 登录OBS Browser+。 在页面左边的“任务管理”。 “任务管理”窗口默认会显示“运行队列”,如图1所示。 图1 运行队列列表 可选: 选择对单个任务或者多个任务单击“暂停”按钮,暂停后的任务会出现在“已暂停”任务队列。
挂载外部桶简介 当您拥有其他用户的桶的相应ACL权限时,通过挂载外部桶功能,可以通过您的个人账户在本地对该桶进行访问。 默认情况下,用户A挂载了用户B的桶后,往挂载的桶中上传的对象,用户B不能进行下载。 桶的读写权限可以通过桶ACL和桶策略来授权,桶ACL读写权限授权的操作如下: 表1 桶ACL读写权限
针对文件夹,以首次文件夹名下载成功为准,比如TEST/优先 test/下载成功,则最后本地文件夹只有TEST\。 针对文件,文件名以首次文件名下载成功为准,文件内容以最后一次下载成功为准,比如云上的对象test/foo.txt优先TEST/FOO.txt下载成功,则最后本地文件只有foo
obsutil上传下载速度慢 OBS不限速,obsutil也不会对客户数据传输进行限流。 采用obsutil进行文件上传下载,如果通过公网,受公网带宽限制;如果通过内网,受网卡、磁盘IO及是否有其它进程抢占资源的限制。 如果出现上传下载速度慢的问题,可参考以下方法排查处理: 检查网络。
被委托账号或用户为什么无法上传下载KMS加密对象? OBS服务端加密功能使用的前提是已经在IAM中为账号或用户授予OBS OperateAccess和KMS相关权限,如表所示。如果当前账号或用户是被委托方,也需要在委托中被授予OBS OperateAccess权限。请联系您的委托方进行授权,参见委托其他华为云账号管理资源。
利用obsutil进行断点续传 obsutil在上传、下载和复制大文件时通过分段上传/下载/复制算法,可支持断点续传。您可根据具体的场景设置开启分段任务的阈值以实现上传/下载/复制任务失败或中断后的续传。您可通过两种方式指定开启分段任务的阈值: 方法一 指定配置文件中的配置参数:defaultBigf
致性校验的示意图如图1所示。 图1 校验上传对象的一致性 下载对象时,OBS会将对象已有的MD5值与根据下载的对象内容计算出来的MD5值进行对比,如果对比结果一致,对象下载成功,否则下载失败。使用MD5值对下载数据进行一致性校验的示意图如图2所示。 图2 校验下载对象的一致性 校验上传对象的一致性
当对象上传至桶后,您可以将对象下载至浏览器默认保存路径或本地指定路径。 在对象列表页,找到已上传的对象。 下载对象。 下载单个对象 单击待下载对象右侧操作列的“下载”,将对象下载至浏览器默认保存路径。 批量下载多个对象: 选中多个对象,然后单击对象列表页搜索框上方的“更多 > 下载”,将多个对象下载至浏览器默认的保存路径下。
本文档是否适用于union SDK? 本文档是与OBS SDK配套的参考文档,为了您能更好的使用Java SDK,推荐前往下载与安装SDK(Java SDK)下载最新版本的Java SDK。 父主题: 常见问题(Java SDK)
Turbo:增加挂载配置,选择创建资源中创建的SFS Turbo HPC型文件系统。 图1 创建训练作业参数 单击“提交”,完成训练作业的创建。 训练作业创建完成后,后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将