检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
云数据迁移(Cloud Data Migration,CDM)提供同构/异构数据源之间批量数据迁移服务,帮助您实现数据自由流动。支持关系数据库,数据仓库,NoSQL,大数据云服务等数据源。 详细内容请参见云数据迁移。 OMS方式迁移 对象存储迁移服务(Object Storage Migration
N/A Timeout 同步调用的超时时间(单位:毫秒)。默认为-1表示不超时。 N/A ReadWriteTimeout Socket层传输数据的超时时间(单位:毫秒)。默认为60000毫秒。 [10000, 60000] AsyncSocketTimeout 异步调用的超时
增量同步上传对象 功能说明 将本地源路径下的所有内容同步到OBS指定目标桶,使两边内容保持一致。此处的增量同步有两层含义: 增量,依次比较源文件和目标对象,只上传存在变化的源文件。 同步,命令执行完成后,保证本地源路径是OBS指定目标桶的子集,即本地源路径下的所有文件均能在OBS指定目标桶中找到对应对象。
增量同步下载对象 功能说明 将OBS源桶指定路径下的所有对象同步到本地目标路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标文件,只下载存在变化的源对象;2)同步,命令执行完成后,保证OBS指定源桶指定路径是本地目标路径的子集,即OBS源桶指定路径
增量同步复制对象 功能说明 将源桶指定路径下的所有对象同步到目标桶指定路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标对象,只复制存在变化的源对象;2)同步,命令执行完成后,保证源桶指定路径是目标桶指定路径的子集,即源桶指定路径下的所有对象均能在目标桶中找到对应对象。
AX表示在domain层显示。 XA表示在project层显示。 AA表示在domain和project层均显示。 XX表示在domain和project层均不显示。 自定义策略的显示模式只能为AX或者XA,不能在domain层和project层都显示(AA),或者在domain层和project层都不显示(XX)。
max_retry_count HTTP/HTTPS连接异常时的请求重试次数。默认为3次。 [1,5] socket_timeout Socket层传输数据的超时时间(单位:秒)。默认为60秒。 [10, 60] connect_timeout 建立HTTP/HTTPS连接的超时时间(单位:秒)。默认为60秒。
挂载至本地系统的并行文件系统不能提供与本地文件系统完全相同的性能或功能,使用时需要注意以下细节: 挂载目录中的文件或文件夹不支持硬链接命令。 创建的目录深度不超过45层。 因使用FUSE框架存在内核态与用户态切换,不适合高并发场景。 ls、stat等linux命令需要远程访问OBS服务器,所以性能较差。 一
index.htm ; #指定网站初始页。如果包括多个文件,Nginx会根据文件的枚举顺序来检查。 #当您使用ELB七层监听器时,建议设置X-Forwarded-For参数为空 #proxy_set_header X-Forwarded-For
ObsConfiguration.setConnectionTimeout [10000, 60000] socketTimeout Socket层传输数据的超时时间(单位:毫秒)。默认为60000毫秒。 ObsConfiguration.setSocketTimeout [10000,
各个使用方式支持的情况请参见OBS是否支持断点续传功能? 增量同步上传 将本地源路径下的所有内容同步到OBS指定目标桶,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源文件和目标对象,只上传存在变化的源文件;2)同步,命令执行完成后,保证本地源路径是OBS指定目标桶的子集,即本地源
除访问凭证外只配置endpoint示例代码 除了配置终端节点(endpoint)还有其他配置 除了配置终端节点(endpoint)还需要配置HTTP代理、Socket层传输数据超时时间等参数,您可通过ObsConfiguration配置类对ObsClient进行配置,支持的配置项参见表2。 ObsConfiguration示例代码
原有的内容将不可用,取消挂载后即可恢复。建议使用空目录作为挂载目录。 挂载目录中的文件或文件夹不支持硬链接命令。 创建的目录深度不超过45层。 每次通过命令手动挂载的并行文件系统,在Linux重启后,都需要重新挂载。 并行文件系统的容量请以实际使用情况为准。 您也可以设置开机自动
Presto对接OBS 概述 Presto分为prestoSql(现更名为Trino)和PrestoDB两大分支或是发行版。 Presto on OBS仅支持prestoSql/Trino发行版,下述对接步骤以prestoSql-333版本为例(从prestoSql-332版本开始Presto服务端必须使用JDK