检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
com/usermanual-ca/ca_01_0003.html AccessKeyId: process.env.AccessKeyID, SecretKey: process.env.SecretAccessKey, EndPoint: 'https://your-test-bucket
com/usermanual-ca/ca_01_0003.html access_key_id: process.env.AccessKeyID, secret_access_key: process.env.SecretAccessKey, // 这里以华北-北京四为例,其他地区请按实际情况填写
com/usermanual-ca/ca_01_0003.html access_key_id: process.env.AccessKeyID, secret_access_key: process.env.SecretAccessKey, // 这里以华北-北京四为例,其他地区请按实际情况填写
者服务端返回5XX错误时,SDK会进行指数退避重试。 ObsClient.putObject接口,当数据源是非FileInputStream的其他InputStream时,由于数据流不能回读,当发生IO异常时,SDK不会进行重试,需要上层应用程序自行重试。 ObsClient.g
量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量AccessKeyID和SecretAccessKey。 // 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud
足不同场景下的用户需求。 包年/包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于数据存储需求量长期稳定的成熟业务。 按需计费:一种后付费模式,即先使用再付费,按照OBS实际使用时长计费,秒级计费,按小时结算。按需计费模式允
配置SFS Turbo数据自动导出到OBS桶 配置自动导出后,训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存,无需手工导出,异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前
等。 总览页在查询数据时,可能会出现多个数据不一致的情况,具体说明如下所示。 数据不一致的情况说明 标准存储量+低频访问存储量+归档存储量不等于总存储量,可能的原因有: 数据来源不一致:总存储量数据来源于OBS实时数据,标准存储量、低频访问存储量、归档存储量数据均来源于云监控CES(OBS上报至CES的数据)。
月多次)并快速获取数据的业务场景。 低频访问存储:适用于不频繁访问(平均一年少于12次),但需要快速获取数据的业务场景。 归档存储:适用于很少访问(平均一年一次),且对数据获取速率要求不高的业务场景。 深度归档存储:适用于很少访问,访问频率低于归档存储,且对数据获取速率要求不高的业务场景。
Buckets Viewer 拥有该权限的用户可以执行列举桶、获取桶基本信息、获取桶元数据的操作。 系统角色 无 OBS ReadOnlyAccess 拥有该权限的用户可以执行列举桶、获取桶基本信息、获取桶元数据、列举对象(不包含多版本)的操作。 说明: 拥有该权限的用户如果在控制台上列举
如果只需要下载对象的其中一部分数据,可以使用范围下载,下载指定范围的数据。如果指定的下载范围是0~1000,则返回第0到第1000个字节的数据,包括第1000个,共1001字节的数据,即[0, 1000]。如果指定的范围无效,则返回整个对象的数据。以下代码展示了如何进行范围下载:
com/usermanual-ca/ca_01_0003.html 'key' => getenv('ACCESS_KEY_ID'), 'secret' => getenv('SECRET_ACCESS_KEY'), 'endpoint' => 'https://your-endpoint'
workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID"), secret_access_key=os.getenv("SecretAccessKey"), server='https://your-endpoint'
workflowClient = WorkflowClient( access_key_id=os.getenv("AccessKeyID"), secret_access_key=os.getenv("SecretAccessKey"), server='https://your-endpoint'
就算重启或升级Presto都必须还保持原来的标识。 node.data-dir:数据目录,Presto用它来保存log和其他数据 示例: node.environment=presto_cluster node.id=bigdata00 node.data-dir=/home/m
OBS时,可通过域名方便定位OBS中的资源。 在使用OBS之前,请确保客户端环境已经正确配置DNS服务器地址,用于OBS域名解析。 不同的数据中心分配对应的域名,域名详情请参见地区和终端节点。 父主题: 产品咨询
无 encodeHeaders boolean 可选 参数解释: 设置对象元数据接口允许指定是否编解码http头域。 取值范围: true:对象元数据接口允许进行编解码http头域。 false:对象元数据接口允许不进行编解码http头域。 默认取值: 默认为true,默认会进行编解码。
Hive对接OBS 概述 Hive是一个数据仓库工具,可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载,它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop,具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2
在上面设置对象自定义元数据示例代码中,用户自定义了一个名称为“property1”,值为“property-value1”的元数据和一个名称为“property2”,值为“property-value2”的元数据。 一个对象可以有多个元数据,总大小不能超过8KB。 对象的自定义元数据可以通过ObsClient
如果只需要下载对象的其中一部分数据,可以使用范围下载,下载指定范围的数据。如果指定的下载范围是0~1000,则返回第0到第1000个字节的数据,包括第1000个,共1001字节的数据,即[0, 1000]。如果指定的范围无效,则返回整个对象的数据。可以利用范围下载并发下载大对象