检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
flink-obs-fs-hadoop目前仅支持OBS并行文件系统。 为了减少日志输出,在/opt/flink-1.12.1/conf/log4j.properties文件中增加配置: logger.obs.name=com.obs logger.obs.level=ERROR flink-obs-fs-hadoo
无 date str 或 DateTime 作为请求参数时,如果没有设置days则必选 参数解释: 指定OBS对该日期之前的对象执行生命周期规则。 约束限制: 日期格式必须为ISO8601的格式,并且为UTC的零点。 例如:2018-01-01T00:00:00.000Z,表示将
storage/ 目录。 在配置目录conf/druid/single-server/micro-quickstart/_common/下增加hdfs-site.xml,配置如下(其中endpoint按照桶所在的实际endpoint填写): 启动Druid服务。 父主题: 对接大数据组件
生命周期转换的目标存储类别取值范围详见StorageClassType。 默认取值: 无 Date time.Time 参数解释: 表示对象转换的日期。 约束限制: 日期格式必须为ISO8601的格式,并且为UTC的零点。 例如:2018-01-01T00:00:00.000Z,表示将最后修改时间
您在初始化时指定了WORM相关头域并配置了保护截止日期,则会使用该日期作为合并生成对象的保护截止日期。如果您在初始化时没有指定WORM相关头域,但配置了桶级默认保护策略,则会自动应用桶级默认保护策略的保护期限,实际的保护截止日期为合并时间+保护期限。在您合并后,您依旧可以正常为合并后的对象配置对象级WORM保护策略。
检查方法参考如何判断是否内网访问OBS?。 对于大量小文件的上传、下载,主要受TPS(单位时间内处理文件个数)影响,而非带宽。 批量上传可以增加“-j”和“-p”等参数,并将参数值调高,观察传输速度是否提高。参考性能调优最佳实践 父主题: OBS Browser+和obsutil等工具相关
您在2023年3月1日选择延长保留期,那么您可以选择2023年3月31日或以后的日期;如果您在2023年4月1日选择延长保留期,那么您可以选择当天(2023年4月1日)或以后的日期,如果您选择当天日期,在当天24点后该对象会失去WORM策略的保护。 手动彻底删除WORM对象 WO
8是OBSA的版本号。 如hadoop版本为3.1.x,则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。 增加hadoop-huaweicloud的jar包。 在CDH集群各节点执行以下命令,命令请根据hadoop-huaweicloud的jar包名字及实际CDH版本进行适配使用。
默认取值: 无 Date string 作为请求参数时,如果没有设置Days则必选 参数解释: 指定OBS对该日期之前的对象执行生命周期规则。 约束限制: 日期格式必须为ISO8601的格式,并且为UTC的零点。 例如:2018-01-01T00:00:00.000Z,表示将
的配置方式,包括:m(月)、w(周)、d(天)、h(小时)、min(分钟)、s(秒)。如果不带时间单位,则该参数为授权码有效的秒数。 仅部分区域支持文件夹分享功能,具体支持区域请参见功能总览。 仅桶版本号为3.0的桶支持文件夹分享功能。查询桶版本号方法请参见OBS 2.0和OBS
默认取值: 无 Date string 作为请求参数时,如果没有设置Days则必选 参数解释: 指定OBS对该日期之前的对象执行生命周期规则。 约束限制: 日期格式必须为ISO8601的格式,并且为UTC的零点。 例如:2018-01-01T00:00:00.000Z,表示将
参数解释: 如果对象在指定的时间后有修改,则返回对象内容,否则返回错误。 约束限制: 日期格式为GMT的格式。 例如:Wed, 25 Mar 2020 02:39:52 GMT。可以使用DateTime生成日期。 代码示例:DateTime(year=2023, month=9, day=12)。
properties文件中增加配置: log4j.logger.com.obs=ERROR obsa写入时临时文件的目录配置 Flume写OBS时会先写入本地磁盘缓冲区,然后上传到OBS,如果对写入OBS有极致性能要求请选择高性能磁盘作为缓冲区,在core-site.xml文件中增加配置: 1 2
cpp中4749行新增obs_upload_file_server_callback server_callback;同时4750行中,函数upload_file第四个参数后增加, server_callback,如下图: 设置了代理还是连接失败。 问题根因:可能是因为sdk的request.c的get_api_version函数中未设置代理。
响应消息元素 在此请求返回的响应消息体中包含的配置元素如下表1描述。 表1 生命周期配置元素 名称 描述 Date 指定OBS对该日期之前的对象执行生命周期规则。日期格式必须为ISO8601的格式,并且为UTC的零点。 例如:2018-01-01T00:00:00.000Z,表示将最后修
默认取值: 无 Date time.Time 作为请求参数时,如果没有设置Days则必选 参数解释: 指定OBS对该日期之前的对象执行生命周期规则。 约束限制: 日期格式必须为ISO8601的格式,并且为UTC的零点。 例如:2018-01-01T00:00:00.000Z,表示将
参数解释: 如果对象在指定的时间后有修改,则返回对象内容,否则返回错误。 约束限制: 日期格式为GMT的格式。 例如:Wed, 25 Mar 2020 02:39:52 GMT。可以使用DateTime生成日期。 代码示例:DateTime(year=2023, month=9, day=12)。
参数解释: 如果对象在指定的时间后有修改,则返回对象内容,否则返回错误。 约束限制: 日期格式为GMT的格式。 例如:Wed, 25 Mar 2020 02:39:52 GMT。可以使用DateTime生成日期。 代码示例:DateTime(year=2023, month=9, day=12)。
参数解释: 如果对象在指定的时间后有修改,则返回对象内容,否则返回错误。 约束限制: 日期格式为GMT的格式。 例如:Wed, 25 Mar 2020 02:39:52 GMT。可以使用DateTime生成日期。 代码示例:DateTime(year=2023, month=9, day=12)。
Presto对接OBS 概述 Presto分为prestoSql(现更名为Trino)和PrestoDB两大分支或是发行版。 Presto on OBS仅支持prestoSql/Trino发行版,下述对接步骤以prestoSql-333版本为例(从prestoSql-332版本开始Presto服务端必须使用JDK