检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
示例5:创建OBS转储 场景描述 本章以将指定的一个或多个日志流的日志转储到OBS服务为例。 涉及其它云服务接口 创建OBS转储时,需要查询用户的桶列表: 获取桶列表:确定将要配置转储的桶名称。
对象存储服务OBS接入LTS(邀测) 支持将对象存储服务桶内的文件一次性或定期导入到云日志服务,OBS服务接入LTS成功后,即可对日志进行搜索分析、日志加工等操作。加密桶的文件不支持导入LTS,若需要导入加密桶的文件,请先删除桶的加密配置,详细请参考删除桶的加密配置。
日志转储至OBS 对象存储服务 OBS提供日志存储功能;您可以将日志转储至OBS,并在OBS控制台下载日志文件。支持将日志周期性或一次性的转储至对象存储服务(OBS)中长期保存。 创建日志转储(周期性) 创建日志转储(一次性) 前提条件 日志已接入LTS。详细请参考日志接入。
配置LTS日志转储至OBS后,OBS桶无法查看历史数据? 在云日志服务LTS控制台,配置OBS转储后,OBS桶无法查看历史数据,是因为云日志服务配置的日志转储是将最新产生的日志转储到OBS桶中,不会对历史日志进行转储。 更多信息请参考日志转储至OBS。 父主题: 日志转储
OBS转储时区表 名称 Name id timezone 国际日期变更线西 International Date Line West Etc/GMT+12 UTC-12:00 协调世界时-11 Coordinated Universal Time-11 Etc/GMT+11 UTC
在云日志服务LTS控制台的“日志转储”页面,日志转储任务的状态显示异常,有可能是如下原因引起: 可能原因:OBS桶策略异常。 解决方法:请您在对象存储服务中设置访问控制策略。详细请参考配置桶策略。 可能原因:Kafka集群被删除。
转储成功后在OBS控制台所选OBS桶中可以看到已转储的CTS日志。 父主题: 日志转储
日志服务数据加工支持使用res_obs_file函数从OSS中获取数据,再使用tab_parse_csv函数构建表格,最后使用e_table_map函数进行字段匹配,返回指定字段和字段值,生成新的日志数据。
日志转储 日志转储概述 日志转储至OBS 日志转储至DIS 日志转储至DMS 日志转储至DWS 日志转储至DLI
最小长度:36 最大长度:36 log_stream_ids 是 Array of strings 日志流id列表, 可以指定一个或多个日志流进行obs周期性转储 obs_bucket_name 是 String obs 桶名称。
根据OBS转储日志桶是否加密判断,若OBS转储日志加密桶则必须填写该参数,若OBS转储日志桶则不需要此参数 最小长度:36 最大长度:36 obs_dir_pre_fix_name 否 String OBS转储自定义转储路径。当创建OBS转储时,根据需要选填此参数。
对象存储服务(Object Storage Service,简称OBS) 通过DIS服务,您可以将需要长期存储的日志转储至DIS,DIS可以将大量日志文件传输到云端做备份,进行离线分析、存储查询及机器学习,还能用于数据丢失或异常后的恢复和故障分析。
在云日志服务LTS控制台,日志转储是把日志“另存”一份保存至OBS服务,转储成功后,单击“转储对象”列的OBS桶名称,可以跳转至OBS控制台,查看转储的日志文件。 选择转储到DIS服务、DMS服务、DWS服务、DLI服务也是一样的操作。 父主题: 日志转储
根据OBS转储日志桶是否加密判断,若OBS转储日志加密桶则必须填写该参数,若OBS转储日志桶则不需要此参数 最小长度:36 最大长度:36 obs_dir_pre_fix_name 否 String OBS转储自定义转储路径。当创建OBS转储时,根据需要选填此参数。
详情见接口注册DMSkafka实例 最小长度:1 最大长度:128 obs_transfer_path String OBS转储路径,指OBS日志桶中的路径。 最小长度:0 最大长度:256 obs_eps_id String OBS企业项目ID。
详情见接口注册DMSkafka实例 最小长度:1 最大长度:128 obs_transfer_path String OBS转储路径,指OBS日志桶中的路径。 最小长度:0 最大长度:256 obs_eps_id String OBS企业项目ID。
bucket:PutBucketAcl obs:bucket:GetBucketAcl obs:bucket:GetEncryptionConfiguration obs:bucket:HeadBucket dis:streams:list dis:streamPolicies:
= OBS_TIME_ZONE transfer_task.log_transfer_info.log_transfer_detail.obs_time_zone_id = OBS_TIME_ZONE_ID request.body = UpdateTransferRequestBody
日志转储:日志转储基于复制的转储机制,将需要长期存储的日志数据转储至对象存储服务(OBS)、数据接入服务(DIS)或分布式消息服务(DMS)中长期保存,并且不会在LTS被删除。
LTS仪表盘模板 LTS仪表盘模板主要介绍OBS导入任务监控仪表盘,例如查看OBS导入LTS的任务ID、任务名称、成功条数、失败条数、处理速率等,及时发现数据导入过程中可能出现的异常问题。 前提条件 OBS已接入LTS,详细请参考对象存储服务OBS接入LTS(邀测)。