检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用DSL加工函数过滤VPC流日志公网流量 虚拟私有云VPC提供流日志功能,可以帮您采集指定VPC内网络实例的流量信息,包括入方向和出方向的流量。创建流日志后,您可以在配置的日志组中查看流日志记录。更多VPC流信息请参考VPC流日志概述。 在虚拟私有云VPC控制台上创建VPC流日志功能后,V
'services','ingresses','configmaps','configmaps','persistentvolumeclaims') group by "dt","操作类型" order by "dt" limit 10000 非系统用户操作趋势图表所关联的查询分析语句如下所示:
2(存储膨胀)*2(50%磁盘冗余) = 13200GB磁盘。 搭建ES最小典型配置是3台ECS(16U64G5TB),kafka双副本能支持缓存最近12小时的日志。 表1 自建ELK 大类 小类 月成本(合计:12597元) 费用占比 搭建ES 3 * ECS(C6 16U64G) 3*1999=5997元 47
方法1:更新表在元数据库中的分区信息 登录DLI控制台。 左侧导航栏选择“作业管理-SQL作业”。 单击对应队列的操作列“编辑”,进入详情页,在编辑框输入命令“MSCK REPAIR TABLE table_name”,table_name为有分区表的表名称。例如更新表名称为lts_qpg_dli的分区表。
false enableLocalTest 是否开启跨云上报日志。 选true时,开启跨云后用户能通过公网(仅支持华北-北京四、华东-上海一、华南-广州、西南-贵阳一)访问(建议调测使用)。 选false时,关闭跨云后用户是通过华为云当前区域主机访问。 boolean 选填 false
邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免密登录LTS的场景,但是登录华为云LTS控制台还是需要账号密码。 用户在外部系统中(例如公司内部运维或运营系统)快速集成云日志服务的查询、分析能力。
邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免密登录LTS的场景,但是登录华为云LTS控制台还是需要账号密码。 用户在外部系统中(例如公司内部运维或运营系统)快速集成云日志服务的查询、分析能力。
管理日志流 云日志服务是以日志流(LogStream)作为日志管理维度。日志采集后,以日志流为单位,将不同类型的日志分类存储在不同的日志流上,方便对日志进一步分类管理。如果日志较多,需要分门别类,建议您创建多个日志流,并给日志流做好命名,方便后续快速查找日志。例如,您可以将操作日
使用KAFKA协议上报日志到LTS Flume 使用KAFKA协议上报日志到LTS Beats 使用KAFKA协议上报日志到LTS 云日志服务云产品 ECS、CCE等华为云产品日志 使用云服务接入LTS 父主题: 日志接入
日志转储 创建日志转储(旧版) 创建日志转储(新版) 删除日志转储 更新日志转储 查询日志转储 注册DMS kafka实例 父主题: API说明
文本解析 解析Nginx日志 提取字符串动态键值对 解析CSV格式日志 加工复杂JSON数据 解析与更新JSON数据 父主题: 日志加工(邀测)
多账号日志汇聚 获取日志汇聚开关 修改日志汇聚开关 获取组织成员汇聚配置 获取组织成员日志组日志流 更新汇聚配置 父主题: API说明
SDK通过消费组消费数据。 目前此功能在邀测中,暂不支持申请开通。 前提条件 使用云日志SDK前,您需要注册华为云账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证
false enableLocalTest 是否开启跨云上报日志。 选true时,开启跨云后用户能通过公网(仅支持华北-北京四、华东-上海一、华南-广州、西南-贵阳一)访问(建议调测使用)。 选false时,关闭跨云后用户是通过华为云当前区域主机访问。 boolean 选填 false
"v2"} dct_update 更新字典。 函数格式 dct_update(dict1, dict2) 参数说明 参数名称 数据类型 是否必填 说明 dict1 dict 是 需要被更新的目标字典。 dict2 dict 是 补充新的字典信息。 返回结果 返回更新的字典。 函数示例 测试数据
云审计服务CTS接入LTS 支持云审计服务CTS日志接入LTS。 前提条件 已购买并使用华为云CTS实例。 设置CTS接入LTS 云日志服务接入方式为云审计 CTS时,按照如下操作完成接入配置。 云审计服务记录的用户操作事件日志接入到云日志服务后,在云日志服务控制台默认存储时间为
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。转储至数据仓库服务GaussDB(DWS) ,可以将日志中的结构化字段转储到DWS数据库表中,您可以根据业务场景选择是否使用DWS进行日志转储。
从当前数据加工任务中拉取高级参数配置信息。 支持和其他函数组合使用。 res_obs_file 从OBS中获取特定Bucket下的文件内容,支持定期更新数据。 支持和其他函数组合使用。 res_local 使用res_local函数从当前数据加工任务中拉取高级参数配置信息。支持和其他函数组合使用。
审计与日志 云审计服务(Cloud Trace Service,CTS),是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录LTS的管理事件用于审计。
制台,包含从华为云官方控制台登录使用、华为云用户自建系统内嵌(免密登录)、对接Grafana插件 等多种方式。 使用概览 使用方式 功能支持 是否支持免华为账号登录 开发工作量 账号权限管理 华为云控制台 支持云日志服务全部功能 不支持 无 华为云IAM 华为云用户自建系统内嵌(免密登录)