检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
宽资源独占式的Kafka专享实例。 主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 Kafka可以应对大量日志传输场景，应用通过异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时
task_set_id,period_times limit 10000) 读流量图表所关联的查询分析语句如下所示： * | select sum(max_in_flow)/1024.0/1024 as \"读流量 MB\" from (select max_by(in_flow,__time)
戳。 dt_totimestamp专用函数，只支持将日期时间对象转换为Unix时间戳。 Unix时间戳转为日期时间对象。 dt_parse智能转换函数，可以将Unix时间戳或日期时间字符串转换为日期时间对象。 dt_fromtimestamp专用函数，只支持将Unix时间戳转换为日期时间对象。
report_topic) 数据发送流量图表所关联的查询分析语句如下所示： SELECT "time", case when traffic is null then 0 else round(traffic*1.0/1024/1024,2) END AS "发送流量 MB" from
日志管理 统计top n的日志组或日志流流量 按时间段统计查询资源 查询日志 查询结构化日志（即将下线不推荐使用） 查询结构化日志（新版） 查询日志直方图 查询上下文日志 取消收藏 创建日志收藏 父主题： API说明
使用e_dict_map、e_search_dict_map函数进行数据富化 构建字典与表格进行数据富化 使用DSL加工函数过滤VPC流日志公网流量 父主题： 日志加工（邀测）
request_length )/ 1024.0 / 600, 2 ) AS "流入流量(KB/s)", round( sum( body_bytes_sent )/ 1024.0 / 600, 2 ) AS "流出流量(KB/s)" where request_length
1024.0 / 600, 2 ) AS "流入流量(KB/s)", round( sum( try_cast( body_bytes_sent AS double precision ) )/ 1024.0 / 600, 2) AS "流出流量(KB/s)" GROUP BY dt
CDN错误分析 CDN热门资源 CDN基础数据 8 CFW 云防火墙 攻击日志（CFW攻击日志） 访问日志（CFW访问控制日志） 流量日志（CFW流量日志） 云防火墙CFW接入LTS - 9 CTS 云审计服务 云服务管理面操作日志（CTS） 云审计服务CTS接入LTS - 10
单击源日志流操作列的，在修改日志流页面，关闭日志存储和日志存储时间。 图1 修改日志流 单击“确定”。关闭日志存储后，日志不会存储到LTS，可节约索引流量和存储费用，只能使用日志生成指标、转储功能，不能使用日志搜索分析、告警、消费加工等其他功能。 父主题： 日志管理
是 String 资源类型，log_group / log_stream / tenant search_type 是 String 查询流量类型值为：write，index，storage，basicTransfer，seniorTransfer，coldStorage resource_id
成本。 应用场景 提取结构化的数据，方便后续检索分析，生成仪表盘等。 日志减肥瘦身，节约后续使用成本。丢弃不需要的日志数据，节约存储成本、流量成本。 敏感数据脱敏，例如：将用户的身份证、手机号码脱敏。 日志分类投递，例如：按照日志级别：ERROR、WARNING、INFO 将日志分类，然后分发到不同的日志主题。
云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化，云端结构化解析会消耗LTS服务端算力，未来会按照日志大小收取日志加工流量费用。 图1 不同解析方式 注意事项 日志结构化是以日志流为单位。 日志流中的大部分日志需有一定的规则，否则结构化是无意义的。 结构化配置
云端结构化解析是通过不同的日志提取方式将日志流中的日志进行结构化，云端结构化解析会消耗LTS服务端算力，未来会按照日志大小收取日志加工流量费用。 图1 不同解析方式 注意事项 日志结构化是以日志流为单位。 日志流中的大部分日志需有一定的规则，否则结构化是无意义的。 结构化配置
"sec_iphone": "139****1234", "iphone": 13900001234 } 场景2：银行卡信息脱敏 日志中包含银行卡或者信用卡信息，可采用正则表达式，运用regex_replace函数脱敏。 原始日志 { "content":"bank number
单台Syslog服务器处理日志能力为10MB/s，如果您的日志量较大，或者希望可靠性更高，可以购买多台ECS配置为Syslog服务器，并配置ELB负载均衡分发流量。 您需要在Syslog服务器上安装ICAgent，并配置日志采集规则，就可以将日志采集到LTS。 资源规划 购买两台ECS机器，一台EC
CFW访问控制日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW攻击日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW流量日志 根据CFW资料中提供的日志字段被定义。 否 否 MYSQL错误日志 根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志
CFW访问控制日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW攻击日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW流量日志 根据CFW资料中提供的日志字段被定义。 否 否 MYSQL错误日志 根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志
Region，通用Region指面向公共租户提供通用云服务的Region；专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 详情请参见区域和可用区。 可用区（AZ，Availability Zone） 一个可用区是一个或多个物理数据中心的集合，有
测试结果：SDK上报日志的数据量为10MB/s，速率为1.2w条/s。 当日志上报量超过单个producer时： 建议拆分日志流，使用多个producer上报日志，分摊流量，以保障SDK处于正常上报状态。 如果maxBlockMs为0时，SDK处于非阻塞状态，会触发保护机制自动降级，可能会对部分日志做丢弃处理。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
