检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DSL数据加工语法(邀测) 概述 操作符函数 全局操作函数 父主题: 日志消费与加工
成长地图 | 华为云 云日志服务 云日志服务(Log Tank Service,简称LTS)可以提供日志收集、分析、存储等服务。用户可以通过云日志服务快速高效地进行设备运维管理、用户业务趋势分析、安全监控审计等操作。
使用DSL加工函数清洗LTS日志数据 您可以通过日志加工函数清洗您所采集的海量日志数据,实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。 DSL加工的功能在邀测中,支持华北-北京四、华东-上海一、华南-广州局点,仅针对用户内测使用,后续将全网开放,敬请期待! 场景一
使用消费组管理消费数据(邀测) 创建消费组 使用Java SDK管理消费组 Flink消费 LTS-Flink-Connector参数说明 父主题: 日志消费与加工
- DLI-数据库 需要转储的目标DLI数据库名称。更多信息请参见DLI库表管理。 test DLI-数据表 需要转储的目标DLI数据库表名称。更多信息请参见DLI库表管理。 - 表普通列映射 将内置字段以及日志中配置的结构化字段和类型,映射到数据库表字段。
IP函数时效性 IP函数是可以分析IP地址所属的国家、省份、城市及对应的网络运营商,该函数依赖的后台数据库每半年更新一次,可能出现少量IP与地理位置映射未及时更新的情况。 不涉及。 SQL分析时间范围 仅支持分析30天内的数据,30天以上的数据不支持SQL分析。
安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。
在空白区域,单击DLI SQL图标,在DLI SQL页面,填写SQL语句“MSCK REPAIR TABLE table_name”,table_name为有分区表的表名称,数据库名称和队列名称选择用户配置转储DLI创建的数据库和队列。
安装ICAgent(区域外主机) 区域外主机指的是华为云非当前Region或非华为云主机,例如自建IDC(Internet Data Center,互联网数据中心)、第三方云厂商或华为云跨Region主机等。
{region}.myhuaweicloud.com cacheThreshold Long 选填 200条 当本地数据库日志存储条数达到该值会触发上报,取值范围为30-1000条。
检查数据库实例状态 父主题: 附录
关闭数据库失败。 请根据sqlite3 error code查询具体情况。 LTS.0109 Reduce database size failed, code=%@, error=%@. 减小数据库大小失败。 请根据sqlite3 error code查询具体情况。
传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),详细步骤请参见“我的凭证 > API凭证”。
传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),详细步骤请参见“我的凭证 > API凭证”。
单击图标,使用漏斗图展示查询数据。在通用配置下方,参考表1配置参数。 图1 漏斗图 表1 漏斗图参数说明 参数 说明 系列名称 漏斗图的名称。 数值列 选择数值字段,某个字段对应的数值越大,在越上面。 隐藏图例 开启后,可以隐藏漏斗图上方的字段名显示。
传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),详细步骤请参见“我的凭证 > API凭证”。
单击图标,使用数字图展示查询数据。在通用配置下方,参考表1配置参数。 图1 数字图 表1 数字图参数说明 类别 参数 说明 查询分析设置 数值列 支持数字或字符串数据。 同比数据 选择待对比的字段,在图表中显示该字段对应的值。 主体设置 图表名称字号 设置图表名称的字号大小。
前提条件 使用云日志SDK前,您需要注册华为云账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证 > API凭证”。
传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),详细步骤请参见“我的凭证 > API凭证”。
传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请用户根据所在区域,选择RegionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),详细步骤请参见“我的凭证 > API凭证”。