正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。针对更新不频繁的数据,建议您存储在OBS上
通过协同消费组对源日志流的数据进行读取。 通过加工规则对读取到的每一条数据进行加工处理。 将加工后的数据写入目标日志流。数据加工完成后,您可以在目标日志流中查看加工后的数据。 功能特性 云日志服务提供数据加工功能,用于数据的规整、富化、脱敏和过滤。 数据规整:针对混乱格式的日志进行字段提取、格式转
在购买云日志服务页面选择支付方式,单击“确认付款”,完成后,即可单击“返回云日志服务控制台”。 在资源包卡片上方,单击“查看已购买的资源包”,进入资源包页面查看已购买资源包信息。详细操作请参考资源包。
事件操作函数 本文介绍事件操作函数的语法规则,包括参数解释、函数示例等。 函数列表 类型 函数 说明 事件操作 e_drop 根据条件判断是否丢弃日志。支持和其他函数组合使用。 e_keep 根据条件判断是否保留日志。 e_keep函数和e_drop函数都会丢弃日志。e_keep
端子网。 配置完成后,在“企业版-VPN连接”页面,VPN连接显示连接成功。也可通过数据中心ping对端虚拟机的私有ip进行验证。 图4 查看VPN连接状态 VPN网络连通后,可通过API或SDK上报日志到云日志服务LTS。 上报日志前,用户需要提供账号ID给云日志服务的技术支持工程师。
选择已创建的日志流。 说明: 已配置过DMS转储的日志流不能重复配置。 - Kafka实例 选择Kafka实例。如果没有可选择的实例,单击“查看Kafka实例”,进入分布式消息管理控制台,创建Kafka专享版。 如果Kafka实例已注册(如果未注册,请注册Kafka示例,操作指导请
Flink消费 云日志服务LTS提供的LTS-Flink-Connector工具用于对接flink,包括消费者(Consumer)和生产者(Producer)两部分。 消费者用于从云日志服务中读取数据,支持exactly once语义,支持shard负载均衡,生产者用于将数据写入
限于如下: 有独立文本,不能作为用户协议的一部分。 App首次运行收集处理个人信息前需要以醒目方式提示用户阅读隐私政策。隐私政策需方便用户查看,例如用户在App主功能界面中通过4次以内的点击或滑动操作可访问。 描述语言需要清晰通俗,符合通用语言习惯,避免使用有歧义的语言。 隐私政
日期时间函数 本文介绍日期时间函数的语法规则,包括参数解释、函数示例等。 在DSL加工逻辑中,日志中的所有值都以字符串的形式存储,需要根据场景对数据类型进行转换。 日志中时间主要有以下三种数据类型,您可以根据本文提供的日期时间函数进行日期时间格式转换。 字符串,例如2022/07/03
日志服务。 设备权限调用 当您使用相应功能及服务时,我们会通过开发者应用向系统申请您设备的相应权限。您可以在设备的设置功能或“隐私设置”中查看权限状态,并可自行选择开启或关闭部分或全部权限。 开发者在集成、使用相应开放能力时,将自行决定权限的调用范围,因此开发者应对权限的调用及用
SQLSource # 连接mysql的一系列操作,{mysql_host}改为你虚拟机的ip地址,可以通过ifconfig或者ip addr查看,{database_name}改为数据库名称 # url中要加入?useUnicode=true&characterEncoding=u
SQLSource # 连接mysql的一系列操作,{mysql_host}改为你虚拟机的ip地址,可以通过ifconfig或者ip addr查看,{database_name}改为数据库名称 # url中要加入?useUnicode=true&characterEncoding=u
修改结构化配置(不推荐) 功能介绍 该接口用于修改指定日志流下的结构化配置,由于参数较多且构建复杂,建议您使用8.9.2-修改结构化配置(推荐)。 调用方法 请参见如何调用API。 URI PUT /v2/{project_id}/lts/struct/template 表1 路径参数
创建结构化配置(不推荐) 功能介绍 该接口用于创建指定日志流下的结构化配置。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/lts/struct/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
修改结构化配置(推荐) 功能介绍 该接口通过结构化模板修改结构化配置 调用方法 请参见如何调用API。 URI PUT /v3/{project_id}/lts/struct/template 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String
创建结构化配置(推荐) 功能介绍 该接口通过结构化模板创建结构化配置,便于参数提取且简化参数结构,推荐您使用。 单个用户每秒仅能调用1次该接口。 调用方法 请参见如何调用API。 URI POST /v3/{project_id}/lts/struct/template 表1 路径参数