检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建VPN网关。详细请参考创建VPN。 选择“虚拟专用网络 > 企业版-VPN网关”,单击“创建VPN网关”。根据界面提示选择相关参数,完成创建。 图2 创建VPN网关 配置对端网关。 选择“虚拟专用网络 > 企业版-VPN连接”,单击“创建VPN连接”。 此处网关IP为数据中心的网关IP地址且需要放通UDP端口4500。
场景一:自建IDC或者第三方云厂商与华为云之间网络互通的典型方式是云专线DC,如果没有专线,您可以尝试VPN/公网IP方式。 场景二:华为云不同Region之间网络互通典型的方式是云连接CC/云专线DC,您也可以使用VPN/公网IP方式。 跳板机 安装在自建IDC/第三方云厂商/跨华为云Region的
与目标数据字典进行映射,根据输入的字段映射一个新字段。支持和其他函数组合使用。 e_table_map 与目标表格进行映射,根据输入的字段名称返回字段值。支持和其他函数组合使用。 搜索映射 e_search_dict_map 对关键字(查询字符串)以及其匹配的值的字典数据进行映射。支持和其他函数组合使用。 e_search_table_map
进行数据富化的实践案例。 背景信息 日志服务数据加工映射富化函数包括普通映射函数和搜索映射函数,两者区别如下所示: 普通映射函数使用文本完全匹配方式来映射。普通映射函数包括e_dict_map函数和e_table_map函数,两者区别在于e_dict_map函数接收的是dict类
场景一:自建IDC或者第三方云厂商与华为云之间网络互通的典型方式是云专线DC,如果没有专线,您可以尝试VPN/公网IP方式。 场景二:华为云不同Region之间网络互通典型的方式是云连接CC/云专线DC,您也可以使用VPN/公网IP方式。 跳板机 安装在自建IDC/第三方云厂商/跨华为云Region的
将自建ELK日志导入云日志服务LTS 本实践主要介绍使用自定义Python脚本和LTS采集器ICAgent,协助用户将日志从Elasticsearch(简称ES)迁移到LTS中。 日志接入 基于VPN打通网络实现API或SDK跨云上报日志到LTS 本实践主要介绍基于VPN快速打通网络,实现API或SDK跨云上报日志。
单击“跨账号接入-日志流映射”进行跨账号接入配置。 选择委托。 配置相关参数,请参见表1,完成后,单击“下一步:日志流映射”。 委托账号和被委托账号需是不同租户。 被委托账号必须要授权Agent Operator系统角色,用于被委托账号在使用LTS委托功能时进行委托校验。 表1
nt。ICAgent是云日志服务进行日志采集的工具,运行在待采集日志的主机中。 按照区域外主机上报日志到LTS的网络通路来划分,可分为公网和专线: 公网:区域外主机与公网连通,那么区域外主机可以直接通过公网与华为云当前区域LTS进行通信,将日志上报的LTS。但是由于公网的安全性可
采集第三方云厂商、互联网数据中心、华为云其他Region的Kubernetes日志到LTS 采集Syslog汇聚服务器日志到LTS 将自建ELK日志导入云日志服务LTS 基于VPN打通网络实现API或SDK跨云上报日志到LTS 使用Flume采集器上报日志到LTS 通过ECS接入LTS采集Zabbix数据 采集多渠道日志数据到LTS
CNAME记录:将一个域名映射到另一个域名。 MX记录:指定邮件服务器的IP地址和优先级。 NS记录:指定哪个DNS服务器负责解析某个域名的查询。 SOA记录:包含关于DNS区域的信息,如区域管理员的电子邮件地址和区域的序列号。 采集方法 使用ICAgent采集日志,接入前请参考安装IC
关键函数md5_encoding)、str_translate映射(关键函数str_translate)等。更多信息,请参见正则表达式函数和编码解码函数。 场景1:手机号脱敏 日志中包含不希望被暴露的手机号,可采用正则表达式,运用regex_replace函数脱敏。参考如下示例:
登录云日志服务控制台。 在左侧导航栏中,选择“日志管理”,进入日志管理页面。 在日志管理页面中,选择目标日志组和日志流,进入日志流详情页面。 选择“日志分析”。 请参考SQL分析语法输入查询和分析语句,设置查询和分析的时间范围,单击“查询”。 单击图标,使用柱状图展示查询数据。在通用配置下方,参考表1配置参数。
kafka实例前,需要在安全组中,开放入方向规则198.19.128.0/17和9011端口。 如果DMS kafka实例的子网配置了ACL,则需要在该子网的网络ACL中,开放入方向规则198.19.128.0/17和9011端口。 调用方法 请参见如何调用API。 URI POST /
lts-flink-connector source和sink日志不能为同一个日志流。 flink消费保证最终一致性,即您可以获取到这条日志流的全部内容,但由于时间为服务端时间,所以在获取日志流的过程中,可能导致获取到的日志数量跟LTS页面查询的日志数量不一致。 语法结构 认证用的ak和sk硬编码到代码中或者
构建字典与表格进行数据富化 字典和表格是对数据进行富化时主要使用的两种数据结构,本文档主要介绍这两种数据结构的常见构建方式,并对比不同构建方式的优缺点。 字典构建 不同字典构建方式对比参考如下: 表1 不同字典构建方式对比 构建方式 优点 缺点 直接构建 直观、简单、方便。 如果
在LTS页面分析华为云ELB日志 方案概述 ELB在分发外部流量时,详细的记录HTTP(S)的访问日志,如URI请求、客户端IP和端口、状态码。 ELB日志可用于审计,也可用于通过时间和日志中的关键词信息搜索日志,同时也可以通过各种SQL聚合函数来分析某段时间内的外部请求统计数据,比如统计1天内所
式暂不支持。 加工规则 通过原始日志中的account字段和OBS CSV文件中的account字段进行匹配,只有account字段的值完全相同,才能匹配成功。匹配成功后,返回OBS CSV文件中的nickname字段和字段值,与原始日志中的数据拼接,生成新的数据。 e_tabl
Name、projectId、logGroupName和logStreamName。 在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要转储的字段。 单击,添加您需要转储的字段。 表普通列映射和表分区列映射添加表字段的总数为创建表的总列数。 - 表分区列映射
户日志字段。 - LTS内置字段和用户自定义Tag 当转储格式选择JSON时,需要设置该参数。 是否开启LTS内置字段和用户自定义Tag。 选择转储所有字段后将转储日志下所有的内置字段和用户自定义字段,选择自定义转储字段后将手动配置LTS内置字段和自定义字段。 - 日志流标签字段
Name、projectId、logGroupName和logStreamName。 当结构化字段类型和数据库表字段类型一致时,支持将日志的结构化字段转储至数据仓库服务GaussDB(DWS),否则转储无效。 在结构化字段和表字段的下拉框,选择您需要转储的字段。 单击操作列下的,删除不需要的转储字段。