从OBS获取csv文件进行数据富化 本文档介绍如何通过资源函数和映射富化函数从OBS中获取数据对日志数据进行富化。 前提条件 已上传csv文件到OBS。 背景信息 OBS是华为云提供的一个高可靠、高性能、高安全的基于对象的海量存储云服务。
ECS机器作为日志上报环境,通过华为云内网LB网络服务入口进行上报。
string 必填 - AccessKeyId 华为云账号的AK。 string 必填 - AccessKeySecret 华为云账号的SK。 string 必填 - ConsumerGroupName LTS日志流对应的消费组名称。
前提条件 使用云日志SDK前,您需要注册华为云账号,并开通云日志服务。 确认云日志服务的区域,请用户根据所在区域,获取regionName。 获取华为账号的AK/SK。 获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证 > API凭证”。
基于VPN打通网络实现API或SDK跨云上报日志到LTS 方案概述 云上用户经常会遇到多云采集日志场景,需要将自建IDC、第三方云厂商、华为云其他region的日志采集到华为云LTS。支持基于VPN快速打通网络,实现API或SDK跨云上报日志。
参数名称 描述 类型 是否需要填写 默认值 ProjectId 华为云账号的项目ID(project id)。 String 必填 - AccessKeyId 华为云账号的AK。 String 必填 - AccessKeySecret 华为云账号的SK。
参数名称 描述 类型 是否需要填写 默认值 ProjectId 华为云账号的项目ID(project id)。 String 必填 - AccessKeyId 华为云账号的AK。 String 必填 - AccessKeySecret 华为云账号的SK。
表1 producer config参数说明 参数名称 描述 类型 是否需要填写 默认值 ProjectId 华为云账号的项目ID(project id)。 String 必填 - AccessKeyId 华为云账号的AK。
通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免密登录LTS的场景,但是登录华为云LTS控制台还是需要账号密码。
将LTS资源委托给更专业、高效的其他华为云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用LTS服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。
通过统一身份认证服务IAM的联邦代理机制实现用户自定义身份代理,再将登录链接嵌入至客户自建系统实现无需在华为云官网登录就可在自建系统界面查询LTS日志。 应用场景 该功能主要用于用户可以在自建系统免密登录LTS的场景,但是登录华为云LTS控制台还是需要账号密码。
accessKey string 必填 - 华为云账号的访问密钥,简称AK。注意:认证用的华为云账号AK、SK硬编码到代码中或者明文存储都有很大的安全风险,建议密文存放,使用时解密,确保安全。 secretKey string 必填 - 华为云账号的秘密访问密钥,简称SK。
LTS安全配置建议 安全性是华为云与您的共同责任。华为云负责云服务自身的安全,提供安全的云;作为租户,您需要合理使用云服务提供的安全能力对数据进行保护,安全地使用云。详情请参见责任共担。 本文提供了LTS使用过程中的安全最佳实践,旨在为提高整体安全能力提供可操作的规范性指导。
版本更新说明 SDK如何处理个人信息请参考华为云日志服务移动端日志采集SDK隐私声明。 您集成和使用的SDK时需要遵从个人信息保护基本要求,详情请参考华为云日志服务移动端日志采集SDK开发者合规指南。
版本更新说明 SDK如何处理个人信息请参考华为云日志服务移动端日志采集SDK隐私声明。 您集成和使用的SDK时需要遵从个人信息保护基本要求,详情请参考华为云日志服务移动端日志采集SDK开发者合规指南。
对象存储服务 从LTS转储到OBS的日志 对象存储服务OBS接入LTS(邀测) - 41 WAF Web应用防火墙 攻击日志 访问日志 Web应用防火墙WAF接入LTS - 父主题: 使用云服务接入LTS
日志转储至DWS 数据仓库服务GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。
命令审计日志,是记录客户端访问DCS操作的一种日志,由华为云的云日志服务(LTS)提供存储、查询和分析等功能。 具体接入方法请参见查看Redis实例的命令审计日志。 父主题: 使用云服务接入LTS
DMS存储独立收费,收费详情请参见:华为云定价 在注册DMS Kafka实例前,需在安全组中,开放入方向规则198.19.128.0/17和9011端口。
传输协议 HTTPS 使用前提 参考注册华为账号并开通华为云中操作,完成注册。 确认云日志服务的区域,请您根据所在区域,选择RegionName。 获取华为云账号的项目ID(project id),步骤参考:请参见“我的凭证 > API凭证”。
您即将访问非华为云网站,请注意账号财产安全