云服务器内容精选

  • 目的连接器 安全云脑 租户采集连接器,目前支持的目的连接器类型如下表所示: 表9 目的连接器类型 连接器名称 对应的logstash插件 描述 文件 File file 用于写入到节点本地文件,配置规则请参见表10。 传输控制协议 TCP tcp 用于发送TCP协议日志,配置规则请参见表11。 用户数据协议 UDP udp 用于发送UDP协议日志,配置规则请参见表12。 消息队列 KAFKA kafka 用于将日志写入Kafka消息队列,配置规则请参见表13。 对象存储 OBS obs 用于写日志到 对象存储OBS 桶中,配置规则请参见表14。 云脑管道 PIPE pipe 用于将日志写入安全云脑管道中,配置规则请参见表15。 表10 file连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 输出路径 path string /opt/cloud/logstash/config/out.txt 是 输出节点文件路径 删除时创建 create_if_deleted boolean true 是 不存在则创建 解码类型 codec string json_lines 是 Codec plain:读取原始内容 json_lines:处理json格式内容 表11 tcp连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 端口 port number 1025 是 端口 解码类型 codec string plain 是 解码类型,json_lines或者plain plain:读取原始内容 json_lines:处理json格式内容 主机地址 host string 192.168.0.66 是 host地址 注:与节点网络互通 ssl证书 ssl_cert file -- 否 ssl_cert证书 是否SSL ssl_enable boolean false 否 是否开启ssl ssl-key文件 ssl_key file -- 否 ssl_key文件 ssl秘钥 ssl_key_passphrase string -- 否 ssl_key_passphrase密钥 表12 udp连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 主机地址 host string -- 是 主机地址 注:与节点网络互通 端口 port number 1025 是 端口 解码类型 codec string json_lines 是 解码类型,json_lines或者plain plain:读取原始内容 json_lines:处理json格式内容 重试次数 retry_count number 3 否 重试次数 重试延迟毫秒数 retry_backoff_ms number 200 否 重试延迟毫秒数 表13 kafka连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 服务地址 bootstrap_servers string -- 是 服务地址eg:192.168.21.21:9092,192.168.21.24:9999 主题 topic_id string logstash 是 主题 解码类型 codec string plain 是 解码类型,json或者plain 请求体最大长度 max_request_size number 10485760 是 请求体最大长度 SSL证书 ssl_truststore_location file -- 否 SSL证书 当选择SSL相关协议时需要填写该参数 SSL秘钥 ssl_truststore_password string -- 否 SSL秘钥 当选择SSL相关协议时需要填写该参数 安全协议 security_protocol string PLAINTEXT 否 安全协议 sasl连接配置 sasl_jaas_config string -- 否 sasl连接配置 是否加密 is_pw_encrypted string true 否 是否加密 sasl机制 sasl_mechanism string PLAIN 否 sasl_mechanism 其中,“sasl连接配置”需要根据kafka规格进行填写。示例如下: 明文连接配置 org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码'; 密文连接配置 org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码'; 表14 obs连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 region region string cn-north-4 是 region 桶 bucket string demo-obs-sec-mrd-datas 是 桶名 endpoint endpoint string https://obs.huawei.com 是 endpoint 缓存文件夹 temporary_directory string /temp/logstash/ 是 缓存路径 编码类型 codec string plain 否 编码格式plain或者json AK ak string -- 否 AK SK sk string -- 否 SK 前缀 prefix string test 否 路劲前缀 编码格式 encoding string gzip 否 编码格式gzip或者纯文件 记忆路径 sincedb_path string /opt/cloud/logstash/pipeline/file_name 否 用于设置读取的位置信息,防止重启导致的全文遍历 表15 pipe连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 类型 type string 租户 是 类型 管道 pipeId string -- 是 管道 AK ak string -- 是 AK 选择平台类型需填写该参数 SK sk string -- 是 SK 选择平台类型需填写该参数 域账户 domain_name string domain_name 是 iam账户domain_name 选择租户类型需填写该参数 用户名 user_name string user_name 是 iam账户user_name 选择租户类型需填写该参数 密码 user_password string -- 是 iam账户user_password 选择租户类型需填写该参数 压缩类型 compression_type string NONE 否 报文压缩类型 队列满阻止 block_if_queue_full boolean true 否 队列满阻止进入 启用批处理 enable_batching boolean true 否 是否开启批处理
  • 源连接器 安全云脑租户采集连接器,目前支持的源连接器类型如下表所示: 表1 源连接器类型 连接器名称 对应的logstash插件 描述 传输控制协议 TCP tcp 用于接收TCP协议日志,配置规则请参见表2。 文件 File file 用于接收本地文件的日志类型,配置规则请参见表3。 用户数据协议 UDP udp 用于接收UDP协议日志,配置规则请参见表4。 对象存储 OBS obs 用于读取对象存储OBS桶的日志数据,配置规则请参见表5。 消息队列 KAFKA kafka 用于读取Kafka网络日志数据,配置规则请参见表6。 云脑管道 PIPE pipe 用于将安全云脑数据外发到租户侧,配置规则请参见表7。 Elasticsearch CSS elasticsearch 用于读去ES集群的数据,配置规则请参见表8。 表2 tcp连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 端口 port number 1025 是 采集节点端口号 解码类型 codec string plain 是 编码格式 plain:读取原始内容 json:处理json格式内容 报文标签 type string tcp 是 用于对日志标签 是否SSL ssl_enable boolean false 否 是否开启ssl认证 ssl证书 ssl_cert file null 否 cert证书 ssl-key文件 ssl_key file -- 否 ssl-key文件 ssl秘钥 ssl_key_passphrase string -- 否 ssl证书密钥 表3 file连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 文件路径 path array /opt/cloud/logstash/config/in.txt 是 读取的文件路径 开始位置 start_position string beginning 是 开始读入的位置 解码类型 codec string json 是 解码类型codec plain:读取原始内容 json:处理json格式内容 报文标签 type string file 否 报文标签,有于后续处理的标记 启用度量 enable_metric boolean true 否 enableMetric 表4 udp连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 端口 port number 1025 是 采集节点端口好 解码类型 codec string plain 是 解码类型 plain:读取原始内容 json:处理json格式内容 报文标签 type string udp 否 报文标签,有于后续处理的标记 队列大小 queue_size number 20000 否 队列大小 接收缓冲区字节数 receive_buffer_bytes number 20000 否 接收缓冲区字节数 缓冲区大小 buffer_size number 10000 否 缓冲区大小 工作线程 workers number 1 否 工作线程数 表5 obs连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 region region string cn-north-4 是 region 桶 bucket string demo-obs-sec-mrd-datas 是 对象桶名 endpoint endpoint string https://obs.huawei.com 是 endpoint地址,注意要添加https AK ak string -- 否 AK SK sk string -- 否 SK 前缀 prefix string /test 否 日志读的文件夹前缀 缓存文件夹 temporary_directory string /temp 否 日志读取时,缓存的文件夹 报文标签 type string -- 否 报文标签 记忆路径 sincedb_path string /opt/cloud/logstash/pipeline/file_name 否 用于设置读取的位置信息,防止重启导致的全文遍历 表6 kafka连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 服务地址 bootstrap_servers string -- 是 服务地址 主题 topics array logstash 是 主题,可同时消费多个主题 消费线程 consumer_threads number 1 是 消费线程 偏移复位 auto_offset_reset string latest 否 偏移复位 earliest:读取最早的消息 latest:读取最新的消息 SSL证书 ssl_truststore_location file -- 否 SSL证书 当选择SSL相关协议时需要填写该参数 SSL秘钥 ssl_truststore_password string -- 否 SSL秘钥 当选择SSL相关协议时需要填写该参数 安全协议 security_protocol string SASL_SSL 否 安全协议 sasl连接配置 sasl_jaas_config string -- 否 sasl连接配置 是否加密 is_pw_encrypted string false 否 是否加密 sasl机制 sasl_mechanism string PLAIN 否 sasl_mechanism 分组Id group_id string -- 否 group_id 其中,“sasl连接配置”需要根据kafka规格进行填写。示例如下: 明文连接配置 org.apache.kafka.common.security.plain.PlainLoginModule required username='kafka用户' password='kafka密码'; 密文连接配置 org.apache.kafka.common.security.scram.ScramLoginModule required username='kafka用户名' password='kafka密码'; 表7 pipe连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 类型 type string 租户 是 类型 管道 pipeId string -- 是 管道id 域账户 domain_name string domain_name 是 iam账户domaionName 用户名 user_name string user_name 是 iam账户user_name 密码 user_password string -- 是 iam账户user_password 订阅类型 subscription_type string true 否 订阅类型 Shared:共享模式 Exclusive:独占模式 Failover:灾备模式 订阅初始位置 subscription_initial_position string true 否 订阅初始位置 表8 elasticsearch连接器配置规则 规则 对应logstash配置项 类型 默认值 是否必填 描述 主机地址 hosts array -- 是 主机地址 索引 index string -- 是 索引 检索语句 query string -- 是 检索语句 用户名 user string -- 是 用户名 密码 user_password string -- 是 密码 查询数量 size number 20 是 查询数量 卷 scroll string 5m 是 卷 文档信息 docinfo boolean true 是 文档信息 是否配置加密 is_pw_encrypted boolean true 是 是否配置加密 是否SSL ssl boolean true 否 是否SSL 证书文件 ca_file file -- 否 证书文件 是否SSL证书校验 ssl_certificate_verification boolean true 否 是否SSL校验
  • 如何创建终端节点? 当前支持通过创建终端节点和 AOM /LTS服务打通网络,进行心跳和指标上报,以及日志上报。如果要通过终端节点的方式打通AOM/LTS的网络,需要为AOM和LTS各自购买1个终端节点。 目前此功能仅支持西南-贵阳一局点,其他局点暂不支持。 创建AOM/LTS终端节点的方法: 登录华为云 VPC终端节点 VPCEP控制台,进入终端节点页面。 单击“购买终端节点”。 在购买终端节点页面,选择终端节点所在的区域,“服务类别”选择“云服务”,在“选择服务”下方查找并选择AOM的云服务,并且勾选“创建内网 域名 ”,选择终端节点所在的虚拟私有云和子网,其他参数默认设置,更多操作请参考购买终端节点。 设置完成后,单击“立即购买”。购买成功后,即可完成AOM终端节点的创建。 重复上面步骤,需要再购买1个终端节点,选择终端节点所在的区域,“服务类别”选择“云服务”,在“选择服务”下方查找并选择LTS的云服务,并且勾选“创建内网域名”,选择终端节点所在的虚拟私有云和子网,其他参数默认设置。 设置完成后,单击“立即购买”。购买成功后,即可完成了LTS终端节点的创建。 父主题: 采集管理
  • ICAgent安装类常见问题 ICAgent安装机和目标机器网络不通,报错提示“[warn] ssh connect failed, 1.2.1.2:22”如何解决? 答:安装之前先在安装页面单击连接测试,选择网络能通的安装机。 ICAgent安装成功后,后续的心跳和注册都失败,代理机网络不通,如何解决? 答:在目标机器上执行“telnet 代理机ip”,检查代理机和目标机器间的网络连通性。 安装ICAgent时需要开放8149、8102、8923、30200、30201和80端口,安装完成后80端口是否可以关闭? 答:80端口仅用做k8s软件包拉取,ICAgent安装完成后即可关闭。 在K8S集群中安装ICAgent,当K8S集群版本升级后是否会对原本安装的ICAgent有影响? 答:升级k8s集群版本后系统会重启ICAgent,并将ICAgent的版本升级到最新。 父主题: 采集管理
  • 操作步骤 登录控制台,将鼠标移动到右上方的用户名称,并在下拉列表中选择“我的凭证”。 在“我的凭证”页面中选择“访问密钥”页签。 在列表上方单击“新增访问密钥”,输入验证码或密码。 单击“确定”,生成并下载AK/SK。 创建访问密钥成功后,您可以在访问密钥列表中查看访问密钥ID(AK),在下载的.csv文件中查看秘密访问密钥(SK)。 请及时下载保存,弹窗关闭后将无法再次获取该密钥信息,但您可重新创建新的密钥。 当您下载访问密钥后,可以在浏览器页面左下角打开格式为.csv的访问密钥文件,或在浏览器“下载内容”中打开。 为了账号安全性,建议您妥善保管并定期修改访问密钥,修改访问密钥的方法为删除旧访问密钥,然后重新生成。