华为云用户手册

  • 步骤二:配置Weblogic 登录Weblogic服务器管理控制台。 单击页面左上方“Lock & Edit”,解锁配置。 在“Domain Configurations”中,单击“Servers”。 图1 服务器 在服务器列表中,选择您需要配置服务器证书的Server,进入服务器的设置页面。 图2 目标服务器 修改HTTPS端口。 在服务器的配置页面,选择“General”页签,配置是否启用HTTP和HTTPS,以及访问端口号。 请勾选“Listen SSL Port Enabled”,并修改端口号为“443”。 图3 端口 配置认证方式和密钥。 在服务器的配置页面,选择“Keystores”页签,配置认证方式。 图4 认证方式 服务器身份认证请选择“Custom identity and Java Standard Trust”。 双向认证请选择“Custom Identity and Custom Trust”。 在“Identity”区域中,配置密钥。 配置密钥库文件server.jks所保存的服务器上的路径,并填写密钥库文件密码。 图5 密钥 Custom Identity Keystore:请填写jks文件保存路径。示例:C:\bea\server.jks Custom Identity Keystore Type:文件格式请填写“jks”。 Custom Identity Keystore Passphrase:请填在证书密码,即“keystorePass.txt”中的密码。 Confirm Custom Identity Keystore Passphrase:请再次填写证书密码。 在单向认证中,需要配置JRE默认信任库文件cacerts。 Cacerts默认密码为changeit。 图6 信任库文件 Java Standard Trust Keystore Passphrase:输入默认密码changeit。 Confirm Java Standard Trust Keystore Passphrase:再次输入默认密码。 配置服务器证书私钥别名。 在服务器的配置页面,选择“SSL”页签,配置以下参数: 图7 私钥 Identity and Trust Locations:请选择为“Keystores”。 Private KeyAlias:配置私钥库中的私钥别名信息。私钥别名可以使用keystool -list命令查看。 Private Key Passphrase:输入私钥保护密码。通常私钥保护密码和keystore文件保护密码相同。 Confirm Private Key Passphrase:再次输入私钥保护密码。 设置完成后,单击“Active Changes”,保存所有修改。 图8 保存配置 (可选)如果系统提示需要重启Weblogic,则需要重启后才能使配置生效。如图9所示,则无需重启。 图9 提示信息
  • 效果验证 部署成功后,可在浏览器的地址栏中输入“https:// 域名 ”,按“Enter”。 如果浏览器地址栏显示安全锁标识,则说明证书安装成功。 如果网站仍然出现不安全提示,请参见为什么部署了SSL证书后,网站仍然出现不安全提示?。 如果通过域名访问网站时,无法打开网站,请参见为什么部署了SSL证书后,通过域名访问网站时,无法打开网站?进行处理。 如果仍未解决或出现其他问题,华为云市场提供SSL证书配置优化服务,专业工程师一对一服务,请直接单击一对一咨询进行购买,购买服务后,联系工程师进行处理。
  • 约束条件 证书安装前,务必在安装私有证书的服务器上开启“443”端口,同时在安全组增加“443”端口,避免安装后仍然无法启用HTTPS。 为了使客户端信任服务器证书,需要将服务器证书的根CA加入到客户端受信任的根证书颁发机构中,详细操作请参见信任根CA。 如果一个域名有多个服务器,则每一个服务器上都要部署。 待安装证书的服务器上需要运行的域名,必须与证书的域名一一对应,即申请的是哪个域名的证书,则用于哪个域名。否则安装部署后,浏览器将提示不安全。
  • 步骤二:配置IIS 安装IIS,请参照IIS相关安装指导进行安装。 打开IIS管理控制台,双击“服务器证书”,如图1所示。 图1 服务器证书 在弹出的窗口中,单击“导入”,如图2所示。 图2 导入 导入“server.pfx”证书文件,单击“确定”。 “密码”配置框内需要输入“keystorePass.txt”文件内的密码。 图3 导入pfx证书文件 鼠标右键单击目标站点(这里以默认站点为例),选择“编辑绑定”,如图4所示。 图4 编辑绑定 在弹出的窗口中,单击“添加”,并填写以下信息。 图5 添加网站绑定 类型:选择“https”。 端口:保持默认的“443”端口即可。 SSL证书:选择4导入的证书。 填写完成后,单击“确定”。
  • 约束条件 证书安装前,务必在安装私有证书的服务器上开启“443”端口,同时在安全组增加“443”端口,避免安装后仍然无法启用HTTPS。 为了使客户端信任服务器证书,需要将服务器证书的根CA加入到客户端受信任的根证书颁发机构中,详细操作请参见信任根CA。 如果一个域名有多个服务器,则每一个服务器上都要部署。 待安装证书的服务器上需要运行的域名,必须与证书的域名一一对应,即申请的是哪个域名的证书,则用于哪个域名。否则安装部署后,浏览器将提示不安全。
  • 步骤一:获取文件 在本地解压已下载的证书文件。 获得证书文件“ca.crt”、“server.crt”和私钥文件“server.key”。 “ca.crt”文件包括一段中级CA证书代码“-----BEGIN CERTIFICATE-----”和“-----END CERTIFICATE-----”。 “server.crt”文件包括一段服务器证书代码“-----BEGIN CERTIFICATE-----”和“-----END CERTIFICATE-----”。 “server.key”文件包括一段私钥代码“-----BEGIN RSA PRIVATE KEY-----”和“-----END RSA PRIVATE KEY-----”。
  • 步骤三:修改配置文件 修改配置文件前,请将配置文件进行备份,并建议先在测试环境中进行部署,配置无误后,再在现网环境进行配置,避免出现配置错误导致服务不能正常启动等问题,影响您的业务。 打开Apache根目录下“conf.d/ssl.conf”文件。 配置证书绑定的域名。 找到并修改如下参数: ServerName www.example.com:443 完整配置如下(以“www.domain.com”为例): ServerName www.domain.com:443 #用户服务器的域名 配置证书公钥。 找到并修改如下参数: SSLCertificateFile "${SRVROOT}/conf/server.crt" 设置证书公钥文件“server.crt”文件的路径,且路径中不能包含中文字符,例如“cert/server.crt”。 完整配置如下: SSLCertificateFile "cert/server.crt" 配置证书私钥。 找到并修改如下参数: SSLCertificateKeyFile "${SRVROOT}/conf/server.key" 设置为“server.key”文件的路径,且路径中不能包含中文字符,例如“cert/server.key”。 完整配置如下: SSLCertificateKeyFile "cert/server.key" 配置证书链。 找到并修改如下参数: #SSLCertificateChainFile "${SRVROOT}/conf/server-ca.crt" 删除行首的配置语句注释符号“#”,并设置为“ca.crt”文件的路径,且路径中不能包含中文字符,例如“cert/ca.crt”。 完整配置如下: SSLCertificateChainFile "cert/ca.crt" 修改后,保存“ssl.conf”文件并退出编辑。
  • 效果验证 部署成功后,可在浏览器的地址栏中输入“https://域名”,按“Enter”。 如果浏览器地址栏显示安全锁标识,则说明证书安装成功。 如果网站仍然出现不安全提示,请参见为什么部署了SSL证书后,网站仍然出现不安全提示?。 如果通过域名访问网站时,无法打开网站,请参见为什么部署了SSL证书后,通过域名访问网站时,无法打开网站?进行处理。 如果仍未解决或出现其他问题,华为云市场提供SSL证书配置优化服务,专业工程师一对一服务,请直接单击一对一咨询进行购买,购买服务后,联系工程师进行处理。
  • 效果验证 部署成功后,可在浏览器的地址栏中输入“https://域名”,按“Enter”。 如果浏览器地址栏显示安全锁标识,则说明证书安装成功。 如果网站仍然出现不安全提示,请参见为什么部署了SSL证书后,网站仍然出现不安全提示?。 如果通过域名访问网站时,无法打开网站,请参见为什么部署了SSL证书后,通过域名访问网站时,无法打开网站?进行处理。 如果仍未解决或出现其他问题,华为云市场提供SSL证书配置优化服务,专业工程师一对一服务,请直接单击一对一咨询进行购买,购买服务后,联系工程师进行处理。
  • 步骤三:修改配置文件 修改配置文件前,请将配置文件进行备份,并建议先在测试环境中进行部署,配置无误后,再在现网环境进行配置,避免出现配置错误导致服务不能正常启动等问题,影响您的业务。 配置Nginx中“conf”目录下的“nginx.conf”文件。 找到如下配置内容: #server { # listen 443 ssl; # server_name localhost; # ssl_certificate cert.pem; # ssl_certificate_key cert.key; # ssl_session_cache shared:SSL:1m; # ssl_session_timeout 5m; # ssl_ciphers HIGH:!aNULL:!MD5; # ssl_prefer_server_ciphers on; # location / { # root html; # index index.html index.htm; # } #} 删除行首的配置语句注释符号#。 server { listen 443 ssl; server_name localhost; ssl_certificate cert.pem; ssl_certificate_key cert.key; ssl_session_cache shared:SSL:1m; ssl_session_timeout 5m; ssl_ciphers HIGH:!aNULL:!MD5; ssl_prefer_server_ciphers on; location / { root html; index index.html index.htm; } } 修改如下参数,具体参数修改说明如表1所示。 ssl_certificate cert/server.crt; ssl_certificate_key cert/server.key; 完整的配置如下,其余参数根据实际情况修改: server { listen 443 ssl; #配置HTTPS的默认访问端口为443。如果在此处未配置HTTPS的默认访问端口,可能会导致Nginx无法启动。 server_name www.domain.com; #修改为您证书绑定的域名。 ssl_certificate cert/server.crt; #替换成您的证书文件的路径。 ssl_certificate_key cert/server.key; #替换成您的私钥文件的路径。 ssl_session_cache shared:SSL:1m; ssl_session_timeout 5m; ssl_ciphers HIGH:!aNULL:!MD5; #加密套件。 ssl_prefer_server_ciphers on; location / { root html; #站点目录。 index index.html index.htm; #添加属性。 } } 不要直接复制所有配置,参数中“ssl”开头的属性与证书配置有直接关系,其它参数请根据自己的实际情况修改。 表1 参数说明 参数 参数说明 listen SSL访问端口号,设置为“443”。 配置HTTPS的默认访问端口为443。如果未配置HTTPS的默认访问端口,可能会导致Nginx无法启动。 server_name 证书绑定的域名。示例:www.domain.com ssl_certificate 证书文件“server.crt”。 设置为“server.crt”文件的路径,且路径中不能包含中文字符,例如“cert/server.crt”。 ssl_certificate_key 私钥文件“server.key”。 设置为“server.key”的路径,且路径中不能包含中文字符,例如“cert/server.key”。 修改完成后保存配置文件。
  • 步骤一:获取文件 在本地解压已下载的证书文件。 获得证书文件“server.crt”和私钥文件“server.key”。 “server.crt”文件包括两段证书代码“-----BEGIN CERTIFICATE-----”和“-----END CERTIFICATE-----”,分别为服务器证书和中级CA。 “server.key”文件包括一段私钥代码“-----BEGIN RSA PRIVATE KEY-----”和“-----END RSA PRIVATE KEY-----”。
  • 约束条件 证书安装前,务必在安装私有证书的服务器上开启“443”端口,同时在安全组增加“443”端口,避免安装后仍然无法启用HTTPS。 为了使客户端信任服务器证书,需要将服务器证书的根CA加入到客户端受信任的根证书颁发机构中,详细操作请参见信任根CA。 如果一个域名有多个服务器,则每一个服务器上都要部署。 待安装证书的服务器上需要运行的域名,必须与证书的域名一一对应,即申请的是哪个域名的证书,则用于哪个域名。否则安装部署后,浏览器将提示不安全。
  • 约束条件 证书安装前,务必在安装私有证书的服务器上开启“443”端口,同时在安全组增加“443”端口,避免安装后仍然无法启用HTTPS。 为了使客户端信任服务器证书,需要将服务器证书的根CA加入到客户端受信任的根证书颁发机构中,详细操作请参见信任根CA。 如果一个域名有多个服务器,则每一个服务器上都要部署。 待安装证书的服务器上需要运行的域名,必须与证书的域名一一对应,即申请的是哪个域名的证书,则用于哪个域名。否则安装部署后,浏览器将提示不安全。
  • 效果验证 部署成功后,可在浏览器的地址栏中输入“https://域名”,按“Enter”。 如果浏览器地址栏显示安全锁标识,则说明证书安装成功。 如果网站仍然出现不安全提示,请参见为什么部署了SSL证书后,网站仍然出现不安全提示?。 如果通过域名访问网站时,无法打开网站,请参见为什么部署了SSL证书后,通过域名访问网站时,无法打开网站?进行处理。 如果仍未解决或出现其他问题,华为云市场提供SSL证书配置优化服务,专业工程师一对一服务,请直接单击一对一咨询进行购买,购买服务后,联系工程师进行处理。
  • PCA自定义策略样例 示例1:授权用户创建CA { "Version": "1.1", "Statement": [ { "Action": [ "pca:ca:create ], "Effect": "Allow" } ] } 示例2:拒绝用户删除证书 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予“PCA FullAccess”的系统策略,但不希望用户拥有“PCA FullAccess”中定义的删除证书权限,您可以创建一条拒绝删除证书的自定义策略,然后同时将“PCA FullAccess”和拒绝策略授予用户,根据Deny优先原则,则用户可以对证书执行除了删除证书外的所有操作。拒绝策略示例如下: { "Version": "1.1", "Statement": [ { "Action": [ "pca:ca:delete" ], "Effect": "Deny" } ] }
  • 示例流程 图1 给用户授权PCA权限流程 创建用户组并授权 在 IAM 控制台创建用户组,并授予私有证书管理服务管理员权限“PCA FullAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择 云证书管理服务 ,如果未提示权限不足,表示“PCA FullAccess”已生效。
  • PCA支持 云审计 的操作列表 云审计服务记录私有证书管理相关的操作事件,如表1所示。 表1 云审计服务支持的PCA操作列表 操作名称 资源类型 事件名称 创建CA CA createCertificateAuthority 激活CA CA generateCertificateAuthority 导出CA CA exportCertificateAuthority 恢复CA CA restoreCertificateAuthority 启用CA CA enableCertificateAuthority 禁用CA CA disableCertificateAuthority 删除CA CA deleteCertificateAuthority 申请证书 endEntityCert createCertificate 删除证书 endEntityCert deleteCertificate 吊销证书 endEntityCert revokeCertificate 父主题: PCA关键操作审计管理
  • 约束条件 如果资源所有者与您属于同一组织,且启用“启用与组织共享资源”功能,将自动获得共享资源的访问权限,无需接受邀请。 如果资源所有者与您不属于同一组织,或者属于同一组织但未启用“启用与组织共享资源”功能,将收到加入资源共享实例的邀请。 资源共享实例的邀请默认保留7天,如果在到期前未接受邀请,系统会自动拒绝邀请,如还需使用共享资源,请再次创建共享实例以生成新的邀请。 若需要启用“启用与组织共享资源”功能,具体操作请参见启用与组织共享资源。
  • 私有CA所有者和接受者权限说明 所有者可以对私有CA执行任何操作,接受者仅可以执行部分操作,接受者支持的操作说明如表 私有CA接受者支持的操作列表所示。 表1 私有CA接受者支持的操作列表 角色 支持的操作 操作说明 接受者 pca:ca:export 通过控制台或API进行访问 pca:ca:get 通过控制台或API进行访问 pca:ca:listTags 通过控制台或API进行访问 pca:ca:issueCert 通过控制台或API进行访问 pca:ca:issueCertByCsr 通过控制台或API进行访问 pca:ca:revokeCert 通过控制台或API进行访问
  • 私有证书申请概述 私有证书管理(Private Certificate Authority,PCA)是一个私有CA和私有证书管理平台。它让用户可以通过简单的可视化操作,建立用户自己完整的CA层次体系并使用它签发证书,实现了在组织内部签发和管理自签名私有证书。主要用于对组织内部的应用身份认证和数据加解密。 私有CA颁发的证书仅在您的组织内受信任,在Internet上不受信任。如需使用在Internet上受信任的证书,请购买SSL证书,具体操作请参见购买SSL证书。 私有证书申请流程如图 私有证书申请流程所示,流程相关说明如表 私有证书申请流程说明所示。 图1 私有证书申请流程 表1 私有证书申请流程说明 步骤 申请操作 说明 1 购买私有CA 根据需要购买私有CA。 2 激活私有CA 购买私有CA实例后,需要激活才能用于签发证书。 您可以选择激活已购买的私有CA实例为根CA或子CA。激活后私有CA正式生效,并且可用于签发私有证书。 3 申请私有证书 通过已激活的私有CA,申请私有证书。 4 下载私有证书 申请完成后,即可下载私有证书并在服务器上安装使用。
  • 私有证书安装说明 私有证书下载后需要安装到服务器上进行使用,非国密证书的安装操作与国际标准SSL证书安装操作相同,您可以参考表 安装SSL证书操作示例。 表1 安装SSL证书操作示例 服务器类型 操作示例 Tomcat 在Tomcat服务器上安装SSL证书 Nginx 在Nginx服务器上安装SSL证书 Apache 在Apache服务器上安装SSL证书 IIS 在IIS服务器上安装SSL证书 Weblogic 在Weblogic服务器上安装SSL证书 Resin 在Resin服务器上安装SSL证书
  • 下载的证书文件说明 根据申请私有证书时,选择的“证书请求文件”方式(“系统生成文件”和“自己生成文件”)的不同,下载文件也有所不同。 系统生成文件 申请私有证书时,如果“证书请求文件”选择的是“系统生成文件”,则下载文件说明如表2所示。 表2 下载文件说明(一) 证书类型 服务器类型 zip压缩包中包含的文件 国际证书 Tomcat keystorePass.txt:证书密码。 server.jks:证书文件。 Nginx server.crt:证书文件,分别为服务器证书和证书链。 server.key:证书私钥文件。 Apache chain.crt:证书链文件。 server.crt:证书文件。 server.key:证书私钥文件。 IIS keystorePass.txt:证书密码。 server.pfx:证书文件。 其他 chain.pem:证书链文件。 server.key:证书私钥文件。 server.pem:证书文件。 国密SM2证书 其他 是否导出国密GMT 0009-2012标准规范的SM2数字信封: 是,zip压缩包中包含的文件为: chain.pem :证书链文件 encSm2EnvelopedKey.key :国密SM2数字信封 encCert.pem:加密证书文件 signCert.key:签名证书私钥文件 signCert.pem:签名证书文件 否,zip压缩包中包含的文件为: chain.pem :证书链文件 encCert.key :加密证书私钥 encCert.pem:加密证书文件 signCert.key:签名证书私钥文件 signCert.pem:签名证书文件 自己生成文件 申请私有证书时,如果“证书请求文件”选择的是“自己生成文件”,则下载文件说明如表3所示。 表3 下载文件说明(二) 证书类型 服务器类型 zip压缩包中包含的文件 国际证书 Tomcat server.crt:证书文件。 chain.crt:证书链文件。 Nginx server.crt:证书文件 Apache server.crt:证书文件。 chain.crt:证书链文件。 IIS server.crt:证书文件。 chain.crt:证书链文件。 其他 cert.pem:证书文件。 chain.pem:证书链文件。 国密SM2证书 其他 是否导出国密GMT 0009-2012标准规范的SM2数字信封: 是,zip压缩包中包含的文件为: chain.pem :证书链文件 encSm2EnvelopedKey.key :国密SM2数字信封 encCert.pem:加密证书文件 signCert.pem:签名证书文件 否,zip压缩包中包含的文件为: chain.pem :证书链文件 encCert.key :加密证书私钥文件 encCert.pem:加密证书文件 signCert.pem:签名证书文件
  • 计费样例 【样例1】 计费场景 某用户与2023/05/30 9:00:00 购买了一张SSL证书,规格配置如下,并在2023/06/10 17:00:00 签发成功。 证书类型:OV(企业型) 证书品牌:DigiCert 域名类型:单域名 有效期:1年 则该用户需要支付的费用计算方法为:需支付总价=页面显示的该规格证书单价*1 证书签发后开始计算有效期,即该证书有效期截止至2024/06/10 17:00:00。 证书具体价格,请参考价格计算器。
  • 如何停止私有证书的计费? 私有证书支持按需计费。如需停止计费,吊销申请的私有证书即可。私有CA支持包年包月计费,如果不在使用,请申请退订。 具体操作请参见吊销私有证书。 私有CA禁用期间也将保持收费。 用户执行删除私有CA操作后,私有CA不会立即删除。计划删除最快7天生效(根据您设置的推迟时间为准)。在此期间收费情况说明如下: 如果用户未取消计划删除,私有CA被删除了,则在计划删除期间的私有CA不会收费; 如果用户在计划删除期间,取消了计划删除,私有CA未被删除,则在计划删除期间的私有CA将保持收费。 例如:您在2022年01月01日00:00执行了删除私有CA的操作,且设置的私有CA计划删除推迟时间为7天,7天后私有CA被删除,那么,PCA服务将不收取这7天的费用;如果您在2022年01月04日00:00取消了计划删除,私有CA未被删除,那么,PCA服务将补齐2022年01月01日00:00至2022年01月04日00:00期间的费用。
  • 步骤六:安装组件控制器(isap-agent) 本步骤介绍如何安装 安全云脑 组件控制器(isap-agent),将日志采集器节点(E CS )纳管到安全云脑。 前提条件 已完成网络连通配置。 安装组件控制器操作步骤 在步骤五:网络连通配置执行后的页面中,单击页面右下角“下一步”,进入“脚本安装验证”页面。 选择云服务器系统,根据安装系统,并单击复制安装组件控制器的命令。 图11 复制安装命令 安装组件控制器。 远程登录(可选)步骤一:购买ECS准备的ECS。 您可以登录弹性云服务器控制台,在“弹性云服务器”列表中,单击“远程登录”登录主机,详细操作请参见在云服务器控制台上登录主机。 如果您的主机已经绑定了弹性IP,您也可以使用远程管理工具(例如:PuTTY、Xshell等)登录主机,并使用root账号在主机中安装组件控制器。 粘贴2复制的安装命令,并以root权限执行,在ECS中安装组件控制器。 根据界面提示,输入步骤四:创建IAM用户中创建的机机账户域名、用户名、密码。 如果界面回显“install isap-agent successfully”信息时,则表示组件控制器安装成功。 图12 安装成功 安装过程中,如果安装失败请参考组件控制器安装失败问题排查进行排查处理;如果提示内存不足,请参见磁盘分区进行处理。 确认已安装后,返回安全云脑新增节点页面,单击页面右下角“确认”。 安装完成后,可以在节点管理页面查看已新增的节点。 图13 已新增节点
  • 功能优势 易于开始,便于复制。 日志接入LTS后,即可创建告警规则和通知策略,支持实时接收潜在的告警事件并响应。 高可用性与可靠性。 依托于LTS的高可用性与数据可靠性,告警服务的可用性达到99.9%,告警相关的数据可靠性高于99.99999999%。 低成本与免运维。 目前LTS暂时不收取告警规则、告警管理等其他费用,降低告警系统的运维成本和运维人员的时间成本。后续如有收费计划将至少提前1个月通知您。 短信通知按实际用量付费,详细请参考 消息通知 服务的计费说明。语音是白名单功能,具体收费请参考计费说明。 快速响应异常问题。 更全面、更智能的告警监控能力与告警行动规则能力,使告警的响应变得更迅速,提高问题解决的速度,减少因业务异常造成的损失。
  • 使用Flume采集数据库表数据并且上报至LTS 使用Flume采集数据库表数据并且上报至LTS,实现对表数据变动监控。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 在https://github.com/keedio/flume-ng-sql-source页面下载flume-ng-sql-source插件,转换为jar包并取名为flume-ng-sql-source.jar,打包前注意将pom文件中的flume-ng-core 版本与flume安装版本保持一致,并且将jar包放在安装Flume包路径的lib目录下面,例如FLUME_HOME/lib目录下(例子中的FLUME_HOME为Flume安装路径,仅供参考,请以实际安装路径为准)。 添加MySQL驱动到FLUME_HOME/lib目录下: 下载MySQL驱动。 wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.35.tar.gz 将驱动包解压并打为jar包。 tar xzf mysql-connector-java-5.1.35.tar.gz 将jar包存放在FLUME_HOME/lib/路径。 cp mysql-connector-java-5.1.35-bin.jar FLUME_HOME/lib/ 添加采集MySQL的conf文件。 # a1表示agent的名称 # source是a1的输入源 # channels是缓冲区 # sinks是a1输出目的地,本例子sinks使用了kafka a1.channels = c1 a1.sources = r1 a1.sinks = k1 #source a1.sources.r1.type = org.keedio.flume.source.SQLSource # 连接mysql的一系列操作,{mysql_host}改为你虚拟机的ip地址,可以通过ifconfig或者ip addr查看,{database_name}改为数据库名称 # url中要加入?useUnicode=true&characterEncoding=utf-8&useSSL=false,否则有可能连接失败 a1.sources.r1.hibernate.connection.url = jdbc:mysql://{mysql_host}:3306/{database_name}?useUnicode=true&characterEncoding=utf-8&useSSL=false # Hibernate Database connection properties # mysql账号,一般都是root a1.sources.r1.hibernate.connection.user = root # 填入你的mysql密码 a1.sources.r1.hibernate.connection.password = xxxxxxxx a1.sources.r1.hibernate.connection.autocommit = true # mysql驱动 a1.sources.r1.hibernate.dialect = org.hibernate.dialect.MySQL5Dialect a1.sources.r1.hibernate.connection.driver_class = com.mysql.jdbc.Driver # 存放status文件 a1.sources.r1.status.file.path = FLUME_HOME/bin a1.sources.r1.status.file.name = sqlSource.status # Custom query # 填写需要采集的数据表名{table_name},也可以使用下面的方法: a1.sources.r1.custom.query = select * from {table_name} #Sink a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = ${logGroupId}_${logStreamId} a1.sinks.k1.kafka.bootstrap.servers = ${ip}:${port} a1.sinks.k1.kafka.producer.acks = 0 a1.sinks.k1.kafka.producer.security.protocol = SASL_PLAINTEXT a1.sinks.k1.kafka.producer.sasl.mechanism = PLAIN a1.sinks.k1.kafka.producer.compression.type = gzip a1.sinks.k1.kafka.producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="${projectId}" password="${accessKey}#${accessSecret}"; a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 10000 a1.channels.c1.byteCapacityBufferPercentage = 20 a1.channels.c1.byteCapacity = 800000 启动Flume后,即可开始采集数据库中的表数据到LTS。
  • 通过Flume采集SNMP协议上报的设备管理数据并发送到LTS 通过Flume采集SNMP协议上报的设备管理数据并发送到LTS。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 监听SNMP协议通信端口号161。参考如下示例添加SNMP协议接受日志的conf。 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcatudp a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 161 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = ${logGroupId}_${logStreamId} a1.sinks.k1.kafka.bootstrap.servers = ${ip}:${port} a1.sinks.k1.kafka.producer.acks = 0 a1.sinks.k1.kafka.producer.security.protocol = SASL_PLAINTEXT a1.sinks.k1.kafka.producer.sasl.mechanism = PLAIN a1.sinks.k1.kafka.producer.compression.type = gzip a1.sinks.k1.kafka.producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="${projectId}" password="${accessKey}#${accessSecret}"; a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1 监听SNMP协议陷阱(Trap)通信的端口号162,参考如下示例添加SNMP协议接受日志的conf。 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = netcatudp a1.sources.r1.bind = 0.0.0.0 a1.sources.r1.port = 162 a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = ${logGroupId}_${logStreamId} a1.sinks.k1.kafka.bootstrap.servers = ${ip}:${port} a1.sinks.k1.kafka.producer.acks = 0 a1.sinks.k1.kafka.producer.security.protocol = SASL_PLAINTEXT a1.sinks.k1.kafka.producer.sasl.mechanism = PLAIN a1.sinks.k1.kafka.producer.compression.type = gzip a1.sinks.k1.kafka.producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="${projectId}" password="${accessKey}#${accessSecret}"; a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
  • 使用Flume采集文本日志上报到LTS 支持使用Flume采集文本日志内容上报至LTS,参考如下示例添加采集文本日志的conf文件。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 #Named a1.sources = r1 a1.channels = c1 a1.sinks = k1 #Source a1.sources.r1.type = TAILDIR a1.sources.r1.channels = c1 a1.sources.r1.filegroups = f1 a1.sources.r1.filegroups.f1 = /tmp/test.txt a1.sources.r1.fileHeader = true a1.sources.r1.maxBatchCount = 1000 #Channel a1.channels.c1.type = memory a1.channels.c1.capacity = 10000 a1.channels.c1.transactionCapacity = 100 #Sink a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = ${logGroupId}_${logStreamId} a1.sinks.k1.kafka.bootstrap.servers = ${ip}:${port} a1.sinks.k1.kafka.producer.acks = 0 a1.sinks.k1.kafka.producer.security.protocol = SASL_PLAINTEXT a1.sinks.k1.kafka.producer.sasl.mechanism = PLAIN a1.sinks.k1.kafka.producer.compression.type = gzip a1.sinks.k1.kafka.producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="${projectId}" password="${accessKey}#${accessSecret}"; #Bind a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1
  • 使用Flume采集syslog协议传输的日志上报到LTS Syslog协议是一种用于在IP网络中传输日志消息的协议,通过Flume将syslog协议传输的日志采集并上报到LTS。以下示例中的参数介绍请参考使用KAFKA协议上报日志。 接收UDP日志,参考如下示例添加采集Syslog协议的conf文件。 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type=syslogudp #host_port为syslog服务器的端口 a1.sources.r1.port = {host_port} #host_ip为syslog服务器的ip地址 a1.sources.r1.host = {host_ip} a1.sources.r1.channels = c1 a1.channels.c1.type = memory #Sink a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = ${logGroupId}_${logStreamId} a1.sinks.k1.kafka.bootstrap.servers = ${ip}:${port} a1.sinks.k1.kafka.producer.acks = 0 a1.sinks.k1.kafka.producer.security.protocol = SASL_PLAINTEXT a1.sinks.k1.kafka.producer.sasl.mechanism = PLAIN a1.sinks.k1.kafka.producer.compression.type = gzip a1.sinks.k1.kafka.producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="${projectId}" password="${accessKey}#${accessSecret}"; a1.sinks.k1.channel = c1 接收TCP日志,参考如下示例添加采集Syslog协议的conf文件。 a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type=syslogtcp #host_port为syslog服务器的端口 a1.sources.r1.port = {host_port} #host_ip为syslog服务器的ip地址 a1.sources.r1.host = {host_ip} a1.sources.r1.channels = c1 a1.channels.c1.type = memory #Sink a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink a1.sinks.k1.kafka.topic = ${logGroupId}_${logStreamId} a1.sinks.k1.kafka.bootstrap.servers = ${ip}:${port} a1.sinks.k1.kafka.producer.acks = 0 a1.sinks.k1.kafka.producer.security.protocol = SASL_PLAINTEXT a1.sinks.k1.kafka.producer.sasl.mechanism = PLAIN a1.sinks.k1.kafka.producer.compression.type = gzip a1.sinks.k1.kafka.producer.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="${projectId}" password="${accessKey}#${accessSecret}"; a1.sinks.k1.channel = c1
共100000条