检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
er,目的是让Producer中缓存的数据全部被处理。目前,Producer提供安全关闭和有限关闭两种模式。 安全关闭(推荐):建议您使用安全关闭。安全关闭对应的方法是close(),它会等到Producer中缓存的数据全部被处理、线程全部停止、注册的callback全部执行,返回future全部被设置后才会返回。
很大的安全风险, 建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全; ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] credentials = BasicCredentials(ak
"content":"k1=\"v1=1\"&k2=v2?k3=v3" } 加工规则 e_kv("content",sep="=", quote="'") 加工结果 处理后日志为: { "k1": "v1=1", "k2": "v2", "k3": "v3", "content": "k1=\"v1=1\"&k2=v2
如果您不再使用跨账号接入功能,可直接通知账号B删除接入配置。 前提条件 已创建委托关系。 被委托账号必须要授权Agent Operator系统角色,用于被委托账号在使用LTS委托功能时进行委托校验。授权时Agent Operator选择授权范围方案为“所有资源”,授权成功后,在授权记录查看Agent
任意(自动转为String) 是 需要替换的字符集合。 mapping_string 任意(自动转为String) 是 替换后的字符集合。 返回结果 处理后的字符串。 函数示例 测试数据:无 加工规则 e_set("str_translate", str_translate("lts", "ts"
定时SQL任务的描述。长度不超过1000个字符。 源日志组/流名称 选择已完成结构化配置的日志组/流,即表示源日志组/流中的日志内容通过定时SQL处理后,将存储到目标日志组/日志流中。 统计类型 SQL统计(使用旧SQL引擎) SQL代码 输入的查询和分析语句,定时SQL运行时,云日志服务将执行该查询和分析语句分析日志。
集日志的操作方式与采集阿里云主机日志的方式类似。 以下将阿里云-华北二-北京局点的日志采集到华为云华东-上海一局点的LTS服务,云主机的操作系统为Linux环境。 资源规划 表1 资源规划 区域 资源 资源说明 华东-上海一 弹性云服务器 ECS 推荐CentOS 6.5 64bit及其以上版本的镜像,
采集日志的操作方式与采集阿里云主机日志的方式类似。 以下将阿里云-华北二北京局点的日志采集到华为云华东-上海一局点的LTS服务,云主机的操作系统为Linux环境。 资源规划 表1 资源规划 区域 资源 资源说明 华东-上海一 弹性云服务器 ECS 推荐CentOS 6.5 64bit及其以上版本的镜像,
Boolean 预留字段。 表6 StructRule 参数 是否必选 参数类型 描述 type 是 String 内置系统模板类型 param 是 String 系统模板名称 响应参数 状态码:200 表7 响应Body参数 参数 参数类型 描述 - String 状态码:400 表8
读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率。 索引流量-标准型日志流:原始日志数据默认都会建立全文索引,创建索引(对日志分词处理)后,才能搜索日志。在日志写入数据库时一次性收取流量费用。 标准存储量:日志标准存储量为压缩后的日志数据、索引数据、副本数据之和,这些空间
Boolean 预留字段。 表6 StructRule 参数 是否必选 参数类型 描述 type 是 String 内置系统模板类型 param 是 String 系统模板名称 响应参数 状态码:200 表7 响应Body参数 参数 参数类型 描述 - String 状态码:400 表8
replace: 13 regex_replace: iZbp13a13x13r13vhpe13fi13qZ 示例2:对手机号中间4位数字进行脱敏处理。 测试数据 { "iphone": "13900001234" } 加工规则 replace=r"\1****\2"表示替换后的字符串
offset:指定从某一行开始读取分析结果。 limit:指定当前请求读取的行数,最大值为100,000。如果一次读取太多,会影响网络延时和客户端的处理速度。 例如,通过* | select hostid,podname limit 20 offset 10 语句进行查询分析,指定返回10
更多参考 支持和其他函数组合使用。 e_search 提供一种简化,类似Lucene语法的事件搜索方式。该功能在邀测期间,e_search函数处理日志流量比较小,请谨慎使用。 函数格式 e_search(querystring) 参数说明 参数名称 参数类型 是否必填 说明 querystring
登录云日志服务控制台。 在日志管理页面,单击“购买资源包”,进入购买资源包页面。 在“区域”下拉框选择对应区域,云日志服务所在的区域,建议选择与业务应用系统相同的地域。 请根据业务需要选择计算方式,支持智能推荐、一键测算、手动选择,请参考表1、表2、表3设置参数。 资源包中的冷存储包是白名单功
组合解析格式解析日志,此模式支持用户在控制台输入代码(json 格式)用来定义日志解析的流水线逻辑。您可添加一个或多个插件处理配置,ICAgent会根据处理配置顺序逐一执行。 时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。 相对时间
long2ip(v("data"))) 加工结果 data: 1959903232 ip: 116.209.192.0 转换失败后自定义的错误处理。 测试数据 { "data": "4294967296" } 加工规则 e_set("ip",long2ip(v("data"), default="error"))
流量,以保障SDK处于正常上报状态。 如果maxBlockMs为0时,SDK处于非阻塞状态,会触发保护机制自动降级,可能会对部分日志做丢弃处理。 如果maxBlockMs大于0时,SDK处于阻塞状态,阻塞时间为maxBlockMs,可能会造成SDK发送日志处于阻塞状态。 配置参数说明
double 是 percentage 百分比值,取值范围为[0,1]。 double 是 weight 权重,大于1的整数。 设置权重后,系统根据x与权重的乘积进行排序。 int 否 accuracy 准确度,取值范围为(0,1)。 double 否 返回值类型:double类型或array(double
encoding String 否 编码格式,默认为utf8。支持ASCII。 errors String 否 按照编码格式无法识别字符时的处理方式。取值包括: ignore(默认值):忽略不做编码。 strict:直接报错,丢弃此条日志数据。 replace:使用半角问号(?)替换无法识别部分。