华为云用户手册

  • 驾照识别约束 只支持中国大陆驾驶证纸质版本及交管12123提供的电子驾驶证版本识别。 只支持识别PNG、JPG、JPEG、BMP、TIFF格式的图片。 图像各边的像素大小在100到8000px之间。 图像中驾驶证区域有效占比超过50%,保证整张驾驶证内容及其边缘包含在图像内。 支持图像中驾驶证任意角度的水平旋转。 支持少量扭曲,扭曲后图像中的驾驶证长宽比与实际驾驶证相差不超过10%。 能处理反光、暗光、防伪标识等干扰的图片但影响识别精度。
  • 身份证识别约束 支持中华人民共和国居民身份证的识别。 只支持识别PNG、JPG、JPEG、BMP、TIFF格式的图片。 图像各边的像素大小在15到8000px之间。 图像中身份证区域有效占比超过25%,保证整张身份证内容及其边缘包含在图像内。 支持图像中身份证任意角度的水平旋转。 支持少量扭曲,扭曲后图像中的身份证长宽比与实际身份证相差不超过10%。 能处理反光、暗光等干扰的图片但影响识别精度。 目前支持识别单张身份证的正面或者反面。 支持居民身份证的正反面同时识别,不支持存在两张及以上同面身份证的图片识别。
  • 护照识别约束 支持中国大陆护照的全字段识别。 支持含有完整机读码的中国-港澳台地区及外国护照识别。 只支持识别PNG、JPG、JPEG、BMP、TIFF格式的图片。 图像各边的像素大小在15到4096px8192px之间。 图像中护照首页区域有效占比超过25%,保证护照首页内容及其边缘包含在图像内。 支持图像中护照任意角度的水平旋转。 支持少量扭曲,扭曲后图像中的护照长宽比与实际护照相差不超过10%。 能处理反光、暗光等干扰的图片但影响识别精度。
  • 服务韧性 华为云EdgeSec按规则部署在全球各地,所有数据中心都处于正常运营状态,无一闲置。数据中心互为灾备中心,如一地出现故障,系统在满足合规政策前提下自动将客户应用和数据转离受影响区域,保证业务的连续性。为了减小由硬件故障、自然灾害或其他灾难带来的服务中断,华为云EdgeSec提供灾难恢复计划。 当发生故障时,EdgeSec的五级可靠性架构支持不同层级的可靠性,因此具有更高的可用性、容错性和可扩展性。 华为云EdgeSec已面向全球用户服务,并在多个分区部署,同时EdgeSec的所有管理面、引擎等组件均采用主备或集群方式部署。 父主题: 安全
  • 批量设置多个接入配置 支持同时批量设置多个接入配置,操作简单,不用重复配置即可快速完成多个场景的接入配置。 在“接入管理”页面,单击“批量接入”,进入配置详情页面,请参考表4。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型 选择ServiceStage-云主机日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考步骤3:采集配置进行设置。 一个接入配置设置完成后,单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击“参数检查”,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在接入规则页签下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 批量设置多个接入配置 支持同时批量设置多个接入配置,操作简单,不用重复配置即可快速完成多个场景的接入配置。 在“接入管理”页面,单击“批量接入”,进入配置详情页面,请参考表4。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型 选择裸金属服务BMS-文本日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考步骤3:采集配置进行设置。 一个接入配置设置完成后,单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击“参数检查”,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在接入规则页签下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 批量设置多个接入配置 支持同时批量设置多个接入配置,操作简单,不用重复配置即可快速完成多个场景的接入配置 在“接入管理”页面,单击“批量接入”,进入配置详情页面,请参考表6。 表6 批量接入设置 类型 操作 说明 基本配置 接入类型 选择云容器引擎 CCE-应用日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考步骤4:采集配置进行设置。 一个接入配置设置完成后,单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击“参数检查”,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在接入规则页签下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 前提条件 CCE集群已安装ICAgent并且已创建相关节点自定义标识的主机组(如果不满足,配置CCE接入LTS时会自动检查修复)。 首次使用 AOM 2.0的用户,请参考开通AOM2.0授权使用AOM2.0,进入AOM2.0控制台后,请参考云服务授权授予 云日志 服务 (LTS)、云容器引擎 (CCE)等云服务数据的访问权限。 在“主机”页面,选择“CCE集群”,在搜索框选择目标集群,单击“升级ICAgent”,详细操作请参考升级ICAgent。 已关闭采集容器标准输出到AOM的开关。 开启“ICAgent诊断开关”用于查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控,请参考设置ICAgent日志采集开关。
  • 使用限制 支持容器引擎为Docker的CCE集群节点。详情请查看云容器引擎(CCE)。 支持使用Containerd作为容器引擎的CCE集群节点(ICAgent 5.12.130及以上版本)。 支持 CCE Turbo 集群(ICAgent 5.12.130及以上版本)。 容器内的日志目录如果已挂载到主机目录上,将无法通过配置容器文件路径方式采集到LTS,只能通过配置节点文件路径方式采集到LTS。 Docker存储驱动限制:容器文件日志采集目前仅支持overlay2存储驱动,不支持devicemapper作为存储驱动的节点。查看存储驱动类型,请使用如下命令: docker info | grep "Storage Driver" 如果选择日志流时,采集方式为采集到集中日志流时,则必须已创建CCE集群。
  • 步骤6:完成接入配置 在接入规则页签,则会生成一条接入配置信息。 单击接入配置名称可进入详情页面,查看该接入配置详细信息。 单击接入配置操作列的“编辑”重新修改接入配置信息。 单击接入配置操作列的“标签管理”即可添加标签。 单击接入配置操作列的“复制”复制一条新的接入配置信息。 单击接入配置操作列的“删除”即可删除接入配置信息。 单击接入配置操作列的“采集诊断”,可查看ICAgent异常监控、ICAgent整体状态和ICAgent采集监控。
  • 批量设置多个接入配置 支持同时批量设置多个接入配置,操作简单,不用重复配置即可快速完成多个场景的接入配置。 在“接入管理”页面,单击“批量接入”,进入配置详情页面,请参考表4。 表4 批量接入设置 类型 操作 说明 基本配置 接入类型 选择云主机 E CS -文本日志。 接入配置数量 在输入框填写接入配置数量,单击“添加接入配置”。 在接入配置下方默认已有1个接入配置,最多支持再添加99个数量,因此支持同时添加100个接入配置。 接入配置 接入列表 左侧显示接入配置的信息,最多支持添加99个配置。 右侧显示配置接入的内容,详细请参考步骤3:采集配置进行设置。 一个接入配置设置完成后,单击“应用于其他接入规则”即可将该接入配置复制到其他接入配置。 单击“参数检查”,检查成功后,单击“提交”,批量接入设置完成。 例如添加了4个接入配置,批量创建成功后,在接入规则页签下方,就会显示4条接入配置数量。 (可选)支持对接入配置任务进行以下操作: 勾选多个已创建成功的接入配置,单击“批量编辑”进入配置详情页面,通过选择不同接入类型,修改对应的接入配置信息。 勾选多个已创建成功的接入配置,单击开启或关闭按钮。接入配置状态关闭后不会继续采集日志。 勾选多个已创建成功的接入配置,单击删除按钮即可批量删除接入配置。
  • 开启匿名写入 登录云日志服务控制台。 单击日志组名称对应的按钮。 单击“创建日志流”,在创建日志流页面,参考表1填写日志流相关信息,开启“匿名写入”,适用于端侧SDK上报日志,打开匿名写入则表示该日志流打开匿名写入权限,不会经过有效鉴权,可能产生脏数据。 图1 创建日志流 表1 日志流参数说明 参数 说明 日志组名称 默认显示目标日志组名称。 日志流名称 日志流名称只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。 企业项目 选择业务需要的企业项目,默认为default。也可单击“查看企业项目”,在企业项目管理页面查看全部企业项目。 日志存储 若关闭日志存储,则无法开启日志存储时间。 开启“日志存储”:日志将会被存入搜索引擎,能使用日志全量功能。 关闭“日志存储”:日志不会存储到LTS,可节约索引流量和存储费用,只能使用日志生成指标、转储功能,不能使用日志搜索分析、告警、消费加工等其他功能。 日志存储时间(天) 日志流的存储时间,即日志上报到LTS后日志存储的时间。 日志数据默认存储30天,可以在1~365天之间设置。 打开日志流的“日志存储时间”:日志的存储时间使用日志流设置的日志存储时间。 关闭日志流的“日志存储时间”:日志的存储时间使用日志组设置的日志存储时间。 智能冷存储 开启日志存储时间后,根据业务需要设置智能冷存储功能。详细请参考智能冷存储。 说明: 开启智能冷存储需要日志存储时间大于7天。 标准存储层数据保存时间 开启智能冷存储后,需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间,且小于日志存储时间时,日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签,单击“添加标签”,分别填写标签键key和标签值value。 说明: 如需添加多个标签可重复该步骤,最多支持添加20个标签。 如需删除标签可单击标签操作列的“删除”。 标签键长度不能超过128个字符;标签值长度不能超过255个字符。 标签键名称不可重复。 如果配置转储时使用了该标签,删除标签后,请同步修改转储配置信息。 匿名写入 匿名写入默认关闭,适用于安卓/IOS/小程序/浏览器端上报日志,打开匿名写入则表示该日志流打开匿名写入权限,不会经过有效鉴权,可能产生脏数据。关于SDK使用请参考SDK接入。 备注 自定义填写备注信息,字符长度0-1024个字符。 单击“确定”。
  • 通过HTTP GET请求上传日志 开通匿名写入后,您可以通过以下方法上传日志到日志流中。 HTTP GET请求,开通白名单后,技术支持工程师提供{endpoint}地址才能此功能。 /v3/{project_id}/lts/groups/{log_group_id}/streams/{log_stream_id}/struct/logs?key1=val1&key2=val2 GET接口总数据量不能超过16KB,超过可能会上报失败。 不支持压缩。 配置参数说明 表2 配置参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:32 最大长度:32 log_group_id 是 String 日志组ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:36 最大长度:36 log_stream_id 是 String 日志流ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:36 最大长度:36 key1=val1&key2=val2 是 String 您要上传到日志服务的键值对(Key-Value),支持设置多个键值对,由&隔开。请确保长度小于16KB。 对于上报日志中的特殊字符,请您使用url编码,否则可能出现日志上报乱码、失败。 日志长度小于16KB,指的是url编码后的长度。假如您的日志大小只有13KB,但是经过编码后的大小为17KB,也是超过长度限制。 响应参数 状态码为 200 时: 表3 响应Body参数 参数 参数类型 描述 errorCode String 错误码。 枚举值: SVCSTG.ALS.200.200 errorMessage String 调用失败响应信息描述。 枚举值: Report success. result String 响应结果。 请求示例 curl -k "https://lts-access.cn-north-4.myhuaweicloud.com:8102/v3/xxxxxxProject_id/lts/groups/xxxxxxLog_group_id/streams/xxxxxxxLog_stream_id/struct/logs?key1=val1&key2=val2" 响应示例 状态码: 200 日志上报成功。 { "errorCode": "SVCSTG.ALS.200.200", "errorMessage": "Report success.", "result": null } 状态码 表4 状态码 状态码 描述 200 请求响应成功。 400 BadRequest。非法请求。建议根据error_msg直接修改该请求,不要重试该请求。 401 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 403 Forbidden。请求被拒绝访问。返回该状态码,表明请求能够到达服务端,且服务端能够理解用户请求,但是拒绝做更多的事情,因为该请求被设置为拒绝访问,建议直接修改该请求,不要重试该请求。 500 系统内部错误。 503 ServiceUnavailable。被请求的服务无效,服务不可用。
  • 自定义日志时间 开启自定义日志时间开关,参考表10设置参数。 若时间格式填写错误或指定字段不存在,将使用日志被采集时间作为日志时间。 对结构化解析进行字段名称修改、字段删除、字段类型修改等操作,都需要重新校验时间字段。 表10 参数配置表 参数 说明 示例 时间字段key名称 已提取字段的名称。单击下拉框选择已提取的字段,该字段为string或long类型。 test 字段value 已提取的字段value,选择字段key后,将自动填充。 说明: 配置的字段value必须是当前时间前后24小时内的时间。 2023-07-19 12:12:00 时间格式 请参考常见日志时间格式。 yyyy-MM-dd HH:mm:ss 操作 单击校验图标,提示“时间格式和字段value匹配成功”则表示校验成功。 -
  • 组合解析 适用于多格式嵌套的日志(例如:分隔符+JSON),根据语法自定义配置解析规则。 选择组合解析。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,在插件配置下方输入配置内容。 您可以根据日志内容参考以下插件语法自定义设置: processor_regex 表1 正则提取 参数 类型 说明 source_key string 原始字段名。 regex string 正则表达式()中为提取字段。 keys string 为提取的内容指定字段名。 keep_source boolean 是否保留原始字段。 keep_source_if_parse boolean 解析错误是否保留原始字段。 processor_split_string 表2 分隔符解析 参数 类型 说明 source_key string 原始字段名。 split_sep string 分隔符字符串。 keys string 为提取的内容指定字段名。 keep_source boolean 被解析后的日志中是否保留原始字段。 split_type char/special_char/string 分隔类型,支持char-单字符、special_char-不可见字符、string-字符串。 keep_source_if_parse_error boolean 解析错误是否保留原始字段。 processor_split_key_value 表3 键值对分割 参数 类型 说明 source_key string 原始字段名。 delimiter string 键值对之间的分隔符,默认值为制表符\t。 separator string 单个键值对中键与值之间的分隔符,默认值为半角冒号(:)。 keep_source boolean 被解析后的日志中是否保留原始字段。 processor_add_fields 表4 添加字段 参数 类型 说明 fields json/object 待添加的字段名和字段值。键值对格式,支持添加多个。 processor_drop 表5 丢弃字段 参数 类型 说明 drop_keys string 丢弃的字段列表。 processor_rename 表6 重命名字段 参数 类型 说明 source_keys string 待重命名的原始字段。 destkeys string 重命名后的字段。 processor_json 表7 json展开提取 参数 类型 说明 source_key string 原始字段名。 keep_source string 被解析后的日志中是否保留原始字段。 expand_depth int json展开的深度。默认值为0,表示不限制。1表示当前层级,以此类推。 expand_connector string json展开时的连接符,默认值为下划线(_)。 prefix string json展开时,对字段名附加的前缀。 keep_source_if_parse_error boolean 解析错误是否保留原始字段。 processor_filter_regex 表8 过滤器 参数 类型 说明 include json/object key为日志字段,value为匹配的正则表达式。 exclude json/object key为日志字段,value为匹配的正则表达式。 processor_gotime 表9 提取时间 参数 类型 说明 source_key string 原始字段名。 source_format string 原始时间的格式。 source_location int 原始时间的时区。参数值为空时,表示logtail所在主机或容器的时区。 dest_key string 解析后的目标字段。 dest_format string 解析后的时间格式。 dest_location int 解析后的时区。参数值为空时,表示本机时区。 set_time boolean 是否将解析后的时间设置为日志时间。 keep_source boolean 被解析后的日志中是否保留原始字段。 参考示例: [ { "type": "processor_regex", "detail": { "source_key": "content", "regex": "*", "keys": [ "key1", "key2" ], "multi_line_regex": "*", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_split_string", "detail": { "split_sep": ".", "split_type": ".", "split_keys": [ "key1", "key2" ], "source_key": "context", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_add_fields", "detail": { "fields": [ { "key1": "value1" }, { "key2": "value2" } ] } }, { "type": "processor_drop", "detail": { "drop_keys": [ "key1", "key2" ] } }, { "type": "processor_rename", "detail": { "source_key": [ "skey1", "skey2" ], "dest_keys": [ "dkey1", "dkey2" ] } }, { "type": "processor_json", "detail": { "source_key": "context", "expand_depth": 4, "expand_connector": "_", "prefix": "prefix", "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_gotime", "detail": { "source_key": "skey", "source_format": "ydm", "source_location": 8, "dest_key": "dkey", "dest_format": "ydm", "dest_location": 8, "set_time": true, "keep_source": true, "keep_source_if_parse_error": true } }, { "type": "processor_filter_regex", "detail": { "include": { "ikey1": "*", "ikey2": "*" }, "exclude": { "ekey1": "*", "ekey1": "*" } } } ]
  • 多行-完全正则 适用任意格式的多行日志,使用正则表达式提取字段。 选择多行-完全正则。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 在“首行正则表达式”下方支持自动生成或手动输入正则表达式。首行正则表达式需要匹配首行完整内容,注意并非首行的开头内容。 在“提取正则表达式”下方输入要提取日志的正则表达式,单击“验证”,在提取结果下方查看结果。 或者单击“正则表达式自动生成”,在新打开的页面根据日志样例提取字段,输入key值,单击“确定”即可自动生成正则表达式,设置完成后,单击“确定”。 图14 设置正则表达式 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 图15 日志过滤规则 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如采集日志源文件中包含hello的日志,可配置采集规则为.*hello.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 图16 校验 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如不采集日志源文件中包含test的日志,可配置采集规则为.*test.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • JSON 适用JSON格式的日志,通过提取JSON字段将其拆分为键值对。 选择JSON格式。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 图6 日志过滤规则 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如采集日志源文件中包含hello的日志,可配置采集规则为.*hello.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 图7 校验 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如不采集日志源文件中包含test的日志,可配置采集规则为.*test.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。 json解析层数。增加json解析层数配置,取值范围为1~4,只能整数,默认值为1。 将json格式日志的字段展开,例如原始日志为{"key1":{"key2":"value"}},解析1层日志为:{"key1":{"key2":"value"}},解析2层日志为:{"key1.key2":"value"}。
  • 分隔符 使用分隔符(例如:逗号、空格或字符)提取字段。 选择分隔符。 根据原始日志内容选择分隔符,或自定义其他需要的特殊字符作为分隔符。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例,单击“验证”,在提取结果下方查看结果。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 图8 分隔符 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 图9 日志过滤规则 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如采集日志源文件中包含hello的日志,可配置采集规则为.*hello.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 图10 校验 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如不采集日志源文件中包含test的日志,可配置采集规则为.*test.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • 单行-完全正则 适用任意格式的单行日志,使用正则表达式提取字段。 选择单行-完全正则。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 在“提取正则表达式”下方输入要提取日志的正则表达式,单击“验证”,在提取结果下方查看结果。 或者单击“正则表达式自动生成”,在新打开的页面根据日志样例提取字段,输入key值,单击“确定”即可自动生成正则表达式,设置完成后,单击“确定”。 图11 提取正则表达式 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 图12 日志过滤规则 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如采集日志源文件中包含hello的日志,可配置采集规则为.*hello.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 图13 校验 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。 单击“添加”,填写Key值和过滤规则(正则表达式)。Key值为日志字段名称,多条过滤规则之间关系是“或”逻辑。例如不采集日志源文件中包含test的日志,可配置采集规则为.*test.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 上传原始日志。 打开上传原始日志开关后,原始日志将作为content字段的值上传到日志服务。 上传解析失败日志。 打开上传解析失败日志开关后,原始日志将作为_content_parse_fail_字段的值上传到日志服务。 自定义日志时间。 开启后可指定某一字段作为日志时间,或关闭此项使用日志被采集时间作为日志时间。
  • 功能优势 基于日志文件,无侵入式采集日志。您无需修改应用程序代码,且采集日志不会影响您的应用程序运行。 稳定处理日志采集过程中的各种异常。当遇到网络异常、服务端异常等问题时会采用主动重试、本地缓存数据等措施保障数据安全。 基于日志服务的集中管理能力。安装ICAgent后,只需要在日志服务上配置主机组、ICAgent采集配置等信息即可。 完善的自我保护机制。为保证运行在服务器上的ICAgent,不会明显影响您服务器上其他服务的性能,ICAgent在CPU、内存及网络使用方面都做了严格的限制和保护机制。
  • 单行-全文日志 采集的日志文件中,如果您希望每一行日志在LTS界面中都显示为一条单独的日志数据,则选择单行日志。 选择单行-全文日志。 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 图1 日志过滤规则 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。 单击“添加”,填写Key值和过滤规则(正则表达式)。单行/多行全文模式下,默认使用content作为全文的键{key}名,多条过滤规则之间关系是“或”逻辑。例如采集日志源文件中包含hello的日志,可配置采集规则为.*hello.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 图2 校验 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。 单击“添加”,填写Key值和过滤规则(正则表达式)。单行/多行全文模式下,默认使用content作为全文的键{key}名,多条过滤规则之间关系是“或”逻辑。例如不采集日志源文件中包含test的日志,可配置采集规则为.*test.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。
  • 多行-全文日志 采集的日志中包含像java异常的日志,如果您希望多行异常的日志显示为一条日志,正常的日志则每一行都显示为一条单独的日志数据,则选择多行日志,方便您查看日志并且定位问题。 选择多行-全文日志。 从“从已有日志中选择”或“从剪切板中粘贴”选择日志样例。 从已有日志中选择:单击“从已有日志中选择”,在弹出框中根据业务需求选择待操作的日志,单击“确定”。通过选择不同时间段筛选日志。 从剪切板中粘贴:单击“从剪切板中粘贴”,可直接自动将您剪切的日志内容复制到示例日志框中。 在“首行正则表达式”下方支持自动生成或手动输入正则表达式。首行正则表达式需要匹配首行完整内容,注意并非首行的开头内容。 图3 首行正则表达式 日志过滤默认关闭,可根据需要打开日志过滤,进行添加白名单规则或黑名单规则,白名单规则或黑名单规则添加上限为20个。 图4 日志过滤规则 开启日志过滤才需要设置,添加白名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为命中规则,即匹配上正则表达式的日志才会被采集上报。 单击“添加”,填写Key值和过滤规则(正则表达式)。单行/多行全文模式下,默认使用content作为全文的键{key}名,多条过滤规则之间关系是“或”逻辑。例如采集日志源文件中包含hello的日志,可配置采集规则为.*hello.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。 图5 校验 开启日志过滤才需要设置,添加黑名单规则。 您可以添加过滤规则筛选出有价值的日志数据,过滤规则为正则表达式,应用到指定Key的Value。所创建的过滤规则为丢弃规则,即匹配上正则表达式的日志会被丢弃。 单击“添加”,填写Key值和过滤规则(正则表达式)。单行/多行全文模式下,默认使用content作为全文的键{key}名,多条过滤规则之间关系是“或”逻辑。例如不采集日志源文件中包含test的日志,可配置采集规则为.*test.* 单击操作列的可以进行规则校验,输入字段值,单击“校验”,提示校验成功。
  • 收集信息 表1 收集信息 项目 说明 私钥/公钥获取URL/密钥ID/公钥/appId 访问私钥是在CraftArts IPDCenter API交互过程身份凭证。通过私钥生成认证凭据,用于确保请求者身份的正确性。公钥获取URL自动获取公钥的地址,通过此地址,可自动获取公钥信息,用于检验认证凭据的正确性。 公钥获取URL地址为:https:// 域名 /文根/basic/mgmt//public/api/v1/keymanage/getPublicKeyList appId、公钥、私钥与密钥ID见下面获取方式。
  • 在续费管理页面开通自动续费 登录管理控制台。 单击“控制台”页面上方“费用”,在下拉菜单中选择“续费管理”。 进入“续费管理”页面。 自定义查询条件。 可在“自动续费项”页签查询已经开通自动续费的资源。 可对“手动续费项”、“到期转按需项”、“到期不续费项”页签的资源开通自动续费。 图2 续费管理 为包年/包月资源开通自动续费。 单个资源开通自动续费:选择需要开通自动续费的弹性云服务器,单击操作列“开通自动续费”。 图3 单个资源开通自动续费 批量资源开通自动续费:选择需要开通自动续费的弹性云服务器,单击列表左上角的“开通自动续费”。 图4 多个资源开通自动续费 选择续费时长,并根据需要设置自动续费次数,单击“开通”。 在“续费管理”页面开通的自动续费,自动续费周期以实际选择的续费时长以及自动续费次数为准。例如:您选择了续费时长3个月,不限次数,即在每次到期前自动续费3个月。 图5 开通自动续费
  • 08 什么是故事点? 在Scrum中使用用户故事(情景)作为描述一个产品特性的方式,同时使用“故事点”作为这个产品特性大小的定量估算单位,故事点的大小标识了一个产品特性的开发难度和所需要的投入(小时/人天等)。但我们一般不使用直接的小时或人天等时间单位来表示这个值,而是使用斐波纳奇数列中的数值来标识不同特性的相对大小,这样做的好处时我们可以屏蔽直接使用时间单位所造成的主观差异,更快更准确的进行评估(因为在没有进行实际开发之前是很难直接估算时间,但是不同特性的相对大小是比较容易评估的)。最终,我们可以使用数据分析手段在故事点单位和时间单位之间建立换算关系,帮助我们掌控项目进度。 在CodeArts中,可以通过需求的“详细信息”页面中编辑分配给它的故事点。
  • 21 Scrum的不足 对于目标不够清晰的项目,Scrum Master比较难以把控。 Daily Scrum在开始阶段会让团队感受比较大的压力,并占用一定的工作时间。 对于团队成员的技术水平、协作水平有较高要求。 Scrum中对于变更的容忍度非常高,但这也会让项目干系人感受比较大的不安。 会暴露非常多的问题,如果组织对于变化的接受度不高,会有很大的组织性冲击。 会引发很多变革的发生,一定程度造成混乱的局面。
  • 14 Scrum中的冲刺和迭代有什么区别? 迭代(Iteration)是一个通用词汇,表达的是开发过程中的某个循环过程的单元。这个单元可以是开发人员编写代码时的编写、编译、调试、重构,也可以是一个开发周期的规划、开发、测试、回归、发布。也就是说,这个单元可大可小,都可以使用迭代来进行描述。 冲刺(Sprint)特指在Scrum中的某个产品开发周期,是一个2-4周的规划、开发、测试、回归和发布过程。
  • 22 在什么情况下Scrum并不适用? Scrum模式并不适用于所有的团队,特别当团队规模很大(几十上百上千)的时候,我们无法在整个团队范围内实施Scrum,而必须将团队分割成5-10人的小团队,并在团队间进行Scrum of Scrum 的实施。 Scrum也不适合跨部门、跨职能的协作,如果团队成员分散于不同的地理位置或者不同的部门,我们需要首先在组织结构上进行调整,至少需要合并开发和测试部门,组成按照特性或产品领导的团队,同时从其他不同部门抽调人员组成团队。
  • 18 什么是Sashimi和Impediments? Sashimi的原意是“生鱼片”,在Scrum中是团队用来表达“完成”的一种说法。不同团队对于“完成”的定义可以是不一样的,但在一个团队内必须统一,在Scrum中一个团队需要定义不同级别的“完成规范”来统一这个概念。“完成规范”可以是任务级别的,团队级别的或者产品特定级别的。 Impediments的意思是“障碍”,是团队在向着“完成规范”所定义的状态努力过程中遇到的阻碍。一般来说,Scrum Master需要作为消除障碍的主要负责人。
  • 09 什么是Scrum扑克? Scrum 扑克(计划扑克)是一种进行量化估算的方法和工具。 在团队进行规划的过程中需要对工作量(故事点)、商业价值等进行量化评估,为了达到“评估结果是团队的集体决策结果”的目的,Scrum中发明了这种方法和附带的工具(一种扑克),在扑克上使用斐波纳奇数列标识每张扑克,在进行规划的时候每个成员按照自己理解出牌,并由数值最大和最小的两名成员进行解释,大家进行讨论后得出最终的数值估计。 斐波纳奇数列的特性决定了每个数字之间的差异会越来越大,这对于我们进行相对值评估非常有效。
共100000条