华为云用户手册

  • 资源统计 在日志资源统计页面,支持查看资源统计、资源详情。日志资源统计是对日志进行分类统计及日志数据的可视化展示,统计日志资源的数据量仅供参考。 登录 云日志 服务控制台。 在日志总览下方,单击资源统计旁边的“相关明细”,进入日志资源统计详情页面。 资源统计主要展示日志资源数据,默认展示时间为1周(相对)的日志资源数据,您可以根据业务需要选择时间范围。 时间范围有三种方式,分别是相对时间、整点时间和自定义。您可以根据自己的实际需求,选择时间范围。 相对时间:表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置相对时间1小时,表示查询18:20:31~19:20:31的日志数据。 整点时间:表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31,设置整点时间1小时,表示查询18:00:00~19:00:00的日志数据。 自定义:表示查询指定时间范围的日志数据。 在资源统计下方,查看资源统计数据: 目前华北-北京一、华北-北京二、华南-广州-友好用户环境、华南-深圳、华北-乌兰察布一、西南-贵阳一、华东-上海二、华东-青岛局点已全部开启日志转储计费功能。 读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率。 索引流量-标准型日志流:原始日志数据默认都会建立全文索引,创建索引(对日志分词处理)后,才能搜索日志,在日志写入数据库时一次性收取流量费用。 标准存储量:日志标准存储量为压缩后的日志数据、索引数据、副本数据之和,这些空间约等于原始日志数据大小。 标准存储量统计是指在选定时间范围内最新的存储总量。 原始日志流量:原始日志数据的大小。 基础转储流量:开启日志转储计费功能后,才会显示基础转储流量。日志转储不需要字段映射,转储算力消耗少,例如转储OBS/DMS/DIS。 高级转储流量:开启日志转储计费功能后,才会显示高级转储流量。日志转储需要字段映射,转储算力消耗较多,例如转储DWS/ DLI 。 在资源详情下方,查看Top100的日志组资源统计和Top100的日志流资源统计。根据选择的时间范围,支持表格或柱状图展示每日标准存储量(GB)、每日索引流量-标准型日志流(GB)、每日读写流量(GB)、每日基础转储流量 (GB)、每日高级转储流量 (GB)的数据。 新创建的日志组/日志流,需间隔至少1小时才能进行资源统计。 单击Top100中的日志组名称,可查询该日志组下的日志流资源统计。 单击,可下载日志组资源统计和日志流资源统计。 下载的日志组资源统计和日志流资源统计文件为. CS V格式。
  • 日志应用 在日志管理页面的日志总览下方,支持多种日志应用,即LTS提供开箱即用的日志仪表盘模板,用户接入即可进行日志的快速分析,主要有如下几个应用: ELB日志中心:支持ELB日志接入LTS和ELB仪表盘模板。详情请参考ELB仪表盘模板。 APIG日志中心:支持APIG日志接入LTS和APIG仪表盘模板。详情请参考APIG仪表盘模板。 VPC日志流中心:支持VPC日志接入LTS和VPC仪表盘模板。详情请参考VPC仪表盘模板。 CFW日志中心:支持CFW日志接入LTS和CFW仪表盘模板。详情请参考CFW仪表盘模板。 CTS 日志中心:支持CTS日志接入LTS,暂不支持CTS仪表盘模板,支持CTS接入LTS。详情请参考 云审计 服务CTS接入LTS。 多账号日志汇聚中心:支持您将多个账号下的日志流复制到指定的账号中,实现多账号日志的集中存储和分析。详细请参考设置多账号日志汇聚。
  • 内置保留字段 在采集日志时,云日志服务会将采集时间、日志类型、主机IP等信息以Key-Value对的形式添加到日志中,这些字段是云日志服务的内置字段。 使用API写入日志数据或添加ICAgent配置时,请不要将字段名称设置为内置保留字段,否则可能会造成字段名称重复、查询不精确等问题。 日志服务为日志数据增加的内置保留字段当前免费,后续会按照按量付费方式正常收费(为其开启索引时也会产生少量索引流量及存储费用)。更多信息请参见价格计算器。 用户自定义日志字段名称中不能使用双下划线__,否则无法配置索引。 表4 内置保留字段说明 内置保留字段 数据格式 索引与统计设置 说明 collectTime 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为collectTime创建字段索引,索引数据类型为long类型。 查询时输入collectTime : xxx。 采集时间,指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334",转换成标准时间是2023-04-19 17:21:21 __time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为time创建字段索引,索引数据类型为long类型。该字段不支持查询。 日志时间,指的是日志在控制台页面展示的日志时间。 例如示例中的"__time__":"1681896081334",转换成标准时间是2023-04-19 17:21:21 日志时间默认使用采集时间,也支持自定义日志时间。 lineNum 整型 索引设置:开启索引后,日志服务默认为lineNum创建字段索引,索引数据类型为long类型。 行号(偏移量),用来排序日志。 非高精度日志会根据collectTime生成,默认是collectTime * 1000000 + 1,高精度日志就是用户上报的纳秒值。 例如示例中的"lineNum":"1681896081333991900"。 category 字符串 索引设置:开启索引后,日志服务默认为category创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入category: xxx。 日志类型,表示该日志的来源。 例如ICAgent采集的日志该字段为LTS,某云服务例如DCS上报的日志该字段为DCS。 clusterName 字符串 索引设置:开启索引后,日志服务默认为clusterName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入clusterName: xxx。 集群名称,k8s场景下集群名称。 例如示例中的"clusterName":"epstest"。 clusterId 字符串 索引设置:开启索引后,日志服务默认为clusterId创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入clusterId: xxx。 集群ID,k8s场景下集群ID。例如示例中的"clusterId":"c7f3f4a5-xxxx-11ed-a4ec-0255ac100b07"。 nameSpace 字符串 索引设置:开启索引后,日志服务默认为nameSpace创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入nameSpace: xxx。 命名空间,k8s场景下命名空间。 例如示例中的"nameSpace":"monitoring"。 appName 字符串 索引设置:开启索引后,日志服务默认为appName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入appName: xxx。 组件名称,k8s场景下工作负载的名称。 例如示例中的"appName":"alertmanager-alertmanager"。 serviceID 字符串 索引设置:开启索引后,日志服务默认为serviceID创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入serviceID: xxx。 工作负载ID,k8s场景下工作负载ID。 例如示例中的"serviceID":"cf5b453xxxad61d4c483b50da3fad5ad"。 podName 字符串 索引设置:开启索引后,日志服务默认为podName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入podName: xxx。 POD名称,k8s场景下POD名称。 例如示例中的"podName":"alertmanager-alertmanager-0"。 podIp 字符串 索引设置:开启索引后,日志服务默认为podIp创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入podIp: xxx。 pod的ip,k8s场景下pod的IP地址。 例如示例中的"podIp":"10.0.0.145"。 containerName 字符串 索引设置:开启索引后,日志服务默认为containerName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入containerName: xxx。 容器名称,k8s场景下容器名称。 例如示例中的"containerName":"config-reloader"。 hostName 字符串 索引设置:开启索引后,日志服务默认为hostName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostName: xxx。 主机名称,ICAgent所在主机的名称。 例如示例中的"hostName":"epstest-xx518"。 hostId 字符串 索引设置:开启索引后,日志服务默认为hostId创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostId: xxx。 主机ID,ICAgent所在主机的id,该id由ICAgent生成。例如示例中的"hostId":"318c02fe-xxxx-4c91-b5bb-6923513b6c34"。 hostIP 字符串 索引设置:开启索引后,日志服务默认为hostIP创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostIP: xxx。 主机IP,日志采集器所在主机的ip(适用于ipv4场景) 例如示例中的"hostIP":"192.168.0.31"。 hostIPv6 字符串 索引设置:开启索引后,日志服务默认为hostIPv6创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostIPv6: xxx。 主机IP,日志采集器所在主机的ip(适用于ipv6场景) 例如示例中的"hostIPv6":""。 pathFile 字符串 索引设置:开启索引后,日志服务默认为pathFile创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入pathFile: xxx。 文件路径,采集的日志文件的路径。 例如示例中的"pathFile":"stdout.log"。 content 字符串 索引设置:开启全文索引后,会使用全文索引定义的分词符对content字段的value进行分词;不支持将content字段配置到字段索引中。 日志原文, 例如示例中的"content":"level=error ts=2023-04-19T09:21:21.333895559Z" __receive_time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为__receive_time__创建字段索引,索引数据类型为long类型。 上报日志的服务端时间,相当于LTS采集端接收到日志的时间。 __client_time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为__client_time__创建字段索引,索引数据类型为long类型。 端侧日志的客户端上报时间。 _content_parse_fail_ 字符串 索引设置:开启索引后,日志服务默认为_content_parse_fail_创建字段索引,索引数据类型为string类型,分词字符为默认分词符。查询时输入_content_parse_fail_: xxx。 上报日志解析失败的日志内容。 __time 整型,Unix时间戳(毫秒) 不支持将__time字段配置到字段索引中。 不涉及。 logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize 整型 不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。
  • 配置字段索引 创建字段索引时,最多支持添加500个字段。其中JSON类型字段,最多支持添加100个子字段。 字段索引的自定义分词符和特殊分词符仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。 配置全文索引后,在索引配置页面的 日志分析 下方,单击开启可视化后,配置的字段索引支持SQL可视化分析,否则无法查询到ICAgent结构化的可视化数据。 设置快速分析采样条数,默认值10万条,最小值为10万条,最大值1000万条。通过采样快速统计字段值取值分布,并非对全量数据进行分析,采样条数越多分析数据越慢。 在索引配置页面的字段索引下方,单击“添加字段”,配置字段索引。具体的参数配置请参考表5 自定义字段索引配置参数。 字段索引的参数配置仅对该字段生效。 当添加的字段在日志内容中不存在时,则配置的该索引字段无效。 更多内置字段请参考内置保留字段。 自动配置字段索引:单击“自动配置”,云日志服务会根据采集时预览数据中的第一条内容或常见内置保留字段(例如hostIP、hostName、pathFile)自动生成字段索引,您可以根据自己的需要增加或者删除字段。 批量配置字段索引:批量勾选字段,单击“批量配置”,进行批量配置字段索引。 表3 自定义字段索引配置参数 参数 说明 字段名称 日志字段名称,例如示例日志中的level。 字段名称只能包括字母、数字或下划线(_),且只能以字母或下划线(_)开头,字段名称中不能含有双下划线。 说明: 双下划线(__)在LTS不对用户呈现的内置保留字段中使用,用户自定义日志字段名中不能使用双下划线__,否则无法配置字段索引名称。 日志服务默认会对部分内置保留字段开启字段索引,请参见内置保留字段。 若是内置字段,在字段名称后会显示“内置”字眼,方便用户识别。 执行操作 显示字段的添加状态:新增、不修改、修改、删除。索引字段有变动后,单击“修改对比”,即可查看原配置内容与修改后配置内容的差异。 显示新增的字段不支持修改执行操作。 修改类型、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时,会与原索引配置中的字段进行对比,若任意一项不同,则执行操作变为“修改”。 索引配置单击确定后,不会保存执行操作为“删除”的字段。 类型 日志字段值(Value)的数据类型,可选值为string、long、float、json。 说明: 字段json类型只对ICAgent结构化解析生效,对云端结构化解析不生效。 long类型和float类型不支持设置大小写敏感、包含中文和分词符。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关,则查询时区分大小写。例如示例日志message字段中含有Know,那么您只能使用message:Know才能查询到该日志。 关闭大小写敏感开关,则查询时不区分大小写。例如示例日志message字段中含有Know,那么您使用关键字message:KNOW和message:know都能查到该日志。 自定义分词符 根据指定分词符,将日志内容拆分成多个词。当默认设置不能满足您的需求时,您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为:I Know 今天是星期一。 如果不设置任何分词符,整条日志被作为一个词I Know 今天是星期一,您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。 如果设置分词符为空格,则原始日志被拆分为I、Know、今天是星期一3个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如message:Know或message:今天是星期一。 特殊分词符 单击“添加特殊分词符”,参考ASCII码对照表输入ASCII值。 包含中文 查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 说明: 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。 关闭包含中文开关后,按照分词符的设置拆分所有内容。 例如示例日志message字段内容为:I Know 今天是星期一。 关闭包含中文开关后,按照分词符的设置拆分英文内容,日志会被拆分为I、Know、今天是星期一,您可以通过message:Know或message:今天是星期一查找该日志。 打开包含中文开关后,日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一,您通过message:Know或message:今天等词都可以查找到该日志。 快速分析 默认为开启状态,开启后,可以对字段值做采样统计,请参见11.6.4-快速分析。 说明: 快速分析的原理是对搜索命中的日志采样10万条进行数据统计,不是全量统计。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 操作 单击,删除添加的自定义字段。 图1 批量配置 完成后,单击“确定”。
  • 注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间,费用说明请参见价格计算器。 关闭索引后,历史索引的存储空间将在当前日志流的数据保存时间到期后,自动被清除。 云日志服务默认已为部分内置保留字段创建字段索引,请参见内置保留字段。 不同的索引配置,会产生不同的查询和分析结果,请根据您的需求,合理创建索引。全文索引和字段索引互不影响。 索引配置修改后,对新写入的日志数据生效,历史日志数据不会生效。 在字段索引功能上线前,SQL分析支持的字段来自于云端结构化解析;在字段索引功能上线后,只要用户配置了字段索引,SQL分析支持的字段将来自于字段索引,因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响,请谨慎操作! 字段索引配置为JSON数据类型时,在“日志搜索”页面不支持对JSON子字段使用快速分析、跳转图表,不支持可视化;在“搜索分析”页面下支持JSON子字段使用快速分析和SQL可视化功能。 字段索引配置为JSON数据类型时,对JSON父字段查询时支持对命中结果高亮,对JSON子字段查询时不支持对命中结果高亮。
  • 配置全文索引 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“索引配置”,进入索引配置页面。 在索引配置页面中,默认开启“全文索引”按钮,参考表3 自定义全文索引配置参数配置各参数信息。 在索引配置页面选择自动配置时,默认获取最近15分钟的原始日志和内置字段的交集,LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。 若15分钟内没有原始日志,则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。 ECS接入选择结构化配置时,进入索引配置页面,则会自动加上如下字段:category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。 CCE接入选择结构化配置时,进入索引配置页面,则会自动加上如下字段:category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。 表2 自定义全文索引配置参数 参数 说明 全文索引 打开全文索引开关,表示创建全文索引。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关,则查询时区分大小写。例如示例日志含有Know,那么您只能使用Know才能查询到该日志。 关闭大小写敏感开关,则查询时不区分大小写。例如示例日志含有Know,那么您使用关键字KNOW和know都能查到该日志。 包含中文 查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 说明: 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。 关闭包含中文开关后,按照分词符的设置拆分所有内容。 例如示例日志内容为: error,400,I Know 今天是星期一。 关闭包含中文开关后,按照分词符的设置拆分英文内容,日志会被拆分为error、400、I、Know、今天是星期一,您可以通过error或今天是星期一查找该日志。 打开包含中文开关后,日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一,您通过error或今天等词都可以查找到该日志。 分词符 根据指定分词符,将日志内容拆分成多个词。当默认设置不能满足您的需求时,您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。 单击“预览”,查看分词预览效果。 例如示例日志内容为: error,400,I Know 今天是星期一。 如果不设置任何分词符,整条日志被作为一个词error,400,I Know 今天是星期一,您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。 如果设置分词符为逗号(,),则原始日志被拆分为error、400、I Know 今天是星期一3个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如error、400、I Kn*、今天是*。 如果设置分词符为逗号(,)和空格,则原始日志被拆分为error、400、I、Know、今天是星期一5个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如Know、今天是*。 特殊分词符 单击“添加特殊分词符”,参考ASCII码对照表输入ASCII值。 完成后,单击“确定”。
  • 索引类型 云日志服务LTS 支持全文索引和字段索引,详细请参考表1。 表1 索引类型 索引类型 说明 全文索引 开启全文索引后,日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 说明: 用户上传的自定义标签(label)字段,不包含在全文索引中,如果您需要搜索自定义标签字段,请添加对应的字段索引。 LTS内置保留字段,不包含在全文索引中,您需要通过字段索引Key:Value的方式进行搜索,请参考内置保留字段。 字段索引 配置字段索引后,您可以指定字段名称和字段值(Key:Value)进行查询,缩小查询范围。 说明: 日志服务默认为部分内置保留字段创建字段索引,请参考内置保留字段。 如果您的某个字段单独配置了字段索引,那么该字段值的分词符以字段索引配置为准。 结构化配置中的快速分析列已被移除,如果您要使用快速分析功能,则必须配置字段索引且开启对应字段的快速分析按钮。 关于日志示例有两种情况: 在日志示例中,配置了level和status两个字段索引,其中level是string类型,字段值是error,单独配置了分词符,status是long类型,不需要配置分词符;您可以使用level : error的方式精确搜索level字段值为error的所有日志。 在日志示例中,云日志服务LTS会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。
  • 内置保留字段 在采集日志时,云日志服务会将采集时间、日志类型、主机IP等信息以Key-Value对的形式添加到日志中,这些字段是云日志服务的内置字段。 使用API写入日志数据或添加ICAgent配置时,请不要将字段名称设置为内置保留字段,否则可能会造成字段名称重复、查询不精确等问题。 日志服务为日志数据增加的内置保留字段当前免费,后续会按照按量付费方式正常收费(为其开启索引时也会产生少量索引流量及存储费用)。更多信息请参见价格计算器。 用户自定义日志字段名称中不能使用双下划线__,否则无法配置索引。 表4 内置保留字段说明 内置保留字段 数据格式 索引与统计设置 说明 collectTime 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为collectTime创建字段索引,索引数据类型为long类型。 查询时输入collectTime : xxx。 采集时间,指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334",转换成标准时间是2023-04-19 17:21:21 __time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为time创建字段索引,索引数据类型为long类型。该字段不支持查询。 日志时间,指的是日志在控制台页面展示的日志时间。 例如示例中的"__time__":"1681896081334",转换成标准时间是2023-04-19 17:21:21 日志时间默认使用采集时间,也支持自定义日志时间。 lineNum 整型 索引设置:开启索引后,日志服务默认为lineNum创建字段索引,索引数据类型为long类型。 行号(偏移量),用来排序日志。 非高精度日志会根据collectTime生成,默认是collectTime * 1000000 + 1,高精度日志就是用户上报的纳秒值。 例如示例中的"lineNum":"1681896081333991900"。 category 字符串 索引设置:开启索引后,日志服务默认为category创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入category: xxx。 日志类型,表示该日志的来源。 例如ICAgent采集的日志该字段为LTS,某云服务例如DCS上报的日志该字段为DCS。 clusterName 字符串 索引设置:开启索引后,日志服务默认为clusterName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入clusterName: xxx。 集群名称,k8s场景下集群名称。 例如示例中的"clusterName":"epstest"。 clusterId 字符串 索引设置:开启索引后,日志服务默认为clusterId创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入clusterId: xxx。 集群ID,k8s场景下集群ID。例如示例中的"clusterId":"c7f3f4a5-xxxx-11ed-a4ec-0255ac100b07"。 nameSpace 字符串 索引设置:开启索引后,日志服务默认为nameSpace创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入nameSpace: xxx。 命名空间,k8s场景下命名空间。 例如示例中的"nameSpace":"monitoring"。 appName 字符串 索引设置:开启索引后,日志服务默认为appName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入appName: xxx。 组件名称,k8s场景下工作负载的名称。 例如示例中的"appName":"alertmanager-alertmanager"。 serviceID 字符串 索引设置:开启索引后,日志服务默认为serviceID创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入serviceID: xxx。 工作负载ID,k8s场景下工作负载ID。 例如示例中的"serviceID":"cf5b453xxxad61d4c483b50da3fad5ad"。 podName 字符串 索引设置:开启索引后,日志服务默认为podName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入podName: xxx。 POD名称,k8s场景下POD名称。 例如示例中的"podName":"alertmanager-alertmanager-0"。 podIp 字符串 索引设置:开启索引后,日志服务默认为podIp创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入podIp: xxx。 pod的ip,k8s场景下pod的IP地址。 例如示例中的"podIp":"10.0.0.145"。 containerName 字符串 索引设置:开启索引后,日志服务默认为containerName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入containerName: xxx。 容器名称,k8s场景下容器名称。 例如示例中的"containerName":"config-reloader"。 hostName 字符串 索引设置:开启索引后,日志服务默认为hostName创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostName: xxx。 主机名称,ICAgent所在主机的名称。 例如示例中的"hostName":"epstest-xx518"。 hostId 字符串 索引设置:开启索引后,日志服务默认为hostId创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostId: xxx。 主机ID,ICAgent所在主机的id,该id由ICAgent生成。例如示例中的"hostId":"318c02fe-xxxx-4c91-b5bb-6923513b6c34"。 hostIP 字符串 索引设置:开启索引后,日志服务默认为hostIP创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostIP: xxx。 主机IP,日志采集器所在主机的ip(适用于ipv4场景) 例如示例中的"hostIP":"192.168.0.31"。 hostIPv6 字符串 索引设置:开启索引后,日志服务默认为hostIPv6创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入hostIPv6: xxx。 主机IP,日志采集器所在主机的ip(适用于ipv6场景) 例如示例中的"hostIPv6":""。 pathFile 字符串 索引设置:开启索引后,日志服务默认为pathFile创建字段索引,索引数据类型为string类型,分词字符为空。查询时输入pathFile: xxx。 文件路径,采集的日志文件的路径。 例如示例中的"pathFile":"stdout.log"。 content 字符串 索引设置:开启全文索引后,会使用全文索引定义的分词符对content字段的value进行分词;不支持将content字段配置到字段索引中。 日志原文, 例如示例中的"content":"level=error ts=2023-04-19T09:21:21.333895559Z" __receive_time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为__receive_time__创建字段索引,索引数据类型为long类型。 上报日志的服务端时间,相当于LTS采集端接收到日志的时间。 __client_time__ 整型,Unix时间戳(毫秒) 索引设置:开启索引后,日志服务默认为__client_time__创建字段索引,索引数据类型为long类型。 端侧日志的客户端上报时间。 _content_parse_fail_ 字符串 索引设置:开启索引后,日志服务默认为_content_parse_fail_创建字段索引,索引数据类型为string类型,分词字符为默认分词符。查询时输入_content_parse_fail_: xxx。 上报日志解析失败的日志内容。 __time 整型,Unix时间戳(毫秒) 不支持将__time字段配置到字段索引中。 不涉及。 logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize 整型 不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。
  • 索引类型 云日志服务LTS支持全文索引和字段索引,详细请参考表1。 表1 索引类型 索引类型 说明 全文索引 开启全文索引后,日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 说明: 用户上传的自定义标签(label)字段,不包含在全文索引中,如果您需要搜索自定义标签字段,请添加对应的字段索引。 LTS内置保留字段,不包含在全文索引中,您需要通过字段索引Key:Value的方式进行搜索,请参考内置保留字段。 字段索引 配置字段索引后,您可以指定字段名称和字段值(Key:Value)进行查询,缩小查询范围。 说明: 日志服务默认为部分内置保留字段创建字段索引,请参考内置保留字段。 如果您的某个字段单独配置了字段索引,那么该字段值的分词符以字段索引配置为准。 结构化配置中的快速分析列已被移除,如果您要使用快速分析功能,则必须配置字段索引且开启对应字段的快速分析按钮。 关于日志示例有两种情况: 在日志示例中,配置了level和status两个字段索引,其中level是string类型,字段值是error,单独配置了分词符,status是long类型,不需要配置分词符;您可以使用level : error的方式精确搜索level字段值为error的所有日志。 在日志示例中,云日志服务LTS会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。
  • 配置全文索引 登录云日志服务控制台,进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面,单击右上角,在弹出页面中,选择“索引配置”,进入索引配置页面。 在索引配置页面中,默认开启“全文索引”按钮,参考表3 自定义全文索引配置参数配置各参数信息。 在索引配置页面选择自动配置时,默认获取最近15分钟的原始日志和内置字段的交集,LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。 若15分钟内没有原始日志,则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。 ECS接入选择结构化配置时,进入索引配置页面,则会自动加上如下字段:category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。 CCE接入选择结构化配置时,进入索引配置页面,则会自动加上如下字段:category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile,添加字段时,若某个字段已存在于索引配置,则不会重复添加。 表2 自定义全文索引配置参数 参数 说明 全文索引 打开全文索引开关,表示创建全文索引。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关,则查询时区分大小写。例如示例日志含有Know,那么您只能使用Know才能查询到该日志。 关闭大小写敏感开关,则查询时不区分大小写。例如示例日志含有Know,那么您使用关键字KNOW和know都能查到该日志。 包含中文 查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 说明: 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。 关闭包含中文开关后,按照分词符的设置拆分所有内容。 例如示例日志内容为: error,400,I Know 今天是星期一。 关闭包含中文开关后,按照分词符的设置拆分英文内容,日志会被拆分为error、400、I、Know、今天是星期一,您可以通过error或今天是星期一查找该日志。 打开包含中文开关后,日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一,您通过error或今天等词都可以查找到该日志。 分词符 根据指定分词符,将日志内容拆分成多个词。当默认设置不能满足您的需求时,您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。 单击“预览”,查看分词预览效果。 例如示例日志内容为: error,400,I Know 今天是星期一。 如果不设置任何分词符,整条日志被作为一个词error,400,I Know 今天是星期一,您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。 如果设置分词符为逗号(,),则原始日志被拆分为error、400、I Know 今天是星期一3个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如error、400、I Kn*、今天是*。 如果设置分词符为逗号(,)和空格,则原始日志被拆分为error、400、I、Know、今天是星期一5个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如Know、今天是*。 特殊分词符 单击“添加特殊分词符”,参考ASCII码对照表输入ASCII值。 完成后,单击“确定”。
  • 配置字段索引 创建字段索引时,最多支持添加500个字段。其中JSON类型字段,最多支持添加100个子字段。 字段索引的自定义分词符和特殊分词符仅支持白名单用户提交工单申请使用。详细操作请参考提交工单。 配置全文索引后,在索引配置页面的日志分析下方,单击开启可视化后,配置的字段索引支持SQL可视化分析,否则无法查询到ICAgent结构化的可视化数据。 设置快速分析采样条数,默认值10万条,最小值为10万条,最大值1000万条。通过采样快速统计字段值取值分布,并非对全量数据进行分析,采样条数越多分析数据越慢。 在索引配置页面的字段索引下方,单击“添加字段”,配置字段索引。具体的参数配置请参考表5 自定义字段索引配置参数。 字段索引的参数配置仅对该字段生效。 当添加的字段在日志内容中不存在时,则配置的该索引字段无效。 更多内置字段请参考内置保留字段。 自动配置字段索引:单击“自动配置”,云日志服务会根据采集时预览数据中的第一条内容或常见内置保留字段(例如hostIP、hostName、pathFile)自动生成字段索引,您可以根据自己的需要增加或者删除字段。 批量配置字段索引:批量勾选字段,单击“批量配置”,进行批量配置字段索引。 表3 自定义字段索引配置参数 参数 说明 字段名称 日志字段名称,例如示例日志中的level。 字段名称只能包括字母、数字或下划线(_),且只能以字母或下划线(_)开头,字段名称中不能含有双下划线。 说明: 双下划线(__)在LTS不对用户呈现的内置保留字段中使用,用户自定义日志字段名中不能使用双下划线__,否则无法配置字段索引名称。 日志服务默认会对部分内置保留字段开启字段索引,请参见内置保留字段。 若是内置字段,在字段名称后会显示“内置”字眼,方便用户识别。 执行操作 显示字段的添加状态:新增、不修改、修改、删除。索引字段有变动后,单击“修改对比”,即可查看原配置内容与修改后配置内容的差异。 显示新增的字段不支持修改执行操作。 修改类型、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时,会与原索引配置中的字段进行对比,若任意一项不同,则执行操作变为“修改”。 索引配置单击确定后,不会保存执行操作为“删除”的字段。 类型 日志字段值(Value)的数据类型,可选值为string、long、float、json。 说明: 字段json类型只对ICAgent结构化解析生效,对云端结构化解析不生效。 long类型和float类型不支持设置大小写敏感、包含中文和分词符。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关,则查询时区分大小写。例如示例日志message字段中含有Know,那么您只能使用message:Know才能查询到该日志。 关闭大小写敏感开关,则查询时不区分大小写。例如示例日志message字段中含有Know,那么您使用关键字message:KNOW和message:know都能查到该日志。 自定义分词符 根据指定分词符,将日志内容拆分成多个词。当默认设置不能满足您的需求时,您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空,则字段值将被当成一个整体,您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为:I Know 今天是星期一。 如果不设置任何分词符,整条日志被作为一个词I Know 今天是星期一,您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。 如果设置分词符为空格,则原始日志被拆分为I、Know、今天是星期一3个词,您通过任意一个词或词的模糊查询都可以找到该日志,例如message:Know或message:今天是星期一。 特殊分词符 单击“添加特殊分词符”,参考ASCII码对照表输入ASCII值。 包含中文 查询时是否区分中英文。 打开包含中文开关后,如果日志中包含中文,默认按照一元分词法拆分中文内容,按照分词符的设置拆分英文内容。 说明: 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高,其他中文分词方法对写入速度影响大。 打开包含中文功能,会对中文使用一元分词(每个汉字单独分词),如果需要更精确的搜索结果,请用短语搜索,语法为:#"待搜索的短语"。 关闭包含中文开关后,按照分词符的设置拆分所有内容。 例如示例日志message字段内容为:I Know 今天是星期一。 关闭包含中文开关后,按照分词符的设置拆分英文内容,日志会被拆分为I、Know、今天是星期一,您可以通过message:Know或message:今天是星期一查找该日志。 打开包含中文开关后,日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一,您通过message:Know或message:今天等词都可以查找到该日志。 快速分析 默认为开启状态,开启后,可以对字段值做采样统计,请参见11.6.4-快速分析。 说明: 快速分析的原理是对搜索命中的日志采样10万条进行数据统计,不是全量统计。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 操作 单击,删除添加的自定义字段。 图1 批量配置 完成后,单击“确定”。
  • 注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间,费用说明请参见价格计算器。 关闭索引后,历史索引的存储空间将在当前日志流的数据保存时间到期后,自动被清除。 云日志服务默认已为部分内置保留字段创建字段索引,请参见内置保留字段。 不同的索引配置,会产生不同的查询和分析结果,请根据您的需求,合理创建索引。全文索引和字段索引互不影响。 索引配置修改后,对新写入的日志数据生效,历史日志数据不会生效。 在字段索引功能上线前,SQL分析支持的字段来自于云端结构化解析;在字段索引功能上线后,只要用户配置了字段索引,SQL分析支持的字段将来自于字段索引,因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响,请谨慎操作! 字段索引配置为JSON数据类型时,在“日志搜索”页面不支持对JSON子字段使用快速分析、跳转图表,不支持可视化;在“搜索分析”页面下支持JSON子字段使用快速分析和SQL可视化功能。 字段索引配置为JSON数据类型时,对JSON父字段查询时支持对命中结果高亮,对JSON子字段查询时不支持对命中结果高亮。
  • 华为云配置示例 以华为云为例说明简单登录的配置方法。 访问华为云,打开F12,定位账号输入框,取唯一属性 type。 图5 定位账号输入框 定位密码输入框,取唯一属性 type。 图6 定位密码输入框 定位“登录”按钮,取唯一属性id。 图7 定位登录按钮 配置简单登录的参数。 CSS 选择器可参考https://www.w3school.com.cn/cssref/css_selectors.asp。 图8 配置参数 表1 基本配置 参数 说明 应用地址 应用的访问地址,建议设置为应用首页。 登录页面地址 应用的登录页面地址。选择简单登录、三字段登录、两页面登录时,需配置该参数。 Frame地址 应用的Frame地址。选择带Frame元素登录时,需配置该参数。 用户名输入框 用户名输入框的CSS选择器。 下一步按钮 下一步按钮的CSS选择器。选择两页面登录时,需配置该参数。 密码输入框 密码输入框的CSS选择器。 额外输入框 额外输入框的的CSS选择器。选择三字段登录时,需配置该参数。 额外字段映射 额外字段的映射属性,可选择账号名、名字、密码。选择三字段登录时,需配置该参数。 登录按钮 登录按钮的CSS选择器。 自动提交 表单(用户名、密码等)是否需自动提交。如选择否,只会填充用户名和密码,不会自动提交。 说明: 涉及人机交互的验证码页面,如手机验证码,不建议勾选自动提交。 表2 账号配置 参数 说明 账号创建人 登录应用的账号归属,可选择管理员、用户。 说明: 当账号创建人为管理员时,需配置“允许用户设置的字段”。如选择密码,只允许用户设置登录应用的密码。
  • 概述 CAS是一个基于HTTP2、HTTP3的协议,要求每个组件都可以通过特定的URL访问。通过CAS协议将 OneAccess 作为服务提供商,使第三方应用的用户账号数据可以访问OneAccess。支持CAS1.0、CAS2.0、CAS3.0三种协议。 CAS 协议涉及两个主体。两个主体通过用户浏览器进行信息交换。如 CAS Client可以返回带参数的重定向,将信息转发给CAS Server。登录验证成功后CAS Server会返回CAS Client一个包含用户信息的XML, CAS Client验证用户信息后会返回给用户访问资源。 CAS Client:CAS客户端,资源提供方,如第三方应用。 CAS Server:CAS服务端,身份认证提供方,如OneAccess认证服务。 为方便企业用户的认证登录,OneAccess平台支持配置CAS协议作为认证源,用户可以通过CAS协议认证登录各应用系统以及实现应用系统间单点登录效果,为企业用户带来更简易便捷的登录方式和更好的用户体验。
  • 在OneAccess控制台授权 IAM 用户访问OneAccess服务的权限 在 应用身份管理 服务控制台“实例授权”IAM用户,确保IAM用户可以访问OneAccess服务。 使用管理员登录应用身份管理服务控制台。 在应用身份管理服务控制台页面,单击“实例授权”。 在实例授权页面,单击“新增授权”,选择2中创建的用户,单击“是”,即可授权IAM用户访问OneAccess服务的权限。 OneAccess“实例授权”可支持授权50个IAM用户访问OneAccess服务的权限。 当授权IAM用户后,可在OneAccess管理门户的管理员权限处查看已自动生成的系统管理员。
  • 在IAM控制台授予IAM用户查看OneAccess服务的权限 在IAM控制台创建用户组并授权、创建用户并添加至用户组中,用户就继承了用户组的权限。 参考创建用户组并授权在IAM控制台创建用户组,并授予OneAccess服务的只读权限“OneAccess ReadOnlyAccess”。 参考创建用户并加入用户组在IAM控制台创建用户,并将其加入1中创建的用户组。 参考用户登录登录控制台,验证OneAccess服务的只读权限。
  • 概述 OAuth2.0(开放授权)是一个开放标准,允许用户授权第三方应用访问其存储在资源服务器上的信息,而不需要将用户名和密码提供给第三方应用。 基于该协议进行授权的整体流程为: 用户访问第三方应用系统,第三方应用系统向OneAccess发起授权登录请求,用户同意授权第三方应用系统后,OneAccess将携带授权码code,重定向到第三方应用系统。 第三方应用系统使用授权码code调用OneAccess的API接口换取授权令牌access_token。 第三方应用系统使用授权令牌access_token(access_token有效且未超时)调用OneAccess的API接口获取用户信息。 本文主要介绍OneAccess以OAuth协议集成应用的方法。
  • 概述 CAS是一个基于HTTP2、HTTP3的协议,要求每个组件都可以通过特定的URL访问。通过CAS协议将OneAccess作为身份服务提供商,使第三方应用可以读取OneAccess的用户账号数据。支持CAS1.0、CAS2.0、CAS3.0三种协议。 从抽象的角度来看,主要包括CAS协议和授权流程。 CAS协议 CAS 协议涉及两个主体,两个主体通过用户浏览器进行信息交换。如CAS Client可以返回带参数的重定向,将信息转发给CAS Server。登录验证成功后 CAS Server会返回CAS Client一个包含用户信息的XML, CAS Client验证用户信息后会返回给用户访问资源。 CAS Server: CAS服务端,身份认证提供方,如OneAccess认证服务。 CAS Client: CAS客户端,资源提供方,如第三方应用。 授权流程 用户登录CAS Client 提供的应用。 CAS Client分析该Http请求中是否包含认证票据ST,如果没有,则说明当前用户尚未认证,于是重定向CAS Server ,并传递Service (目的资源地址)。 用户输入认证信息,如登录成功,CAS Server随机产生一个相当长度、唯一、不可伪造的票据ST,然后附带生成的ST重定向到CAS client。 CAS Client收到Service和新产生的ST后,通过后台与CAS Server进行交互验证。 CAS Server根据请求参数Service和ST进行身份核实,以确保ST的合法性,并返回一段指定格式的XML(包含用户信息)给CAS Client。 CAS Client和CAS Server之间完成了一个对用户的身份核实,返回给用户CAS Client访问资源。
  • 基本概念 身份提供商(Identity Provider,简称IdP),负责收集、存储用户身份信息,如用户名、密码等,在用户登录时负责认证用户的服务。在企业与OneAccess身份认证的过程中,身份提供商指企业自身的身份提供商。 服务提供商(Service Provider,简称SP),服务提供商通过与IdP建立信任关系,使用IdP提供的用户信息,为用户提供具体的服务。在企业与OneAccess身份认证的过程中,服务提供商指OneAccess。 单点登录(Single Sign-On,简称SSO),用户在企业IdP系统登录后,就可以通过跳转链接访问已建立互信关系的SP系统,这一过程称之为单点登录。如企业IdP与OneAccess建立互信关系后,企业IdP中的用户通过OneAccess提供的登录入口,使用已有的账号密码在企业IdP中登录后,即可跳转访问OneAccess。 SAML2.0,安全断言标记语言(Security Assertion Markup Language 2.0,缩写为SAML 2.0)是一个由一组协议组成,用来传输安全声明的XML框架。SAML2.0是由标准化组织OASIS提出的用于安全操作的标准,是很多身份提供商 (IdP)使用的一种开放标准,关于SAML2.0的详细描述请参见SAML 2.0技术概述。OneAccess支持使用SAML2.0协议进行身份认证,因此与OneAccess建立身份认证的企业IdP必须支持SAML2.0协议。 本文主要介绍OneAccess以SAML集成第三方认证源的方法。
  • 验证OneAccess同步LDAP数据 导入同步: 在LDAP身份源列表页面,单击目标身份源的“详情”进入新增LDAP身份源详情页面,单击“导入同步”,在“导入同步”页签单击“执行”。OneAccess将主动同步LDAP身份源的用户及组织数据,并生成操作记录。 执行完成后,单击目标记录的“详情”,查看详细信息。 图2 查看详情 同步成功后,在“组织与用户”可查看已同步至OneAccess的用户和组织。
  • 概述 SAML即安全断言标记语言(Security Assertion Markup Language),是OASIS安全服务技术委员会的一个产品,是基于XML的开源标准数据格式。SAML可以解决Web端应用系统的单点登录(SSO)需求,在不同的安全域(security domain)之间交换认证和授权数据。 从抽象的角度来看,SAML主要包括:主要术语和授权流程。 主要术语 表1 主要术语 术语 说明 IdP 身份提供商(Identity Provider,简称IdP)。负责收集、存储用户身份信息,如用户名、密码等,在用户登录时负责认证用户的服务。 SP 服务提供商(Service Provider,简称SP)。与IdP建立信任关系,使用IdP提供的用户信息,为用户提供具体的服务。 SSO 单点登录(Single Sign-On,简称SSO)。用户在OneAccess系统登录后,就可以通过跳转链接访问已建立互信关系的SP系统。 授权流程 用户通过浏览器访问Web应用系统。 Web应用系统生成一个SAML身份验证请求。 Web应用系统将重定向网址发送到用户的浏览器,重定向网址包含应向SSO服务提交的编码SAML身份验证请求。 IdP对SAML请求进行解码。 IdP对用户进行身份验证。认证成功后,IdP生成一个SAML响应并编码返回到用户的浏览器,其中包括经过验证的用户的用户名。 浏览器将SAML响应转发到Web应用系统ACS URL。 Web应用系统使用IdP的公钥验证SAML响应,验证成功,ACS则会将用户重定向到目标网址。 用户将重定向到目标网址并登录到 Web 应用系统。
  • 在OneAccess中配置元数据文件 配置元数据文件,即在OneAccess中配置企业SP的Metadata文件。OneAccess支持“上传文件”和“手动编辑”两种配置,选择其中一种即可。如果后续元数据有更新,需要重新上传或者编辑元数据,否则会影响企业用户通过OneAccess登录企业应用。 单击在OneAccess中添加企业应用中添加的企业应用,在应用信息页面单击应用图标。 在通用信息模块,单击“认证集成”后的打开认证集成设置,此处选择SAML协议,单击“保存”。 应用认证集成协议一旦设置不可修改。 在通用信息模块,单击“认证集成”后的“配置”,进入“参数配置”页签配置元数据文件,可以选择上传文件和手动配置两种方式。 配置参数会明文展示所输入的信息,请防止信息泄露。 上传文件 单击“上传文件”,选择获取的企业SP的元数据文件。 图2 上传元数据文件 当显示“上传成功”时,即系统已提取元数据。 如果提示“文件格式错误,仅支持上传xml格式文件”,需要您确认元数据文件的正确性后,重新上传或者通过手动编辑提取元数据。 企业应用的元数据获取方法请参考SP提供商的帮助文档。 手动配置 在“参数配置”页签,单击“手动配置”。 在手动编辑元数据页面,输入从企业SP元数据文件中获取的“SP Entity ID”、“ACS URL”和“签名证书”等参数,单击“保存”。 图3 配置认证参数 表2 认证参数 参数 是否必选 说明 SP Entity ID 是 SP唯一标识,对应SP元数据文件中的“Entity ID”的值。 断言消费地址(ACS URL) 是 SP回调地址(断言消费服务地址),对应SP元数据文件中“AssertionConsumerService”的值,即当OneAccess认证成功后响应返回的地址。 Name ID 是 用户在应用系统中的账号名对应字段,可以选择用户的属性或者对应的账号属性,此字段的值将作为断言中的subject。 NameID Format 是 SP支持的用户名称标识格式。对应SP元数据文件中“NameIDFormat”的值。 Audience URI 否 允许使用SAML断言的资源,默认和SP Entity ID相同。 Single Logout URL 否 服务提供商提供会话注销功能,用户在OneAccess注销会话后返回该地址。 默认Relay State 否 使用在idp发起的认证中,作为默认的一个值。 支持ForceAuth 是 默认为否。如果SP要求重新认证,则强制用户再次认证。 Response签名 是 默认为否。是否对SAML Response使用IdP的证书签名。 断言签名 是 默认为是。断言需使用IdP的证书签名,对应SP元数据文件中“WantAssertionsSigned”值。 数字签名算法 是 默认为RSA_SHA256,是SAML Response或者断言签名的算法,可在下拉框选择。 数字摘要算法 是 默认为SHA256,是SAML Response或者断言的算法摘要算法,可在下拉框选择。 断言加密 是 默认为否。是否对断言进行加密。 验证请求签名 是 默认为是。用来对SAML Request签名进行验证,对应SP元数据文件中“AuthnRequestsSigned”值。 验证签名证书 是 SP公钥证书,用来验证SAML request的签名,对应SP元数据文件中use="signing"证书内容。
  • OneAccess最佳实践汇总 本文汇总了基于应用身份管理服务 OneAccess中常见应用场景的操作实践,为每个实践提供详细的方案描述和操作指导,帮助用户轻松在不同应用场景中使用OneAccess。 表1 集成身份源最佳实践一览表 最佳实践 说明 集成钉钉身份源 OneAccess支持通过钉钉身份源导入用户和组织信息,实现OneAccess实时同步钉钉身份源中用户和组织信息。 本文为您介绍OneAccess集成钉钉身份源的方法。 集成企业微信身份源 OneAccess支持通过企业微信身份源导入用户和组织信息,实现OneAccess实时同步企业微信身份源中用户和组织信息。 本文为您介绍OneAccess集成企业微信身份源的方法。 集成AD身份源 OneAccess支持通过AD身份源导入用户和组织信息,实现OneAccess实时同步AD身份源中用户和组织信息。OneAccess集成企业AD,支持LDAPv3协议。 集成LDAP身份源 OneAccess支持通过LDAP身份源导入用户和组织信息,实现OneAccess实时同步LDAP身份源中用户和组织信息。OneAccess集成企业LDAP,支持LDAPv3协议。 集成飞书身份源 OneAccess支持通过飞书身份源导入用户和组织信息,实现OneAccess实时同步飞书身份源中用户和组织信息。 本文为您介绍OneAccess集成飞书身份源的方法。 集成薪人薪事身份源 OneAccess支持通过薪人薪事身份源导入用户和组织信息,实现OneAccess实时同步薪人薪事身份源中用户和组织信息。 本文为您介绍OneAccess集成薪人薪事身份源的方法。 集成泛微OA_E9身份源 OneAccess支持泛微OA-E9身份源导入用户和组织机构信息至OneAccess平台,实现OneAccess实时同步泛微OA-E9身份源中用户和组织信息。 本文为您介绍OneAccess集成泛微OA-E9身份源的方法。 表2 集成企业应用最佳实践一览表 最佳实践 说明 使用OneAcceess用户门户登录华为云 华为云支持基于SAML、OIDC协议的单点登录,企业管理员在华为云和OneAccess进行配置后,普通用户登录OneAccess用户门户,即可免密进入华为云Console系统或者是某个具体的华为云应用。 通过SAML协议单点登录至应用 SAML即安全断言标记语言(Security Assertion Markup Language),是OASIS安全服务技术委员会的一个产品,是基于XML的开源标准数据格式。SAML可以解决Web端应用系统的单点登录(SSO)需求,在不同的安全域(security domain)之间交换认证和授权数据。 通过OAuth2.0协议单点登录至应用 OAuth2.0(开放授权)是一个开放标准,允许用户授权第三方应用访问其存储在资源服务器上的信息,而不需要将用户名和密码提供给第三方应用。 通过OIDC协议单点登录至应用 OIDC是OpenID Connect的简称,是一个基于OAuth 2.0协议的身份认证标准协议。关于OIDC的详细描述请参见欢迎使用OpenID Connect。 本文主要介绍OneAccess以OIDC协议集成应用的方法。 通过CAS协议单点登录至应用 CAS是一个基于HTTP2、HTTP3的协议,要求每个组件都可以通过特定的URL访问。通过CAS协议将OneAccess作为身份服务提供商,使第三方应用可以读取OneAccess的用户账号数据。支持CAS1.0、CAS2.0、CAS3.0三种协议。 以插件代填的方式集成应用 OneAccess可在PC端集成不支持标准协议(OAuth2、SAML、OIDC、CAS)且不可改造的应用。 本文主要介绍OneAccess以插件代填的方式集成应用。 WeLink 使用OneAccess进行二次认证 OneAccess支持和WeLink的组织SSO认证功能结合,实现WeLink登录时,调用OneAccess进行二次认证,用户使用更安全。 本文主要介绍OneAccee以及WeLink实现二次认证的配置方法。 单点登录至云速邮箱 云速邮箱是华为提供的SaaS邮箱服务,支持通过OAuth协议对接OneAccess系统,实现通过OneAccess单点登录的功能。 本文主要介绍OneAccess以OAuth协议集成云速邮箱的方法。 单点登录至观远BI 观远BI是观远数据提供的数据接入、智能ETL、可视化、大屏、移动BI等一站式解决方案业务,支持通过OAuth协议对接OneAccess系统,实现通过OneAccess单点登录的功能 本文主要介绍OneAccess以OAuth协议集成观远BI的方法。 单点登录至泛微e-cology 泛微e-cology是泛微公司为中大型组织创建全新的高效协同办公环境,支持通过OAuth协议对接OneAccess系统,实现通过OneAccess单点登录的功能。 本文主要介绍OneAccess以OAuth协议集成泛微e-cology的方法。 表3 同步企业数据最佳实践一览表 最佳实践 说明 通过SCIM协议同步数据至Atlassian SCIM(System for Cross-domain Identity Management),主要用于多租户的云应用身份管理。SCIM 2.0建立在一个对象模型上,所有SCIM对象都继承Resource,它有id、externalId和meta属性,RFC7643定义了扩展公共属性的User、Group和EnterpriseUser。 本文主要介绍OneAccess以SCIM协议同步用户至Atlassian的方法。 通过LDAP协议同步数据 LDAP(Lightweight Directory Access Protocol)即轻量目录访问协议。它是一种树状结构的组织数据,可以简单理解成一个存储用户和组织信息的树形结构数据库。单点登录是LDAP的主要使用场景之一,即用户只在公司计算机上登录一次后,便可以自动在公司内部网上登录。 表4 集成认证源最佳实践 最佳实践 说明 内置认证源 本文为您介绍通过FIDO2认证源(人脸、指纹等生物认证)来登录OneAccess平台集成的应用系统。您可以在OneAccess平台中配置FIDO2认证源,在登录页面选择FIDO2登录方式登录各应用系统,从而实现单点登录的效果,在给用户带来更简易便捷的登录方式的同时提供更安全可靠的登录体验。 微信认证登录 微信认证登录是用户以微信为认证源安全登录第三方应用或者网站,为方便企业用户的认证登录,OneAccess平台支持配置微信作为认证源,用户可以通过微信认证登录各应用系统以及实现应用系统间单点登录效果,为企业用户带来更简易便捷的登录方式和更好的用户体验。 支付宝认证登录 支付宝认证登录是用户以支付宝为认证源安全登录第三方应用或者网站,为方便企业用户的认证登录,OneAccess平台支持配置支付宝作为认证源,用户可以通过支付宝认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 微博认证登录 微博认证登录是用户以微博为认证源安全登录第三方应用或者网站,为方便企业用户的认证登录,OneAccess平台支持配置微博作为认证源,用户可以通过微博认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 QQ认证登录 QQ认证登录是用户以QQ为认证源安全登录第三方应用或者网站,为方便企业用户的认证登录,OneAccess平台支持配置QQ作为认证源,用户可以通过QQ认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 钉钉认证登录 钉钉认证登录是用户以钉钉为认证源安全登录第三方应用或者网站,为方便企业用户的认证登录,OneAccess平台支持配置钉钉作为认证源,用户可以通过钉钉认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 WeLink认证登录 华为云WeLink,源自华为内部实践,为企业打造联接团队、设备、业务、知识的全联接数字化工作平台,构建企业专属的安全、开放、智能的工作空间,助力企业数字化转型。OneAccess平台支持配置华为云WeLink作为认证源,用户可以通过华为云WeLink认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 企业微信认证登录 企业微信认证登录是用户以企业微信为认证源安全登录第三方应用或者网站,为方便企业用户的认证登录,OneAccess平台支持配置企业微信作为认证源,用户可以通过企业微信认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 飞书认证登录 飞书认证登录是用户以飞书为认证源安全登录第三方应用或者网站,为方便企业用户的认证登录,OneAccess平台支持配置飞书作为认证源,用户可以通过飞书认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 泛微eteams认证登录 泛微eteams认证登录是用户以泛微eteams为认证源安全登录第三方应用或者网站,为方便企业用户的认证登录,OneAccess平台支持配置泛微eteams作为认证源,用户可以通过泛微eteams认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 SAML认证登录 为方便企业用户的认证登录,OneAccess平台支持配置SAML协议作为认证源,用户可以通过SAML协议认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 OIDC认证登录 为方便企业用户的认证登录,OneAccess平台支持配置OIDC协议作为认证源,用户可以通过OIDC协议认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 OIDC是OpenID Connect的简称,是一个基于OAuth 2.0协议的身份认证标准协议。关于OIDC的详细描述请参见欢迎使用OpenID Connect。 CAS认证登录 CAS是一个基于HTTP2、HTTP3的协议,要求每个组件都可以通过特定的URL访问。通过CAS协议将OneAccess作为服务提供商,使第三方应用的用户账号数据可以访问OneAccess。支持CAS1.0、CAS2.0、CAS3.0三种协议。 CAS 协议涉及两个主体。两个主体通过用户浏览器进行信息交换。如 CAS Client可以返回带参数的重定向,将信息转发给CAS Server。登录验证成功后CAS Server会返回CAS Client一个包含用户信息的XML, CAS Client验证用户信息后会返回给用户访问资源。 CAS Client:CAS客户端,资源提供方,如第三方应用。 CAS Server:CAS服务端,身份认证提供方,如OneAccess认证服务。 为方便企业用户的认证登录,OneAccess平台支持配置CAS协议作为认证源,用户可以通过CAS协议认证登录各应用系统以及实现应用系统间单点登录效果,为企业用户带来更简易便捷的登录方式和更好的用户体验。 OAuth认证登录 OAuth(开放授权)是一个开放标准,允许用户授权第三方应用访问其存储在资源服务器上的信息,而不需要将用户名和密码提供给第三方应用。 为方便企业用户的认证登录,OneAccess平台支持配置OAuth协议作为认证源,用户可以通过OAuth协议认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 Kerberos认证登录 Kerberos是一种计算机网络认证协议,它允许某实体在非安全网络环境下通信,向另一个实体以一种安全的方式证明自己的身份。具体请参考https://web.mit.edu/kerberos。 AD(Active Directory),即活动目录。您可以将AD简单理解成一个数据库,其存储有关网络对象的信息,方便管理员和用户查找所需信息。 SPN(Service Principal Name),即服务主体名称。是服务实例的唯一标识符。 在Kerberos认证过程中,使用SPN将服务实例与服务登录账号关联。所以,必须在内置计算机账户或用户账户下为服务器注册SPN。对于内置账户,SPN会自动注册。如果需要在域用户账户下运行服务,必须要为使用的账户手动注册SPN。 为方便企业用户的认证登录,OneAccess平台支持配置Kerberos协议作为认证源,用户可以通过Kerberos协议认证登录各应用系统,为企业用户带来更简易便捷的登录方式和更好的用户体验。 AD认证登录 AD全称Active Directory,即活动目录。您可以将AD简单理解成一个数据库,其存储有关网络对象的信息,方便管理员和用户查找所需信息。 为方便企业用户的认证登录,OneAccess通过LDAP协议把认证指向AD域,AD通过认证后,根据AD返回的用户属性与OneAccess用户关联属性做匹配校验,验证通过即可登录OneAccess。 LDAP认证登录 LDAP(Lightweight Directory Access Protocol),即轻量目录访问协议。 它是一种树状结构的组织数据,可以简单理解成一个存储用户和组织信息的树形结构数据库。单点登录是LDAP的主要使用场景之一,即用户只在公司计算机上登录一次后,便可以自动在公司内部网上登录。 表5 其他最佳实践一览表 最佳实践 说明 授权IAM用户访问OneAccess实例管理门户 AM用户是账号在IAM中创建的用户,是云服务的使用人员,具有独立的身份凭证(密码和访问密钥),根据账号授予的权限使用资源。 OneAccess支持IAM用户通过华为云访问服务实例,方便企业管理员安全的控制OneAccess服务和资源的访问权限。 企业API使用 OneAccess提供第三方API的授权管理功能,API提供者将API配置到OneAccess之后,API消费者在使用API之前需要先到OneAccess获取鉴权Token,在使用API时携带该鉴权Token,API提供者根据鉴权Token判断是否可以提供服务,用以实现API的授权管理功能。 用户登录二次认证配置 OneAccess支持用户登录时进行二次认证的功能,提供更为安全的保障,本文以用户门户为例,为您介绍如何实现二次认证的配置以及使用。
  • 请求示例 创建一条配置,其标签信息为: "key1": "value1", "key2": "value2"。 POST https://{endpoint}/v1/{project_id}/kie/kv { "key": "String", "value": "String", "labels": { "key1": "value1", "key2": "value2", }, "status": "String", "value_type": "String" }
  • 响应示例 状态码: 200 创建成功,返回配置信息。 { "id": "8a9e6a5d-8d65-48fb-a40c-5150c8479da8", "key": "string", "labels": { "key1": "value1", "key2": "value2" }, "value": "string", "value_type": "text", "status": "enabled", "create_time": 1623139038, "update_time": 1623139038, "create_revision": 13, "update_revision": 13, }
  • 请求消息 请求参数 无。 请求示例 GET https://bss.myhuaweicloud.com/v2/orders/customer-orders?order_id=CS1905251035OA1AF&customer_id=c9e731c4663646988ef4cdb3122837b6&create_time_begin=2020-05-06T08:05:01Z&create_time_end=2020-05-07T08:05:01Z&service_type_code=hws.service.type.obs&status=5&order_type=1&limit=10&offset=0&order_by=-createTime&payment_time_begin=2020-05-06T08:05:01Z&payment_time_end=2020-05-07T08:05:01Z&indirect_partner_id=646988ef4cdb3122834feswrygfd HTTP/1.1 Content-Type: application/json X-Auth-Token:MIIPAgYJKoZIhvcNAQcCo...ggg1BBIINPXsidG9rZ
  • 状态码 状态码4xx:由于明显的客户端错误(例如,格式错误的请求语法、参数错误等),华为云会返回4xx错误码,请及时检查请求消息的正确性,重新发起请求。 状态码5xx:由于华为云系统原因,导致无法完成明显有效请求的处理,可及时联系华为云客服处理。 HTTP状态码 错误码 描述 400 CBC.0100 参数错误。 400 CBC.0101 参数无效。 400 CBC.99000037 您没有操作该云经销商的权限。 403 CBC.0155 不允许执行当前请求。 原因可能为账号鉴权信息不正确、账号或子账号没有接口调用权限。 500 CBC.0999 其他错误。
  • URI GET /v2/orders/customer-orders 表1 查询参数 参数 是否必选 参数类型 取值范围 描述 order_id 否 String 最大长度:64 订单ID。大小写不敏感。 此参数不携带或携带值为空时,不作为筛选条件;携带值为null时,作为筛选条件;不支持携带值为空串。 说明: 使用特殊字符进行查询的时候,请注意进行URL编码转换,如“%”的转码应为“%25”。 customer_id 否 String 最大长度:64 客户账号ID。您可以调用查询客户列表接口获取customer_id。 此参数不携带时,不作为筛选条件;携带值为null时,作为筛选条件;不支持携带值为空或携带值为空串。 create_time_begin 否 String 最大长度:20 订单创建开始时间。 UTC时间,格式:yyyy-MM-dd'T'HH:mm:ss'Z',如“2019-05-06T08:05:01Z”。 其中,HH范围是0~23,mm和ss范围是0~59。 订单创建开始时间与订单创建结束时间间隔不能超过1年。 此参数不携带或携带值为空时,不作为筛选条件;不支持携带值为空串或携带值为null。 create_time_end 否 String 最大长度:20 订单创建结束时间。 UTC时间,格式:yyyy-MM-dd'T'HH:mm:ss'Z',如“2019-05-06T08:05:01Z”。 其中,HH范围是0~23,mm和ss范围是0~59。 订单创建开始时间与订单创建结束时间间隔不能超过1年。 此参数不携带或携带值为空时,不作为筛选条件;不支持携带值为空串或携带值为null。 service_type_code 否 String 最大长度:64 云服务类型编码,例如OBS的云服务类型编码为"hws.service.type.obs"。大小写不敏感。 您可以调用查询云服务类型列表接口获取。 此参数不携带或携带值为空时,不作为筛选条件;携带值为空串或携带值为null时,作为筛选条件。 status 否 Integer - 订单状态: 1:待审核 3:处理中 4:已取消 5:已完成 6:待支付 9:待确认 此参数不携带或携带值为空或携带值为null时,不作为筛选条件;不支持携带值为空串。 order_type 否 String 最大长度:64 订单类型: 1:开通 2:续订 3:变更 4:退订 10:包年/包月转按需 11:按需转包年/包月 13:试用 14:转商用 15:费用调整 此参数不携带或携带值为空时,不作为筛选条件;不支持携带值为空串或携带值为null。 limit 否 Integer [1-100] 每次查询的订单数量,默认值为10。 此参数不携带或携带值为空或携带值为null时,取默认值10;不支持携带值为空串。 offset 否 Integer [0-最大整数] 偏移量,从0开始。默认值为0。 此参数不携带或携带值为空或携带值为null时,取默认值0;不支持携带值为空串。 说明: offset用于分页处理,如不涉及分页,请使用默认值0。offset表示相对于满足条件的第一个数据的偏移量。如offset = 1,则返回满足条件的第二个数据至最后一个数据。 示例1,满足查询条件的结果共10条数据,limit取值为10,offset取值为1,则返回的数据为2~10,第一条数据不返回。 示例2,查询总数20条,期望每页返回10条数据,则获取第一页数据,入参offset填写0,limit填写10;获取第二页数据,入参offset填写10,limit填写10。 order_by 否 String 最大长度:36 查询的订单列表排序。大小写不敏感。 支持按照创建时间进行排序,带-表示倒序。 创建时间:升序为createTime,倒序为-createTime。 此参数不携带或携带值为空或携带值为空串或携带值为null时,按照创建时间倒序排列。 payment_time_begin 否 String 最大长度:20 订单支付开始时间。 UTC时间,格式:yyyy-MM-dd'T'HH:mm:ss'Z',如“2019-05-06T08:05:01Z”。 其中,HH范围是0~23,mm和ss范围是0~59。 订单支付开始时间与订单支付结束时间间隔不能超过1年。 此参数不携带或携带值为空时,不作为筛选条件;不支持携带值为空串或携带值为null。 payment_time_end 否 String 最大长度:20 订单支付结束时间。 UTC时间,格式:yyyy-MM-dd'T'HH:mm:ss'Z',如“2019-05-06T08:05:01Z”。 其中,HH范围是0~23,mm和ss范围是0~59。 订单支付开始时间与订单支付结束时间间隔不能超过1年。 此参数不携带或携带值为空时,不作为筛选条件;不支持携带值为空串或携带值为null。 indirect_partner_id 否 String 最大长度:64 云经销商ID。获取方法请参见查询云经销商列表。 华为云总经销商(一级经销商)查询云经销商的客户订单列表时,需要携带该参数,否则只能查询自己客户的订单列表。 此参数不携带或携带值为空时,不作为筛选条件;携带值为空串或携带值为null时,作为筛选条件。 method 否 String 最大长度:64 查询方式。 oneself:客户自己订单 sub_customer:客户给企业子代付订单 此参数不携带或携带值为空串或携带值为null时,默认值为“oneself”。
  • 请求消息 请求参数 无 请求示例 GET https://bss.myhuaweicloud.com/v2/orders/customer-orders/details/CS19040119281JMYC?limit=10&offset=0&indirect_partner_id=c9e731c4663646988ef4cdb3122837b6 HTTP/1.1 Content-Type: application/json X-Auth-Token:MIIPAgYJKoZIhvcNAQcCo...ggg1BBIINPXsidG9rZ
  • 状态码 状态码4xx:由于明显的客户端错误(例如,格式错误的请求语法、参数错误等),华为云会返回4xx错误码,请及时检查请求消息的正确性,重新发起请求。 状态码5xx:由于华为云系统原因,导致无法完成明显有效请求的处理,可及时联系华为云客服处理。 HTTP状态码 错误码 描述 400 CBC.0100 参数错误。 400 CBC.0101 参数无效。 400 CBC.99000037 您没有操作该云经销商的权限。 400 CBC.30000010 无效订单(可能是订单不存在),不能进行操作。 403 CBC.0155 不允许执行当前请求。 原因可能为账号鉴权信息不正确、账号或子账号没有接口调用权限。 500 CBC.0999 其他错误。
共100000条