华为云用户手册

JSON JSON是通过提取JSON字段将其拆分为键值对。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤2 字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 {"a1": "a1", "b1": "b1", "c1": "c1", "d1": "d1"} 当日志提取字段的类型为float时，精度为16位有效数字。如果超过16位有效数字，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 当日志提取字段的类型为long时，日志内容超过16位有效数字，只会精确显示前16位有效数字，后面的数字会变为0。 当日志提取字段的类型为long时，日志内容超过21位有效数字，则会识别为float类型，建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

云端结构化解析 登录 云日志 服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择“云端结构化解析”，进行日志结构化配置。 正则分析：使用正则表达式提取字段。 JSON：通过提取JSON字段将其拆分为键值对。 分隔符：使用分隔符（例如：冒号、空格或字符等）提取字段。 Nginx：通过log_format指令来自定义访问日志的格式。 结构化模板：通过自定义模板或系统内置模板提取字段。 云端结构化解析配置完成后，支持修改或删除结构化配置。 在云端结构化解析页面中，单击，修改结构化配置。 在云端结构化解析页面中，单击，删除结构化配置。 结构化配置删除后，将无法恢复，请谨慎操作。

内置保留字段 在采集日志时，云日志服务会将采集时间、日志类型、主机IP等信息以Key-Value对的形式添加到日志中，这些字段是云日志服务的内置字段。 使用API写入日志数据或添加ICAgent配置时，请不要将字段名称设置为内置保留字段，否则可能会造成字段名称重复、查询不精确等问题。 日志服务为日志数据增加的内置保留字段当前免费，后续会按照按量付费方式正常收费（为其开启索引时也会产生少量索引流量及存储费用）。更多信息请参见价格计算器。 用户自定义日志字段名称中不能使用双下划线__，否则无法配置索引。 表4 内置保留字段说明 内置保留字段 数据格式 索引与统计设置 说明 collectTime 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为collectTime创建字段索引，索引数据类型为long类型。 查询时输入collectTime : xxx。 采集时间，指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334"，转换成标准时间是2023-04-19 17:21:21 __time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为time创建字段索引，索引数据类型为long类型。该字段不支持查询。 日志时间，指的是日志在控制台页面展示的日志时间。 例如示例中的"__time__":"1681896081334"，转换成标准时间是2023-04-19 17:21:21 日志时间默认使用采集时间，也支持自定义日志时间。 lineNum 整型 索引设置：开启索引后，日志服务默认为lineNum创建字段索引，索引数据类型为long类型。 行号（偏移量），用来排序日志。 非高精度日志会根据collectTime生成，默认是collectTime * 1000000 + 1，高精度日志就是用户上报的纳秒值。 例如示例中的"lineNum":"1681896081333991900"。 category 字符串 索引设置：开启索引后，日志服务默认为category创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入category: xxx。 日志类型，表示该日志的来源。 例如ICAgent采集的日志该字段为LTS，某云服务例如D CS 上报的日志该字段为DCS。 clusterName 字符串 索引设置：开启索引后，日志服务默认为clusterName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterName: xxx。 集群名称，k8s场景下集群名称。 例如示例中的"clusterName":"epstest"。 clusterId 字符串 索引设置：开启索引后，日志服务默认为clusterId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterId: xxx。 集群ID，k8s场景下集群ID。例如示例中的"clusterId":"c7f3f4a5-xxxx-11ed-a4ec-0255ac100b07"。 nameSpace 字符串 索引设置：开启索引后，日志服务默认为nameSpace创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入nameSpace: xxx。 命名空间，k8s场景下命名空间。 例如示例中的"nameSpace":"monitoring"。 appName 字符串 索引设置：开启索引后，日志服务默认为appName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入appName: xxx。 组件名称，k8s场景下工作负载的名称。 例如示例中的"appName":"alertmanager-alertmanager"。 serviceID 字符串 索引设置：开启索引后，日志服务默认为serviceID创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入serviceID: xxx。 工作负载ID，k8s场景下工作负载ID。 例如示例中的"serviceID":"cf5b453xxxad61d4c483b50da3fad5ad"。 podName 字符串 索引设置：开启索引后，日志服务默认为podName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podName: xxx。 POD名称，k8s场景下POD名称。 例如示例中的"podName":"alertmanager-alertmanager-0"。 podIp 字符串 索引设置：开启索引后，日志服务默认为podIp创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podIp: xxx。 pod的ip，k8s场景下pod的IP地址。 例如示例中的"podIp":"10.0.0.145"。 containerName 字符串 索引设置：开启索引后，日志服务默认为containerName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入containerName: xxx。 容器名称，k8s场景下容器名称。 例如示例中的"containerName":"config-reloader"。 hostName 字符串 索引设置：开启索引后，日志服务默认为hostName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostName: xxx。 主机名称，ICAgent所在主机的名称。 例如示例中的"hostName":"epstest-xx518"。 hostId 字符串 索引设置：开启索引后，日志服务默认为hostId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostId: xxx。 主机ID，ICAgent所在主机的id，该id由ICAgent生成。例如示例中的"hostId":"318c02fe-xxxx-4c91-b5bb-6923513b6c34"。 hostIP 字符串 索引设置：开启索引后，日志服务默认为hostIP创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIP: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv4场景） 例如示例中的"hostIP":"192.168.0.31"。 hostIPv6 字符串 索引设置：开启索引后，日志服务默认为hostIPv6创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIPv6: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv6场景） 例如示例中的"hostIPv6":""。 pathFile 字符串 索引设置：开启索引后，日志服务默认为pathFile创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入pathFile: xxx。 文件路径，采集的日志文件的路径。 例如示例中的"pathFile":"stdout.log"。 content 字符串 索引设置：开启全文索引后，会使用全文索引定义的分词符对content字段的value进行分词；不支持将content字段配置到字段索引中。 日志原文， 例如示例中的"content":"level=error ts=2023-04-19T09:21:21.333895559Z" __receive_time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为__receive_time__创建字段索引，索引数据类型为long类型。 上报日志的服务端时间，相当于LTS采集端接收到日志的时间。 __client_time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为__client_time__创建字段索引，索引数据类型为long类型。 端侧日志的客户端上报时间。 _content_parse_fail_ 字符串 索引设置：开启索引后，日志服务默认为_content_parse_fail_创建字段索引，索引数据类型为string类型，分词字符为默认分词符。查询时输入_content_parse_fail_: xxx。 上报日志解析失败的日志内容。 __time 整型，Unix时间戳（毫秒） 不支持将__time字段配置到字段索引中。 不涉及。 logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize 整型 不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。

配置字段索引 创建字段索引时，最多支持添加500个字段。其中JSON类型字段，最多支持添加100个子字段。 配置全文索引后，在索引配置页面的 日志分析 下方，单击开启可视化后，配置的字段索引支持SQL可视化分析，否则无法查询到ICAgent结构化的可视化数据。 设置快速分析采样条数，默认值10万条，最小值为10万条，最大值1000万条。通过采样快速统计字段值取值分布，并非对全量数据进行分析，采样条数越多分析数据越慢。 在索引配置页面的字段索引下方，单击“添加字段”，配置字段索引。具体的参数配置请参考表5 自定义字段索引配置参数。 字段索引的参数配置仅对该字段生效。 当添加的字段在日志内容中不存在时，则配置的该索引字段无效。 更多内置字段请参考内置保留字段。 自动配置字段索引：单击“自动配置”，云日志服务会根据采集时预览数据中的第一条内容或常见内置保留字段（例如hostIP、hostName、pathFile）自动生成字段索引，您可以根据自己的需要增加或者删除字段。 批量配置字段索引：批量勾选字段，单击“批量配置”，进行批量配置字段索引。 表3 自定义字段索引配置参数 参数 说明 字段名称 日志字段名称，例如示例日志中的level。 字段名称只能包括字母、数字或下划线（_），且只能以字母或下划线（_）开头，字段名称中不能含有双下划线。 说明： 双下划线（__）在LTS不对用户呈现的内置保留字段中使用，用户自定义日志字段名中不能使用双下划线__，否则无法配置字段索引名称。 日志服务默认会对部分内置保留字段开启字段索引，请参见内置保留字段。 若是内置字段，在字段名称后会显示“内置”字眼，方便用户识别。 执行操作 显示字段的添加状态：新增、不修改、修改、删除。索引字段有变动后，单击“修改对比”，即可查看原配置内容与修改后配置内容的差异。 显示新增的字段不支持修改执行操作。 修改类型、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时，会与原索引配置中的字段进行对比，若任意一项不同，则执行操作变为“修改”。 索引配置单击确定后，不会保存执行操作为“删除”的字段。 类型 日志字段值（Value）的数据类型，可选值为string、long、float、json。 说明： 字段json类型只对ICAgent结构化解析生效，对云端结构化解析不生效。 long类型和float类型不支持设置大小写敏感、包含中文和分词符。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志message字段中含有Know，那么您只能使用message:Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志message字段中含有Know，那么您使用关键字message:KNOW和message:know都能查到该日志。 自定义分词符 根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为：I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词I Know 今天是星期一，您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。 如果设置分词符为空格，则原始日志被拆分为I、Know、今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如message:Know或message:今天是星期一。 特殊分词符 单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志message字段内容为：I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为I、Know、今天是星期一，您可以通过message:Know或message:今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一，您通过message:Know或message:今天等词都可以查找到该日志。 快速分析 默认为开启状态，开启后，可以对字段值做采样统计，请参见11.6.4-快速分析。 说明： 快速分析的原理是对搜索命中的日志采样10万条进行数据统计，不是全量统计。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 操作 单击，删除添加的自定义字段。 图1 批量配置 完成后，单击“确定”。

注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间，费用说明请参见价格计算器。 关闭索引后，历史索引的存储空间将在当前日志流的数据保存时间到期后，自动被清除。 云日志服务默认已为部分内置保留字段创建字段索引，请参见内置保留字段。 不同的索引配置，会产生不同的查询和分析结果，请根据您的需求，合理创建索引。全文索引和字段索引互不影响。 索引配置修改后，对新写入的日志数据生效，历史日志数据不会生效。 在字段索引功能上线前，SQL分析支持的字段来自于云端结构化解析；在字段索引功能上线后，只要用户配置了字段索引，SQL分析支持的字段将来自于字段索引，因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响，请谨慎操作！

配置全文索引 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择“索引配置”，进入索引配置页面。 在索引配置页面中，默认开启“全文索引”按钮，参考表3 自定义全文索引配置参数配置各参数信息。 在索引配置页面选择自动配置时，默认获取最近15分钟的原始日志和内置字段的交集，LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。 若15分钟内没有原始日志，则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。 ECS接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。 CCE接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。 表2 自定义全文索引配置参数 参数 说明 全文索引 打开全文索引开关，表示创建全文索引。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志含有Know，那么您只能使用Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志含有Know，那么您使用关键字KNOW和know都能查到该日志。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志内容为： error,400,I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为error、400、I、Know、今天是星期一，您可以通过error或今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一，您通过error或今天等词都可以查找到该日志。 分词符 根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 单击“预览”，查看分词预览效果。 例如示例日志内容为： error,400,I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词error,400,I Know 今天是星期一，您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。 如果设置分词符为逗号（,），则原始日志被拆分为error、400、I Know 今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如error、400、I Kn*、今天是*。 如果设置分词符为逗号（,）和空格，则原始日志被拆分为error、400、I、Know、今天是星期一5个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如Know、今天是*。 特殊分词符 单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。 完成后，单击“确定”。

索引类型 云日志服务LTS 支持全文索引和字段索引，详细请参考表1。 表1 索引类型 索引类型 说明 全文索引 开启全文索引后，日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 说明： 用户上传的自定义标签（label）字段，不包含在全文索引中，如果您需要搜索自定义标签字段，请添加对应的字段索引。 LTS内置保留字段，不包含在全文索引中，您需要通过字段索引Key:Value的方式进行搜索，请参考内置保留字段。 字段索引 配置字段索引后，您可以指定字段名称和字段值（Key:Value）进行查询，缩小查询范围。 说明： 日志服务默认为部分内置保留字段创建字段索引，请参考内置保留字段。 如果您的某个字段单独配置了字段索引，那么该字段值的分词符以字段索引配置为准。 结构化配置中的快速分析列已被移除，如果您要使用快速分析功能，则必须配置字段索引且开启对应字段的快速分析按钮。 关于日志示例有两种情况： 在日志示例中，配置了level和status两个字段索引，其中level是string类型，字段值是error，单独配置了分词符，status是long类型，不需要配置分词符；您可以使用level : error的方式精确搜索level字段值为error的所有日志。 在日志示例中，云日志服务LTS会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。

日志可视化概述 云日志服务支持用户使用SQL查询语法对结构化日志进行统计分析，同时将分析结果以图表方式可视化展示，提供多种图表类型，满足不同场景的可视化呈现需求，用于运维和运营分析。 LTS提供40多种开箱即用仪表盘模板、预置样例数据，配置丰富，简单易用，降低使用门槛，减少用户重复开发。其他云服务日志只要接入LTS即可直接使用仪表盘模板，帮助企业基于日志数据进行数字化运营，助力企业数字化转型。 表1 可视化方式 可视化方式 说明 统计图表 统计图表是云日志服务根据SQL查询语法渲染出的结果，包括表格、柱状图、折线图等多种图表类型，详细请参考使用统计图表将日志可视化。 仪表盘 仪表盘是云日志服务提供的实时数据分析大盘。您可以在仪表盘查看多个基于SQL语句查询分析结果的统计图表，并能将多张统计图表同步保存到仪表盘中。详细请参考使用仪表盘将日志可视化。 云日志服务提供多种内置仪表盘模板，开箱即用，详细请参考日志仪表盘模板。 父主题： 日志可视化

开启匿名写入 登录云日志服务控制台。 单击日志组名称对应的按钮。 单击“创建日志流”，在创建日志流页面，参考表1填写日志流相关信息，需要开启“匿名写入”，适用于端侧SDK上报日志，打开匿名写入则表示该日志流打开匿名写入权限，不会经过有效鉴权，可能产生脏数据。 图1 创建日志流 表1 日志流参数说明 参数 说明 日志组名称 默认显示目标日志组名称。 日志流名称 日志流名称只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。 企业项目 选择业务需要的企业项目，默认为default。也可单击“查看企业项目”，在企业项目管理页面查看全部企业项目。 日志存储 若关闭日志存储，则无法开启日志存储时间。 开启“日志存储”：日志将会被存入搜索引擎，能使用日志全量功能。 关闭“日志存储”：日志不会存储到LTS，可节约索引流量和存储费用，只能使用日志生成指标、转储功能，不能使用日志搜索分析、告警、消费加工等其他功能。 日志存储时间(天) 日志流的存储时间，即日志上报到LTS后日志存储的时间。 日志数据默认存储30天，可以在1~365天之间设置。 打开日志流的“日志存储时间”：日志的存储时间使用日志流设置的日志存储时间。 关闭日志流的“日志存储时间”：日志的存储时间使用日志组设置的日志存储时间。 智能冷存储 开启日志存储时间后，根据业务需要设置智能冷存储功能。详细请参考智能冷存储。 说明： 开启智能冷存储需要日志存储时间大于7天。 标准存储层数据保存时间 开启智能冷存储后，需要设置标准存储层数据的保存时间。 标准存储数据至少需保存7天才能转换为智能冷存储层数据。当日志保存时间大于标准存储层数据保存时间，且小于日志存储时间时，日志数据将自动转换为智能冷存储层数据存储。 标签 按照业务需求对不同的日志流添加对应的标签，单击“添加标签”，分别填写标签键key和标签值value。 说明： 如需添加多个标签可重复该步骤，最多支持添加20个标签。 如需删除标签可单击标签操作列的“删除”。 标签键长度不能超过128个字符；标签值长度不能超过255个字符。 标签键名称不可重复。 如果配置转储时使用了该标签，删除标签后，请同步修改转储配置信息。 匿名写入 匿名写入默认关闭，适用于安卓/IOS/小程序/浏览器端上报日志才能使用匿名写入，需要提交工单开通白名单。 打开匿名写入则表示该日志流打开匿名写入权限，不会经过有效鉴权，可能产生脏数据。关于SDK使用请参考SDK接入。 说明： 使用匿名写入采集日志功能仅支持华北-北京四、华东-上海一、华南-广州区域的白名单用户使用，如有需要，请提交工单，其他区域暂不支持申请开通。 备注 自定义填写备注信息，字符长度0-1024个字符。 单击“确定”。

通过HTTP GET请求上传日志 开通匿名写入后，您可以通过以下方法上传日志到日志流中。 HTTP GET请求，开通GET请求的白名单后，请提交工单联系技术支持工程师提供{endpoint}地址才能此功能。 /v3/{project_id}/lts/groups/{log_group_id}/streams/{log_stream_id}/struct/logs?key1=val1&key2=val2 GET接口总数据量不能超过16KB，超过可能会上报失败。 不支持压缩。 配置参数说明 表2 配置参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方式请参见：获取账号ID、项目ID、日志组ID、日志流ID。 缺省值：None 最小长度：32 最大长度：32 log_group_id 是 String 日志组ID，获取方式请参见：获取账号ID、项目ID、日志组ID、日志流ID。 缺省值：None 最小长度：36 最大长度：36 log_stream_id 是 String 日志流ID，获取方式请参见：获取账号ID、项目ID、日志组ID、日志流ID。 缺省值：None 最小长度：36 最大长度：36 key1=val1&key2=val2 是 String 您要上传到日志服务的键值对（Key-Value），支持设置多个键值对，由&隔开。请确保长度小于16KB。 对于上报日志中的特殊字符，请您使用url编码，否则可能出现日志上报乱码、失败。 日志长度小于16KB，指的是url编码后的长度。假如您的日志大小只有13KB，但是经过编码后的大小为17KB，也是超过长度限制。 响应参数 状态码为 200 时: 表3 响应Body参数 参数 参数类型 描述 errorCode String 错误码。 枚举值： SVCSTG.ALS.200.200 errorMessage String 调用失败响应信息描述。 枚举值： Report success. result String 响应结果。 请求示例 curl -k "https://lts-access.cn-north-4.myhuaweicloud.com:8102/v3/xxxxxxProject_id/lts/groups/xxxxxxLog_group_id/streams/xxxxxxxLog_stream_id/struct/logs?key1=val1&key2=val2" 响应示例 状态码： 200 日志上报成功。 { "errorCode": "SVCSTG.ALS.200.200", "errorMessage": "Report success.", "result": null } 状态码 表4 状态码 状态码 描述 200 请求响应成功。 400 BadRequest。非法请求。建议根据error_msg直接修改该请求，不要重试该请求。 401 在客户端提供认证信息后，返回该状态码，表明服务端指出客户端所提供的认证信息不正确或非法。 403 Forbidden。请求被拒绝访问。返回该状态码，表明请求能够到达服务端，且服务端能够理解用户请求，但是拒绝做更多的事情，因为该请求被设置为拒绝访问，建议直接修改该请求，不要重试该请求。 500 系统内部错误。 503 ServiceUnavailable。被请求的服务无效，服务不可用。

内置保留字段 在采集日志时，云日志服务会将采集时间、日志类型、主机IP等信息以Key-Value对的形式添加到日志中，这些字段是云日志服务的内置字段。 使用API写入日志数据或添加ICAgent配置时，请不要将字段名称设置为内置保留字段，否则可能会造成字段名称重复、查询不精确等问题。 日志服务为日志数据增加的内置保留字段当前免费，后续会按照按量付费方式正常收费（为其开启索引时也会产生少量索引流量及存储费用）。更多信息请参见价格计算器。 用户自定义日志字段名称中不能使用双下划线__，否则无法配置索引。 表4 内置保留字段说明 内置保留字段 数据格式 索引与统计设置 说明 collectTime 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为collectTime创建字段索引，索引数据类型为long类型。 查询时输入collectTime : xxx。 采集时间，指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334"，转换成标准时间是2023-04-19 17:21:21 __time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为time创建字段索引，索引数据类型为long类型。该字段不支持查询。 日志时间，指的是日志在控制台页面展示的日志时间。 例如示例中的"__time__":"1681896081334"，转换成标准时间是2023-04-19 17:21:21 日志时间默认使用采集时间，也支持自定义日志时间。 lineNum 整型 索引设置：开启索引后，日志服务默认为lineNum创建字段索引，索引数据类型为long类型。 行号（偏移量），用来排序日志。 非高精度日志会根据collectTime生成，默认是collectTime * 1000000 + 1，高精度日志就是用户上报的纳秒值。 例如示例中的"lineNum":"1681896081333991900"。 category 字符串 索引设置：开启索引后，日志服务默认为category创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入category: xxx。 日志类型，表示该日志的来源。 例如ICAgent采集的日志该字段为LTS，某云服务例如DCS上报的日志该字段为DCS。 clusterName 字符串 索引设置：开启索引后，日志服务默认为clusterName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterName: xxx。 集群名称，k8s场景下集群名称。 例如示例中的"clusterName":"epstest"。 clusterId 字符串 索引设置：开启索引后，日志服务默认为clusterId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterId: xxx。 集群ID，k8s场景下集群ID。例如示例中的"clusterId":"c7f3f4a5-xxxx-11ed-a4ec-0255ac100b07"。 nameSpace 字符串 索引设置：开启索引后，日志服务默认为nameSpace创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入nameSpace: xxx。 命名空间，k8s场景下命名空间。 例如示例中的"nameSpace":"monitoring"。 appName 字符串 索引设置：开启索引后，日志服务默认为appName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入appName: xxx。 组件名称，k8s场景下工作负载的名称。 例如示例中的"appName":"alertmanager-alertmanager"。 serviceID 字符串 索引设置：开启索引后，日志服务默认为serviceID创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入serviceID: xxx。 工作负载ID，k8s场景下工作负载ID。 例如示例中的"serviceID":"cf5b453xxxad61d4c483b50da3fad5ad"。 podName 字符串 索引设置：开启索引后，日志服务默认为podName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podName: xxx。 POD名称，k8s场景下POD名称。 例如示例中的"podName":"alertmanager-alertmanager-0"。 podIp 字符串 索引设置：开启索引后，日志服务默认为podIp创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podIp: xxx。 pod的ip，k8s场景下pod的IP地址。 例如示例中的"podIp":"10.0.0.145"。 containerName 字符串 索引设置：开启索引后，日志服务默认为containerName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入containerName: xxx。 容器名称，k8s场景下容器名称。 例如示例中的"containerName":"config-reloader"。 hostName 字符串 索引设置：开启索引后，日志服务默认为hostName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostName: xxx。 主机名称，ICAgent所在主机的名称。 例如示例中的"hostName":"epstest-xx518"。 hostId 字符串 索引设置：开启索引后，日志服务默认为hostId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostId: xxx。 主机ID，ICAgent所在主机的id，该id由ICAgent生成。例如示例中的"hostId":"318c02fe-xxxx-4c91-b5bb-6923513b6c34"。 hostIP 字符串 索引设置：开启索引后，日志服务默认为hostIP创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIP: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv4场景） 例如示例中的"hostIP":"192.168.0.31"。 hostIPv6 字符串 索引设置：开启索引后，日志服务默认为hostIPv6创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIPv6: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv6场景） 例如示例中的"hostIPv6":""。 pathFile 字符串 索引设置：开启索引后，日志服务默认为pathFile创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入pathFile: xxx。 文件路径，采集的日志文件的路径。 例如示例中的"pathFile":"stdout.log"。 content 字符串 索引设置：开启全文索引后，会使用全文索引定义的分词符对content字段的value进行分词；不支持将content字段配置到字段索引中。 日志原文， 例如示例中的"content":"level=error ts=2023-04-19T09:21:21.333895559Z" __receive_time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为__receive_time__创建字段索引，索引数据类型为long类型。 上报日志的服务端时间，相当于LTS采集端接收到日志的时间。 __client_time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为__client_time__创建字段索引，索引数据类型为long类型。 端侧日志的客户端上报时间。 _content_parse_fail_ 字符串 索引设置：开启索引后，日志服务默认为_content_parse_fail_创建字段索引，索引数据类型为string类型，分词字符为默认分词符。查询时输入_content_parse_fail_: xxx。 上报日志解析失败的日志内容。 __time 整型，Unix时间戳（毫秒） 不支持将__time字段配置到字段索引中。 不涉及。 logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize 整型 不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。

配置全文索引 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择“索引配置”，进入索引配置页面。 在索引配置页面中，默认开启“全文索引”按钮，参考表3 自定义全文索引配置参数配置各参数信息。 在索引配置页面选择自动配置时，默认获取最近15分钟的原始日志和内置字段的交集，LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。 若15分钟内没有原始日志，则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。 ECS接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。 CCE接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。 表2 自定义全文索引配置参数 参数 说明 全文索引 打开全文索引开关，表示创建全文索引。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志含有Know，那么您只能使用Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志含有Know，那么您使用关键字KNOW和know都能查到该日志。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志内容为： error,400,I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为error、400、I、Know、今天是星期一，您可以通过error或今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一，您通过error或今天等词都可以查找到该日志。 分词符 根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 单击“预览”，查看分词预览效果。 例如示例日志内容为： error,400,I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词error,400,I Know 今天是星期一，您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。 如果设置分词符为逗号（,），则原始日志被拆分为error、400、I Know 今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如error、400、I Kn*、今天是*。 如果设置分词符为逗号（,）和空格，则原始日志被拆分为error、400、I、Know、今天是星期一5个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如Know、今天是*。 特殊分词符 单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。 完成后，单击“确定”。

配置字段索引 创建字段索引时，最多支持添加500个字段。其中JSON类型字段，最多支持添加100个子字段。 配置全文索引后，在索引配置页面的日志分析下方，单击开启可视化后，配置的字段索引支持SQL可视化分析，否则无法查询到ICAgent结构化的可视化数据。 设置快速分析采样条数，默认值10万条，最小值为10万条，最大值1000万条。通过采样快速统计字段值取值分布，并非对全量数据进行分析，采样条数越多分析数据越慢。 在索引配置页面的字段索引下方，单击“添加字段”，配置字段索引。具体的参数配置请参考表5 自定义字段索引配置参数。 字段索引的参数配置仅对该字段生效。 当添加的字段在日志内容中不存在时，则配置的该索引字段无效。 更多内置字段请参考内置保留字段。 自动配置字段索引：单击“自动配置”，云日志服务会根据采集时预览数据中的第一条内容或常见内置保留字段（例如hostIP、hostName、pathFile）自动生成字段索引，您可以根据自己的需要增加或者删除字段。 批量配置字段索引：批量勾选字段，单击“批量配置”，进行批量配置字段索引。 表3 自定义字段索引配置参数 参数 说明 字段名称 日志字段名称，例如示例日志中的level。 字段名称只能包括字母、数字或下划线（_），且只能以字母或下划线（_）开头，字段名称中不能含有双下划线。 说明： 双下划线（__）在LTS不对用户呈现的内置保留字段中使用，用户自定义日志字段名中不能使用双下划线__，否则无法配置字段索引名称。 日志服务默认会对部分内置保留字段开启字段索引，请参见内置保留字段。 若是内置字段，在字段名称后会显示“内置”字眼，方便用户识别。 执行操作 显示字段的添加状态：新增、不修改、修改、删除。索引字段有变动后，单击“修改对比”，即可查看原配置内容与修改后配置内容的差异。 显示新增的字段不支持修改执行操作。 修改类型、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时，会与原索引配置中的字段进行对比，若任意一项不同，则执行操作变为“修改”。 索引配置单击确定后，不会保存执行操作为“删除”的字段。 类型 日志字段值（Value）的数据类型，可选值为string、long、float、json。 说明： 字段json类型只对ICAgent结构化解析生效，对云端结构化解析不生效。 long类型和float类型不支持设置大小写敏感、包含中文和分词符。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志message字段中含有Know，那么您只能使用message:Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志message字段中含有Know，那么您使用关键字message:KNOW和message:know都能查到该日志。 自定义分词符 根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为：I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词I Know 今天是星期一，您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。 如果设置分词符为空格，则原始日志被拆分为I、Know、今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如message:Know或message:今天是星期一。 特殊分词符 单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志message字段内容为：I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为I、Know、今天是星期一，您可以通过message:Know或message:今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一，您通过message:Know或message:今天等词都可以查找到该日志。 快速分析 默认为开启状态，开启后，可以对字段值做采样统计，请参见11.6.4-快速分析。 说明： 快速分析的原理是对搜索命中的日志采样10万条进行数据统计，不是全量统计。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 操作 单击，删除添加的自定义字段。 图1 批量配置 完成后，单击“确定”。

注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间，费用说明请参见价格计算器。 关闭索引后，历史索引的存储空间将在当前日志流的数据保存时间到期后，自动被清除。 云日志服务默认已为部分内置保留字段创建字段索引，请参见内置保留字段。 不同的索引配置，会产生不同的查询和分析结果，请根据您的需求，合理创建索引。全文索引和字段索引互不影响。 索引配置修改后，对新写入的日志数据生效，历史日志数据不会生效。 在字段索引功能上线前，SQL分析支持的字段来自于云端结构化解析；在字段索引功能上线后，只要用户配置了字段索引，SQL分析支持的字段将来自于字段索引，因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响，请谨慎操作！

索引类型 云日志服务LTS支持全文索引和字段索引，详细请参考表1。 表1 索引类型 索引类型 说明 全文索引 开启全文索引后，日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 说明： 用户上传的自定义标签（label）字段，不包含在全文索引中，如果您需要搜索自定义标签字段，请添加对应的字段索引。 LTS内置保留字段，不包含在全文索引中，您需要通过字段索引Key:Value的方式进行搜索，请参考内置保留字段。 字段索引 配置字段索引后，您可以指定字段名称和字段值（Key:Value）进行查询，缩小查询范围。 说明： 日志服务默认为部分内置保留字段创建字段索引，请参考内置保留字段。 如果您的某个字段单独配置了字段索引，那么该字段值的分词符以字段索引配置为准。 结构化配置中的快速分析列已被移除，如果您要使用快速分析功能，则必须配置字段索引且开启对应字段的快速分析按钮。 关于日志示例有两种情况： 在日志示例中，配置了level和status两个字段索引，其中level是string类型，字段值是error，单独配置了分词符，status是long类型，不需要配置分词符；您可以使用level : error的方式精确搜索level字段值为error的所有日志。 在日志示例中，云日志服务LTS会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。

云日志服务地址说明 云日志服务首页，基础URL为： https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer#/cts/manager/groups 表3 参数说明表 参数名称 必填 类型 描述 regionId 是 String 区域ID，登录console页面后在浏览器的地址栏中获取。 日志搜索界面，基础URL为： https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer#/cts/logEventsLeftMenu/events?groupId={groupId}&topicId={topicId}&epsId={epsId}&hideHeader={hideHeader}&fastAnalysisCollapsed={fastAnalysisCollapsed}&hideDashboard={hideDashboard}&hideFeedback={hideFeedback}&isFoldLabel={isFoldLabel}&hideStreamName={hideStreamName}&showK8sFilter={showK8sFilter}&clusterId={clusterId}&hideBarChart={hideBarChart}&hideTabs={hideTabs}&condition={condition} 表4 参数说明表 参数名称 必填 类型 默认值 描述 regionId 是 String 无 区域ID，登录console页面后在浏览器的地址栏中获取。 groupId 是 String 无 日志组ID。 topicId 是 String 无 日志流ID。 epsId 否 String 无 日志流所属的企业项目ID，若无企业项目，值为0。 hideHeader 否 Boolean false 是否隐藏左侧列表及顶部横向日志流列表，如需隐藏，该参数值为true。 说明： 使用iframe内嵌场景才会生效，不使用iframe内嵌场景则不生效。 fastAnalysisCollapsed 否 Boolean false 是否收起快速分析，如需默认收起，该参数值为true。 hideDashboard 否 Boolean false 是否隐藏创建仪表盘图标，如需隐藏，该参数值为true。 hideFeedback 否 Boolean false 是否隐藏评价按钮，如需隐藏，该参数值为true。 isFoldLabel 否 Boolean true 控制日志表格中的label字段是否换行，如需换行展示，该参数值为true。 hideStreamName 否 Boolean false 是否隐藏日志流名称，如需隐藏，该参数值为true。 showK8sFilter 否 Boolean false 是否展示容器日志筛选，容器日志搜索场景下，可选择该参数为true，控制是否展示容器日志筛选条件。 clusterId 否 String 无 集群ID，showK8sFilter参数为true时，该参数必填。 hideBarChart 否 Boolean false 是否默认收起日志条数统计图，如需默认收起，该参数值为true。 hideTabs 否 Boolean false 是否隐藏“日志搜索、日志分析、实时日志”标签tabs，默认不隐藏。如需隐藏，该参数值为true。 hideShare 否 Boolean false 是否隐藏“分享”按钮，默认不隐藏。如需隐藏，该参数值为true。（当前仅华北-北京四局点支持该参数） condition 否 String 无 日志查询条件，如name:a and age:12 and addr:xx。 非必填 单个关键词形式为key:value 多个关键词用 and 隔开 关键词中不能包含英文分号（;）、英文冒号（:） 关键词中含有其他特殊字符如（+、=、？、#、%、&）需转换为十六进 图6 参数与界面对应关系图（仅供参考） 可视化日志搜索界面，基础URL为： https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer#/cts/logEventsLeftMenu/events?visualization=true&groupId={groupId}&topicId={topicId}&epsId={epsId}&sql={sql} 表5 参数说明表 参数名称 必填 类型 默认值 描述 regionId 是 String 无 区域ID，登录console页面后在浏览器的地址栏中获取。 groupId 是 String 无 日志组ID。 topicId 是 String 无 日志流ID。 epsId 否 String 无 日志流所属的企业项目ID，若无企业项目，值为0。 hideHeader 否 Boolean false 是否隐藏左侧列表及顶部横向日志流列表，如需隐藏，该参数值为true。 sql 否 String 无 SQL查询语句，如SELECT count (*)。 图7 参数与界面对应关系图（仅供参考） 仪表盘界面，基础URL为： https://console.huaweicloud.com/lts/?region={regionId}&cfModuleHide=header_sidebar_floatlayer#/cts/manager/dashboard?dashboardId={dashboardId}&hideDashboardList={hideDashboardList}&showCurrentdashboardGroup={showCurrentdashboardGroup}&streamId={streamId}&streamDisabled={streamDisabled}&readonly={readonly}&filter=key1:value1,value2;key2:value3,value4&autoFresh={autoFresh} 表6 参数说明表 参数名称 必填 类型 默认值 描述 示例 regionId 是 String 无 区域ID，登录console页面后在浏览器的地址栏中获取。 region=xx-xx-xx dashboardId 否 String 无 需要展示的仪表盘ID，默认值为""。 使用场景：当用户需要默认展示某仪表盘时，可添加此参数。 dashboardId=xxxxxxxx hideDashboardList 否 Boolean false 是否隐藏仪表盘选择下拉列表：默认不隐藏，true表示隐藏。 使用场景：当用户需要隐藏仪表盘下拉列表时，可通过添加该参数且值为true来实现。 hideDashboardList=true showCurrentdashboardGroup 否 Boolean false 是否只展示当前仪表盘所在分组/模板：默认值为false。 使用场景：当用户只需要展示当前仪表盘分组/模板的仪表盘时，可通过添加该参数且值为true来实现。 注意：若hideDashboardList参数值为true时，当前参数无效。 showCurrentdashboardGroup=true streamId 否 String 无 日志流ID：默认值为""。 使用场景：只适用于仪表盘模板。当用户需要默认选中某日志流时，可添加该参数。 streamId=xxxxxx streamDisabled 否 Boolean false 日志流下拉框：默认可选择，true标识不可选择 使用场景：只适用于仪表盘模板。当用户需要置灰日志流下拉框时，可添加该参数。 streamDisabled=true filter 否 String 无 过滤器参数，值为要选中的过滤器的名称及选中项。 key1、key2为过滤器名称，value1、value2为过滤器key1需要选中的值，value3、value4为过滤器key2需要选中的值。多个过滤器按照;分隔，多个选中项按照,分隔。 使用场景：当用户内嵌仪表盘界面需要默认选中某些过滤器的key、value时，可添加该参数。 filter=key1:value1,value2;key2:value3,value4 readonly 否 Boolean false 是否是只读场景，只读场景下，操作类按钮会被隐藏。例如：新建过滤器、添加/修改/删除仪表盘等。 使用场景：当用户只需要展示仪表盘，不需要操作权限时，可添加该参数。 readonly=true autoFresh 否 String 无 定时刷新时长，默认值为""。 使用场景：当用户需要指定默认定时刷新时长时，可添加此参数，当前支持的定时刷新时长参数取值为：0m，1m，5m，15m之一，对应：不定时刷新、1分钟定时刷新、5分钟定时刷新、15分钟定时刷新。 autoFresh=1m 图8 参数与界面对应关系图（仅供参考）

安装日志服务（LTS-Grafana）插件 执行以下命令将云日志服务grafana插件项目压缩包解压到Grafana插件目录。 使用YUM或RPM安装的Grafana： unzip LTS-Grafana-OBS-Static.1.0.10.zip -d /var/lib/grafana/plugins 使用.tar.gz文件安装的Grafana： {PATH_TO}为Grafana的安装路径，{VERSION}为Grafana版本号 unzip LTS-Grafana-OBS-Static.1.0.10.zip -d {PATH_TO}/grafana-{VERSION}/plugins-bundled/internal/input-datasource 修改Grafana配置文件 打开配置文件： 使用YUM或RPM安装的Grafana：/etc/grafana/grafana.ini 使用.tar.gz文件安装的Grafana：{PATH_TO}/grafana-{VERSION}/conf/defaults.ini 在配置文件的[plugins]节点中，设置allow_loading_unsigned_plugins参数 allow_loading_unsigned_plugins = hw-hws-lts-grafana-datasource-plugin 重启Grafana。 使用kill命令终止Grafana进程。 执行以下命令启动Grafana 使用YUM或RPM安装的Grafana： systemctl restart grafana-server 使用.tar.gz文件安装的Grafana： ./bin/grafana-server web

前提条件 已安装Grafana。具体操作，请参见Grafana官方文档。 Grafana版本要求使用9.0.0及以上版本。 下载LTS-Grafana插件压缩包。 需要在云日志服务控制台开通可视化功能才能使用LTS-Grafana插件。 目前此功能支持全部用户使用的局点有：华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、华东-上海一、中国-香港、西南-贵阳一、亚太-新加坡、华南-深圳；支持部分白名单用户使用的局点有：亚太-曼谷、华北-北京一、华东-上海二、华北-乌兰察布二零二，其他局点暂不支持该功能。

添加仪表盘 在左侧菜单栏中，单击 选择Dashboards，在New dashboard页面中，单击add an empty panel。 在New dashboards页面中，选择hws-lts-grafana-datasource-plugin插件和填写对应的sql语句。 在右上角选择对应时间，并单击 按钮，可刷新请求最新的数据并展示。 LTS-Grafana插件相关参数配置规则如下： 表格类型数据，需要将x-column参数的值给为"table"。 单值类型数据，例如数字图，需要将x-column参数值给成"single"。 包含维度列图表：x-column配置为时间列字段，y-column配置为col1:col2。其中col1为聚合列，col2为数据列。 柱状图类型图表：x-column配置为"bar"，y-column配置为col1,col2。其中col1为类目列，col2为数据列。 饼图类型图表：x-column配置为"pie"，y-column配置为col1,col2。其中col1为类目列，col2为数据列。

安装云日志服务（LTS-Grafana）插件 安装日志服务插件。 进入Grafana的安装目录。例如：GrafanaLabs\grafana\data\plugins。 下载的LTS-Grafana插件压缩包解压到当前位置，这样成功提取文件（文件名为lts-grafana-plugin）。 将提取到的文件（文件名为lts-grafana-plugin）拷贝到GrafanaLabs\grafana\plugins-bundled\internal\input-datasource目录中。 完成后，重启Grafana服务。 进入任务管理器选择服务页签，选中Grafana右击鼠标单击重新启动，可重启Grafana服务。 修改Grafana配置文件。 打开配置文件。 安装目录/GrafanaLabs\grafana\conf\defaults.ini 配置allow_loading_unsigned_plugins参数。 allow_loading_unsigned_plugins = hw-hws-lts-grafana-datasource-plugin 完成后，重启Grafana服务。

前提条件 安装Grafana。 Grafana版本要求使用9.0.0及以上版本。 在Windows中，建议Grafana安装在非系统盘，否则可能会出现没有权限打开Grafana配置文件的情况。 本机上安装Grafana后，在浏览器中输入localhost:3000进行访问，初始账号密码是admin/admin。 下载LTS-Grafana插件压缩包。 需要在云日志服务控制台开通可视化功能才能使用LTS-Grafana插件。 目前此功能支持全部用户使用的局点有：华南-广州、华北-北京四、华北-乌兰察布二零一、华北-乌兰察布一、华东-上海一、中国-香港、西南-贵阳一、亚太-新加坡、华南-深圳；支持部分白名单用户使用的局点有：亚太-曼谷、华北-北京一、华东-上海二、华北-乌兰察布二零二，其他局点暂不支持该功能。

自定义参数说明 在目的端配置中，支持配置的自定义参数及说明请参见表1和conf参数说明。 表1 支持的自定义参数说明 参数名称 取值范围 说明 是否必填 spark.dli.metaAccess.enable - 填写true。 是 spark.dli.job.agency.name 填写 DLI 委托权限名称。 mgc.mc2dli.data.migration.dli.file.path 填写存放migration-dli-spark-1.0.0.jar包的OBS路径。例如：obs://mgc-test/data/migration-dli-spark-1.0.0.jar mgc.mc2dli.data.migration.dli.spark.jars 填写存放fastjson-1.2.54.jar和datasource.jar包的OBS路径，以数组形式传入，路径带双引号，以英文逗号隔开。例如：["obs://mgc-test/data/datasource.jar","obs://mgc-test/data/fastjson-1.2.54.jar"] spark.sql.catalog.mc_catalog.tableWriteProvider 填写tunnel 专线迁移场景为必填 spark.sql.catalog.mc_catalog.tableReadProvider 填写tunnel spark.hadoop.odps.end.point 填写源端MaxCompute服务所在地域的VPC网络Endpoint信息。各地域VPC网络Endpoint信息请参考Endpoint对照表。例如：源端所在地域为“香港”，则填写“http://service.cn-hongkong.maxcompute.aliyun-inc.com/api” spark.hadoop.odps.tunnel.end.point 填写源端MaxCompute服务所在地域的VPC网络Tunnel Endpoin信息。各地域VPC网络Tunnel Endpoin信息请参考Endpoint对照表。例如：源端所在地域为“香港”，则填写“http://dt.cn-hongkong.maxcompute.aliyun-inc.com” sc_type A、B、C 计算资源类型，目前指定参数A, B, C。如果不指定，则按最小类型创建。 A：(8核32G内存，driverCores：2，executorCores：1，driverMemory：7G，executorMemory：4G，numExecutor：6) B：(16核64G内存，driverCores：2，executorCores：2，driverMemory：7G，executorMemory：8G，numExecutor：7) C：(32核128G内存，driverCores：4，executorCores：2，driverMemory：15G，executorMemory：8G，numExecutor：14) 否 executorCores 1- 4 Spark应用每个Executor的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 numExecutors 1-100 Spark应用Executor的个数。该配置项会替换“sc_type”中对应的默认参数。 executorMemory 1-16 G Spark应用的Executor内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 driverCores 1-4 Spark应用Driver的CPU核数。该配置项会替换“sc_type”中对应的默认参数。 driverMemory 1-16 G Spark应用的Driver内存，参数配置例如：2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 父主题： 大数据数据迁移

使用须知 开始采集后，默认每5分钟进行一次数据采集。 建议采集时长≥1小时，若采集时长不足，将无法获取7天和30天最大值以及平均值数据。 采集周期默认为7天，7天后会自动停止采集；采集周期内可以进行停止采集和重启采集操作；重启采集后，采集周期重新计算。 采集到的性能数据将保留180天，超期后会自动删除。 迁移工具Edge建议安装在独立主机上，避免与业务主机共用，以确保采集的稳定性和效率。 Linux主机：迁移工具Edge最多同时采集1000台Linux主机。当同时采集1000台Linux主机时，安装Edge的主机规格最低要求为8U16G，且可使用内存不小于8G。 Windows主机：迁移工具Edge最多同时采集500台Windows主机，当同时采集500台Windows主机时，安装Edge的主机规格最低要求为16U32G，且可使用内存不小于8G。

自定义参数说明 在创建 数据湖探索 DLI校验任务时，支持的自定义参数及说明参见表1。 表1 DLI校验任务支持的自定义参数说明 参数名称 默认值 描述 mgc.mc2dli.table.partition.enable true DLI表分区为空或者分区不存在时需要通过查询DLI的元数据去判断分区存不存在。 true：查询DLI表的分区，空分区效验状态为成功，分区不存在状态为失败。 false：不查询DLI表的分区，空分区或者分区不存在效验状态都为成功 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.autoBroadcastJoinThreshold 209715200 配置执行连接时显示所有工作节点的表的最大字节大小。通过将此值设置为“-1”，可以禁用显示。 说明： 当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark.sql.dynamicPartitionOverwrite.enabled false 当前配置设置为“false”时，DLI在覆盖写之前，会删除所有符合条件的分区。例如，分区表中有一个“2021-01”的分区，当使用INSERT OVERWRITE语句向表中写入“2021-02”这个分区的数据时，会把“2021-01”的分区数据也覆盖掉。 当前配置设置为“true”时，DLI不会提前删除分区，而是在运行时覆盖那些有数据写入的分区。 spark.sql.files.maxPartitionBytes 134217728 读取文件时要打包到单个分区中的最大字节数。 spark.sql.badRecordsPath - Bad Records的路径。 spark.sql.legacy.correlated.scalar.query.enabled false 该参数设置为true： 当子查询中数据不重复的情况下，执行关联子查询，不需要对子查询的结果去重。 当子查询中数据重复的情况下，执行关联子查询，会提示异常，必须对子查询的结果做去重处理，比如max(),min()。 该参数设置为false： 不管子查询中数据重复与否，执行关联子查询时，都需要对子查询的结果去重，比如max(),min()，否则提示异常。 父主题： 大数据校验

准备工作 创建迁移项目。 通过资源采集，完成主机资源的发现与采集。MgC提供了三种主机采集方式，您可以根据实际场景和您源端主机所在的云平台，选择适合的采集方式。 源端主机位于云平台：源端为阿里云、华为云、AWS、腾讯云、Azure等云平台主机，推荐使用公网采集，也可以使用各场景通用的手动添加方式。 源端主机位于线下IDC：推荐使用内网采集，通过网段扫描或VMware扫描，采集源端主机资源，也可以使用各场景通用的手动添加方式。 在源端内网环境中安装迁移工具Edge并注册用户，方法和要求请参见安装Windows版本的Edge。安装并注册成功后，将Edge与云端MgC控制台建立连接，方法请参考连接迁移中心。

列举节点和迁移节点安全组配置 方向 优先级 策略 类型 协议端口 目的地址/源地址 描述 入方向 1 允许 IPv6 全部 Master节点安全组 允许列举和迁移节点与Master通信 入方向 1 允许 IPv4 全部 Master节点安全组 允许列举和迁移节点与Master通信 入方向 1 允许 IPv4 全部 列举和迁移节点安全组 允许安全组内的虚拟机通信 入方向 1 允许 IPv6 全部 列举和迁移节点安全组 允许安全组内的虚拟机通信 出方向 1 允许 IPv4 全部 0.0.0.0/0 放通出方向流量，实现和源端通信 出方向 1 允许 IPv6 全部 ::/128 放通出方向流量，实现和源端通信 出方向 1 允许 IPv6 全部 Master节点安全组 允许列举和迁移节点与Master通信 出方向 1 允许 IPv4 全部 Master节点安全组 允许列举和迁移节点与Master通信

VPCEP-Service配置 配置项 详细配置 描述 虚拟私有云 在创建集群时的网络配置中选择。 - 服务类型 接口 - 连接审批 是 确保终端节点审核后方可使用。 端口映射 22、9002 用于集群安装和任务下发、管理。 后端资源类型 云服务器 连接Master节点所在的ECS虚拟机。 连接管理 OMS 云服务的VPCEP端点 允许OMS云服务与迁移集群的Master节点通信。 权限管理 OMS云服务白名单 允许OMS云服务的VPCEP端点进行连接。

Master节点安全组配置 方向 优先级 策略 类型 协议端口 目的地址/源地址 描述 入方向 1 允许 IPv4 全部 Master节点安全组 允许安全组内的虚拟机通信 入方向 1 允许 IPv6 全部 Master节点安全组 允许安全组内的虚拟机通信 入方向 1 允许 IPv4 TCP : 22 198.19.128.0/17 云服OMS云服务和Master节点通信，实现集群安装。 入方向 1 允许 IPv4 TCP : 9002 198.19.128.0/17 云服OMS云服务和Master节点通信，实现任务下发、管理 入方向 1 允许 IPv6 全部 列举和迁移节点安全组 允许列举和迁移节点与Master通信 入方向 1 允许 IPv4 全部 列举和迁移节点安全组 允许列举和迁移节点与Master通信 出方向 1 允许 IPv6 全部 ::/128 放通出方向流量，实现和源端通信 出方向 1 允许 IPv4 全部 0.0.0.0/0 放通出方向流量，实现和源端通信 出方向 1 允许 IPv6 全部 列举和迁移节点安全组 允许列举和迁移节点与Master通信 出方向 1 允许 IPv4 全部 列举和迁移节点安全组 允许列举和迁移节点与Master通信

迁移集群包含的资源类型和介绍 资源类型 创建时可配置 是否必须 规格数量 名称 描述 ECS 是 是 Master节点：1台 迁移节点：根据创建集群时的参数配置创建 列举节点：根据创建集群时的参数配置创建 “oms_cluster_ecs_” + 节点id 承载迁移插件，实现对迁移任务的管理、调度以及数据的迁移。 NAT 是 否 1个 “oms_cluster_nat_” + 集群id 公网模式下，实现列举节点、迁移节点和源端通信，实现数据的列举和迁移。 LTS 是 否 1个 主机组名称：“oms_lts_host_group_” + 集群id 保存和搜索迁移集群中的日志。 创建集群时未勾选“启用LTS服务”，则不会创建。 主机组标识：“oms_lts_host_group_label_” + 集群id 日志组名称：“oms_lts_log_group_” + 集群id 日志流名称：“oms_lts_stream_group_” + 集群id 日志接入名称：“oms_lts_access_config_” + 集群id VPCEP-Service 否 是 1个 regionName + “oms-cluster” + serviceId 允许OMS云服务与迁移集群的Master节点通信，实现迁移任务的管理。 配置详情请查看VPCEP-Service配置。 安全组 否 是 2个 “oms_cluster_sg_master_” + 集群id 迁移集群Master节点的安全组，实现与OMS云服务以及迁移集群内部通信。 安全组配置详情请查看Master节点安全组配置。 “oms_cluster_sg_agent_” + 集群id 迁移集群列举节点和迁移节点的安全组，用于迁移集群内部通信。 安全组配置详情请查看列举节点和迁移节点安全组配置。

配置SNAT转换规则 配置完SNAT转换规则后，如果ECS重启，则需要重新配置。 登录购买的ECS主机。 依次执行下列两条命令： sysctl net.ipv4.ip_forward=1 该命令用于启用 Linux 主机上的 IP 转发功能。 iptables -t nat -A POSTROUTING -o eth0 -s {DLI弹性资源池所在网段} -j SNAT --to {ECS私网IP} 设置iptables规则以进行 网络地址转换 。