华为云用户手册

采用接口三连接数据库 使用DriverManager.getConnection(String url, Properties info)接口创建数据库连接，命令如下： 导入java.sql.Connection、java.sql.DriverManager、java.util.Properties。 java.util.Properties的setProperty() 方法，用于设置Properties 对象的属性值。此外，用户需要根据实际的应用场景，再导入其他的接口和类，具体请参见JDBC接口参考。 1 2 3 import java.sql.Connection; import java.sql.DriverManager; import java.util.Properties; 指定数据库sourceURL（$ip、$port、database需要用户自行修改）、用户名和密码。 用户名和密码直接写到代码中有很大的安全风险，建议在环境变量中存放。 String sourceURL = "jdbc:gaussdb://$ip:$port/database"; String userName = System.getenv("EXAMPLE_USERNAME_ENV"); String password = System.getenv("EXAMPLE_PASSWORD_ENV"); 创建Properties 对象，并将userName和password设置为该对象的属性值。 Properties info = new Properties(); info.setProperty("user", userName); info.setProperty("password", password); 加载驱动。 在代码运行工具（如IDE）中添加gaussdbjdbc.jar包。 执行以下命令加载数据库驱动程序“com.huawei.gaussdb.jdbc.Driver”。 String driver = "com.huawei.gaussdb.jdbc.Driver"; Class.forName(driver); 创建数据库连接。 调用DriverManager.getConnection(String url, Properties info)，进行数据库连接。 1 Connection conn = DriverManager.getConnection(sourceURL, info);

加载驱动方式介绍 加载驱动有两种方式： 在代码中创建连接之前在任意位置隐含装载： Class.forName("com.huawei.gaussdb.jdbc.Driver"); 在JVM启动时参数传递，jdbctest为测试用例程序的名称。 java -Djdbc.drivers=com.huawei.gaussdb.jdbc.Driver jdbctest; 由于 GaussDB 在JDBC的使用上与PG的使用方法保持兼容，所以同时在同一进程内使用两个JDBC驱动的时候，可能会造成类名冲突。 GaussDB JDBC驱动主要做了以下特性的增强： 支持SHA256加密方式登录。 支持对接实现sf4j接口的第三方日志框架。 支持容灾切换。

解决方案 数据库用户 数据库用户的主要用途是使用该用户账号连接数据库、访问数据库对象和执行SQL语句。在连接数据库时，必须使用一个已经存在的数据库用户。因此，作为数据库管理员，需要为每一个需要连接数据库的使用者规划一个数据库用户。 在创建数据库用户时，至少需要指定用户名和密码。 默认情况下，数据库用户可以分为两大类，详细信息请参见表1。 表1 用户分类 分类 描述 初始用户 具有数据库的最高权限，并且具有所有的系统权限和对象权限。初始用户不受对象的权限设置影响。这个特点类似Unix系统的root的权限。从安全角度考虑，除了必要的情况，建议尽量避免以初始用户身份操作。 在安装数据库或者初始化数据库时，可以指定初始用户名和密码。如果不指定用户名则会自动生成一个与安装数据库的OS用户同名的初始用户。如果不指定密码则安装后初始用户密码为空，需要通过gsql客户端设置初始用户的密码后才能执行其他操作。 说明： 基于安全性考虑，GaussDB Kernel禁止了所有用户trust方式的远程登录方式，禁止了初始用户的任何方式的远程登录。 普通用户 默认可以访问数据库的默认系统表和视图（pg_authid、pg_largeobject、pg_user_status和pg_auth_history除外），可以连接默认的数据库postgres以及使用public模式下的对象（包括表、视图和函数等）。 可以通过CREATE USER、ALTER USER指定系统权限，或者通过GRANT ALL PRIVILEGE授予SYSADMIN权限。 可以通过GRANT语句授予某些对象的权限。 可以通过GRANT语法将其他角色或用户的权限授权给该用户。 数据库权限分类 通过权限和角色，可以控制用户访问指定的数据，以及执行指定类型的SQL语句。详细信息请参见表2。 系统权限只能通过CREATE/ALTER USER、CREATE/ALTER ROLE语句指定（其中SYSADMIN还可以通过GRANT/REVOKE ALL PRIVILEGES的方式赋予、回收），无法从角色继承。 表2 权限分类 分类 描述 系统权限 系统权限又称为用户属性，可以在创建用户和修改用户时指定，包括SYSADMIN、MONADMIN、OPRADMIN、POLADMIN、CREATEDB、CREATEROLE、AUDITADMIN和 LOG IN。 系统权限一般通过CREATE/ALTER USER语句指定。除了SYSADMIN外的其他系统权限，无法通过GRANT/REVOKE进行授予和撤销。并且，系统权限无法通过ROLE被继承。 对象权限 对象权限是指在表、视图、索引和函数等数据库对象上执行各种操作的权限，对象权限包括SELECT、INSERT、UPDATE和DELETE等。 只有对象的所有者或者系统管理员才可以执行GRANT/REVOKE语句来分配/撤销对象权限。 角色 角色是一组权限的集合，可以将一个角色的权限赋予其他角色和用户。 由于无法给其他角色和用户赋予系统权限，所以角色只有是对象权限的集合时才有意义。 数据库权限模型 系统权限模型 默认权限机制 图1 权限架构 权限架构如图1，默认权限机制下sysadmin具有大多数的权限。 初始安装用户：集群安装过程中自动生成的账户，拥有系统的最高权限，能够执行所有的操作。 SYSADMIN：系统管理员权限，权限仅次于初始安装用户，默认具有与对象所有者相同的权限，但不包括监控管理员权限和运维管理员权限。 MONADMIN：监控管理员权限，具有监控模式dbe_perf及模式下视图和函数的访问权限和授予权限。 OPRADMIN：运维管理员权限，具有使用Roach工具执行备份恢复的权限。 CREATEROLE：安全管理员权限，具有创建、修改、删除用户/角色的权限。 AUDITADMIN：审计管理员权限，具有查看和维护数据库审计日志的权限。 CREATEDB：具有创建数据库的权限。 POLADMIN：安全策略管理员权限，具有创建资源标签，数据动态脱敏策略和统一审计策略的权限。 三权分立机制 图2 三权分立机制 SYSADMIN：系统管理员权限，不再具有创建、修改、删除用户/角色的权限，也不再具有查看和维护数据库审计日志的权限。 CREATEROLE：安全管理员权限，具有创建、修改、删除用户/角色的权限。 AUDITADMIN：审计管理员权限，具有查看和维护数据库审计日志的权限。 一个用户/角色只能具有SYSADMIN、CREATEROLE和AUDITADMIN中的一项系统权限。 对象权限模型 对象权限：指在数据库、模式、表等数据库对象上执行特定动作的权限，比如：SELECT、INSERT、UPDATE、DELETE和CONNECT等。 针对不同的数据库对象有不同的对象权限，相应地可以被授予用户/角色。 通过GRANT/REVOKE来传递对象权限，对象权限可以通过角色被继承。 角色权限模型 GaussDB Kernel提供了一组默认角色，以gs_role_开头命名。它们提供对特定的、通常需要高权限操作的访问，可以将这些角色GRANT给数据库内的其他用户或角色，让这些用户能够使用特定的功能。在授予这些角色时应当非常小心，以确保它们被用在需要的地方。表3描述了内置角色允许的权限范围。 表3 内置角色权限 角色 权限描述 gs_role_copy_files 具有执行copy … to/from filename的权限，但需要先打开GUC参数enable_copy_server_files。 gs_role_signal_backend 具有调用函数pg_cancel_backend()、pg_terminate_backend()和pg_terminate_session()来取消或终止其他会话的权限，但不能操作属于初始用户和PERSISTENCE用户的会话。 gs_role_tablespace 具有创建表空间（tablespace）的权限。 gs_role_replication 具有调用逻辑复制相关函数的权限，例如kill_snapshot()、pg_create_logical_replication_slot()、pg_create_physical_replication_slot()、pg_drop_replication_slot()、pg_replication_slot_advance()、pg_create_physical_replication_slot_extern()、pg_logical_slot_get_changes()、pg_logical_slot_peek_changes()，pg_logical_slot_get_binary_changes()、pg_logical_slot_peek_binary_changes()。 gs_role_account_lock 具有加解锁用户的权限，但不能加解锁初始用户和PERSISTENCE用户。 gs_role_pldebugger 具有执行dbe_pldebugger下调试函数的权限。 gs_role_directory_create 具有执行创建directory对象的权限，但需要先打开GUC参数enable_access_server_directory。 gs_role_directory_drop 具有执行删除directory对象的权限，但需要先打开GUC参数enable_access_server_directory。 系统权限配置 默认权限机制配置方法 初始用户 数据库安装过程中自动生成的账户称为初始用户。初始用户也是系统管理员、监控管理员、运维管理员和安全策略管理员，拥有系统的最高权限，能够执行所有的操作。如果安装时不指定初始用户名称则该账户与进行数据库安装的操作系统用户同名。如果在安装时不指定初始用户的密码，安装完成后密码为空，在执行其他操作前需要通过gsql客户端修改初始用户的密码。如果初始用户密码为空，则除修改密码外无法执行其他SQL操作以及升级、扩容和节点替换等操作。 初始用户会绕过所有权限检查。建议仅将此初始用户作为DBA管理用途，而非业务用途。 系统管理员 gaussdb=#CREATE USER u_sysadmin WITH SYSADMIN password '********'; --或者使用如下SQL，效果一样，需要该用户已存在。 gaussdb=#ALTER USER u_sysadmin01 SYSADMIN; 监控管理员 gaussdb=#CREATE USER u_monadmin WITH MONADMIN password '********'; --或者使用如下SQL，效果一样，需要该用户已存在。 gaussdb=#ALTER USER u_monadmin01 MONADMIN; 运维管理员 gaussdb=#CREATE USER u_opradmin WITH OPRADMIN password "xxxxxxxxx"; --或者使用如下SQL，效果一样，需要该用户已存在。 gaussdb=#ALTER USER u_opradmin01 OPRADMIN; 安全策略管理员 gaussdb=#CREATE USER u_poladmin WITH POLADMIN password "xxxxxxxxx"; --或者使用如下SQL，效果一样，需要该用户已存在。 gaussdb=#ALTER USER u_poladmin01 POLADMIN; 三权分立机制配置方式 此模式需要设置guc参数“enableSeparationOfDut”y的值为“on”，该参数为POSTMASTER类型参数，修该完之后需要重启数据库。 gs_guc set -Z datanode -N all -I all -c "enableSeparationOfDuty=on" gs_om -t stop gs_om -t start 创建和配置相应的用户权限的语法和默认权限一致。 角色权限配置 --创建数据库test gaussdb=#CREATE DATABASE test; --创建角色role1，创建用户user1 gaussdb=#CREATE ROLE role1 PASSWORD '********'; gaussdb=#CREATE USER user1 PASSWORD '********'; --赋予CREATE ANY TABLE权限角色role1 gaussdb=#GRANT CREATE ON DATABASE test TO role1; --将角色role1赋予给用户user1,则用户user1属于组role1,继承role1的相应权限可以在test数据库中创建模式。 gaussdb=#GRANT role1 TO user1; --查询用户和角色信息 gaussdb=#\du role1|user1; List of roles Role name | Attributes | Member of -----------+--------------+----------- role1 | Cannot login | {} user1 | | {role1}

背景 一个数据库可能有很多的用户需要访问，为了方便管理这些用户，将用户组成一个数据库角色。一个数据库角色可以视为一个数据库用户或者一组数据库用户。 对于数据库来说，用户和角色是基本相同的概念，不同之处在于，使用CREATE ROLE创建角色，不会创建同名的SCHEMA，并且默认没有LOGIN权限；而使用CREATE USER创建用户，会自动创建同名的SCHEMA，默认有LOGIN权限。换句话说，一个拥有LOGIN权限的角色可以被认为是一个用户。在业务设计中，仅建议通过ROLE来组织权限，而不是用来访问数据库。

什么是MVCC？ 答：MVCC，即Muti-Version Concurrency Control（多版本并发控制）。MVCC是数据库并发控制协议的一种，写事务不会立即修改元组内容，每次操作都会在旧的版本之上创建新的版本，并且会保留旧的版本。当某个事务要读取数据时，数据库系统会从所有版本中选取出符合改事务隔离级别要求的版本。 MVCC的主要优点是：读数据的锁请求和写数据的锁请求不冲突，可以实现读不阻塞写，写不阻塞读。 父主题： FAQ

存储过程 商业规则和业务逻辑可以通过程序存储在GaussDB中，这个程序就是存储过程。 存储过程是SQL和PL/SQL的组合。存储过程使执行商业规则的代码可以从应用程序中移动到数据库。从而，代码存储一次能够被多个程序使用。 存储过程的创建及调用办法请参考CREATE PROCEDURE。 PL/SQL语言函数节所提到的PL/SQL语言创建的函数与存储过程的应用方法相通。下面各节中，除非特别声明，否则内容通用于存储过程和PL/SQL语言函数。 父主题： 存储过程

函数和存储过程的区别是什么？ 答：函数和存储过程是数据库中常见的两种对象，两者都可以封装一系列的SQL语句，以完成某些特定的操作。两者区别见表1： 表1 函数和存储过程的区别 函数 存储过程 函数的标识符为FUNCTION。 存储过程标识符为PROCEDURE。 函数必须有返回值。 存储过程可以有返回值，也可以没有返回值。 函数只可以输入参数。 存储过程可以输入输出参数。 函数只可以调用SELECT语句，不可以对表中的数据作出修改。 存储过程可以对表中的数据作出修改，如UPDATE、DELETE和INSERT等。 不可以在函数中调用存储过程。 可以在存储过程中调用函数和存储过程。可以简化一系列复杂语句。 函数适用于需要返回单个值的情况，比如计算某个数据、字符串处理、返回表等。 存储过程适用于需要执行DML操作的情况，比如批量插入、更新、删除数据等。 父主题： FAQ

常用方法 表1 CopyManager常用方法 方法名 返回值类型 描述 throws 支持JDBC4 copyIn(String sql) CopyIn - SQLException Yes copyIn(String sql, InputStream from) long 使用COPY FROM STDIN从InputStream中快速向数据库中的表加载数据。 SQLException,IOException Yes copyIn(String sql, InputStream from, int bufferSize) long 使用COPY FROM STDIN从InputStream中快速向数据库中的表加载指定长度的数据。 SQLException,IOException Yes copyIn(String sql, Reader from) long 使用COPY FROM STDIN从Reader中快速向数据库中的表加载数据。 SQLException,IOException Yes copyIn(String sql, Reader from, int bufferSize) long 使用COPY FROM STDIN从Reader中快速向数据库中的表加载指定长度的数据。 SQLException,IOException Yes copyOut(String sql) CopyOut - SQLException Yes copyOut(String sql, OutputStream to) long 将一个COPY TO STDOUT的结果集从数据库发送到OutputStream类中。 SQLException,IOException Yes copyOut(String sql, Writer to) long 将一个COPY TO STDOUT的结果集从数据库发送到Writer类中。 SQLException,IOException Yes 本接口类不支持计划外ALT特性。

PGReplicationStream的继承关系 PGReplicationStream是逻辑复制的接口，实现类是V3PGReplicationStream，该类位于com.huawei.gaussdb.jdbc.core.v3.replication Package中，该类的声明如下： public class V3PGReplicationStream implements PGReplicationStream

常用方法 表1 PGReplicationStream常用方法 方法名 返回值类型 描述 throws close() void 结束逻辑复制，并释放资源。 SQLException forceUpdateStatus() void 强制将上次接收、刷新和应用的 LSN 状态发送到后端。 SQLException getLastAppliedLSN() LogSequenceNumber 获取上次主机日志回放的LSN。 - getLastFlushedLSN() LogSequenceNumber 获取上次主机刷新的LSN，即当前逻辑解码推进的LSN。 - getLastReceiveLSN() LogSequenceNumber 获取上次接收的LSN（针对LSN序复制槽）或 CS N（针对CSN序复制槽）。 - isClosed() boolean 复制流是否关闭。 - read() ByteBuffer 从后端读取下一条WAL记录。如果读取不到，该方法阻塞I/O读。 SQLException readPending() ByteBuffer 从后端读取下一条WAL记录。如果读取不到，该方法不阻塞I/O读。 SQLException setAppliedLSN(LogSequenceNumber applied) void 设置应用的LSN。 - setFlushedLSN(LogSequenceNumber flushed) void 设置刷新的LSN（针对LSN序复制槽）或CSN（针对CSN序复制槽），在下次更新时发送至后端，用于推进服务端LSN（针对LSN序复制槽）或CSN（针对CSN序复制槽）。 - 本接口类不支持计划外ALT特性。

接口介绍 高级功能包DBE_UTILITY支持的所有接口请参见表1。 表1 DBE_UTILITY 接口名称 描述 DBE_UTILITY.FORMAT_ERROR_BACKTRACE 输出存储过程异常的调用堆栈。 DBE_UTILITY.FORMAT_ERROR_STACK 输出存储过程异常的具体信息。 DBE_UTILITY.FORMAT_CALL_STACK 输出存储过程的调用堆栈。 DBE_UTILITY.GET_TIME 输出当前时间，一般用于做差得到执行时长。 DBE_UTILITY.CANONICALIZE 用于给表名字符串做规范。 DBE_UTILITY.COMMA_TO_TABLE 将用逗号隔开的名字列表的字符串转换为PL/SQL表名列表。 DBE_UTILITY.DB_VERSION 返回数据库的版本号和兼容性版本号。 DBE_UTILITY.EXEC_DDL_STATEMENT 用于执行用户输入的DDL语句。 DBE_UTILITY.EXPAND_SQL_TEXT_PROC 用于展开SQL查询的视图。 DBE_UTILITY.GET_CPU_TIME 返回当前CPU处理时间的测量值。 DBE_UTILITY.GET_ENDIANNESS 用于获取数据库所在平台字节序的大小端信息。 DBE_UTILITY.GET_HASH_VALUE 返回一个给定字符串的哈希值。 DBE_UTILITY.GET_SQL_HASH 输出一个给定字符串的哈希值，该存储过程在不打开proc_outparam_override时使用。 DBE_UTILITY.IS_BIT_SET 用于检查参数n是否存在于r。 DBE_UTILITY.IS_CLUSTER_DATABASE 用于判断当前数据库是否在数据库集群模式下运行。 DBE_UTILITY.NAME_RESOLVE 解析给定的对象名称，包括同义词翻译和必要的授权检查。 DBE_UTILITY.NAME_TOKENIZE 用于解析a [. b [. c ]][@ dblink ]形式的名字。 DBE_UTILITY.OLD_CURRENT_SCHEMA 返回当前用户环境下的数据库模式名称。 DBE_UTILITY.OLD_CURRENT_USER 返回当前用户的名称。 DBE_UTILITY.TABLE_TO_COMMA 将PL/SQL中的表名转换为用逗号隔开的名字列表的字符串。 DBE_UTILITY.GET_SQL_HASH_FUNC 功能同DBE_UTILITY.GET_SQL_HASH，该函数在打开proc_outparam_override时使用。 DBE_UTILITY.EXPAND_SQL_TEXT 内部函数，不建议用户使用。 DBE_UTILITY.CANONICALIZE_RET 内部函数，不建议用户使用。 DBE_UTILITY.COMMA_TO_TABLE_FUN 内部函数，不建议用户使用。 DBE_UTILITY.COMPILE_SCH.... 内部函数，不建议用户使用，推荐使用pkg_util.gs_compile_schema。 DBE_UTILITY.NAME_SEPARATE 内部函数，不建议用户使用。 DBE_UTILITY.NAME_TOKENIZE_FUNC 内部函数，不建议用户使用。 DBE_UTILITY.NAME_TOKENIZE_LOWER 内部函数，不建议用户使用。 DBE_UTILITY.NAME_TOKENIZE_LOWER_FUNC 内部函数，不建议用户使用。 DBE_UTILITY.PRIVILEGE_CHECK 内部函数，不建议用户使用。 DBE_UTILITY.SEARCH_CLASS_WITH_NSPOID_ONAME_TYPE 内部函数，不建议用户使用。 DBE_UTILITY.SEARCH_OBJE CTS 内部函数，不建议用户使用。 DBE_UTILITY.SEARCH_OBJECTS_SYNONYM_FILL_SECHEMA 内部函数，不建议用户使用。 DBE_UTILITY.SEARCH_PROCEDURE_WITH_NSPOID_ONAME 内部函数，不建议用户使用。 DBE_UTILITY.SEARCH_SYNONM_WITH_NSPOID_ONAME 内部函数，不建议用户使用。 DBE_UTILITY.TABLE_TO_COMMA_FUNC 内部函数，不建议用户使用。 DBE_UTILITY.USER_NAME 内部函数，不建议用户使用。 DBE_UTILITY.FORMAT_ERROR_BACKTRACE 存储过程FORMAT_ERROR_BACKTRACE返回在执行过程中出现错误时，出现错误位置的调用堆栈。DBE_UTILITY.FORMAT_ERROR_BACKTRACE函数原型为： 1 2 DBE_UTILITY.FORMAT_ERROR_BACKTRACE() RETURN TEXT; DBE_UTILITY.FORMAT_ERROR_STACK 存储过程FORMAT_ERROR_STACK返回在执行过程中出现错误时，出现错误位置的具体信息。DBE_UTILITY.FORMAT_ERROR_STACK函数原型为： 1 2 DBE_UTILITY.FORMAT_ERROR_STACK() RETURN TEXT; DBE_UTILITY.FORMAT_CALL_STACK 存储过程FORMAT_CALL_STACK设置输出函数调用堆栈。DBE_UTILITY.FORMAT_CALL_STACK函数原型为： 1 2 DBE_UTILITY.FORMAT_CALL_STACK() RETURN TEXT; DBE_UTILITY.COMPILE_SCHEMA 重编译指定schema下的PL/SQL类型包和函数（系统自带的包和函数除外）， DBE_UTILITY.COMPILE_SCHEMA函数原型为： DBE_UTILITY.COMPILE_SCHEMA ( SCHEMA IN VARCHAR2, COMPILE_ALL IN BOOLEAN DEFAULT TRUE, REUSE_SETTINGS IN BOOLEAN DEFAULT FALSE ) RETURNS VOID； 示例参考11.12.1.2中pkg_util.utility_compile_schema函数使用方式， 调用处改为： call DBE_UTILITY.compile_schema('pkg_var_test'); DBE_UTILITY.GET_TIME 存储过程GET_TIME设置输出时间，通常用于做差，单独的返回值没有意义。DBE_UTILITY.GET_TIME函数原型为： 1 2 DBE_UTILITY.GET_TIME() RETURN BIGINT;

关闭连接 libpq通常使用PQfinish函数来关闭与数据库的连接。如果你的应用程序建立了多个连接，则需要确保每个连接都被正确关闭。 示例如下（完整示例请参考数据库建连、执行SQL并返回结果）： /* 关闭入口 ... 不用检查错误 ... */ res = PQexec(conn, "CLOSE myportal"); PQclear(res); /* 结束事务 */ res = PQexec(conn, "END"); PQclear(res); /* 关闭数据库连接并清理 */ PQfinish(conn); 父主题： 开发步骤

MY_TAB_COLUMNS MY_TAB_COLUMNS视图显示当前用户拥有的表和视图的字段信息。该视图同时存在于PG_CATALOG和SYS Schema下。该视图所有用户可访问，仅显示该用户所属的信息。 表1 MY_TAB_COLUMNS字段 名称 类型 描述 owner character varying(64) 表的所有者。 table_name character varying(64) 表名称。 column_name character varying(64) 列名。 data_type character varying(128) 列的数据类型。 data_type_mod character varying(3) 暂不支持，值为NULL。 data_type_owner character varying(128) 列的数据类型的所有者。 data_length integer 列的字节长度。 data_precision integer 数据类型的精度，对于numeric数据类型有效，其他类型为NULL。 data_scale integer 小数点右边的位数，对于numeric数据类型有效，其他类型为0。 nullable bpchar 该列是否允许为空，对于主键约束和非空约束，该值为n。取值范围： y：允许。 n：不允许。 column_id integer 创建表时列的序号。 default_length numeric 列的默认值字节长度。 data_default text 列的默认值。 num_distinct numeric 列中不同值的数量。 low_value raw 列中的最小值。 high_value raw 列中的最大值。 density numeric 列密度。 num_nulls numeric 列中空值数。 num_buckets numeric 列的直方图的桶数。 last_analyzed timestamp(0) without time zone 上次分析的日期。 sample_size numeric 用于分析此列的样本量。 character_set_name character varying(44) 暂不支持，值为NULL。 char_col_decl_length numeric 字符类型列的声明长度。 global_stats character varying(3) 暂不支持，值为NO。 user_stats character varying(3) 暂不支持，值为NO。 avg_col_len numeric 列的平均长度（单位字节）。 char_length numeric 列的长度（单位字符），只对varchar，nvarchar2，bpchar，char类型有效。 char_used character varying(1) 暂不支持，varchar，bpchar，char类型值为B，nvarchar2类型置C，其余值为NULL。 v80_fmt_image character varying(3) 暂不支持，值为NULL。 data_upgraded character varying(3) 暂不支持，值为YES。 histogram character varying(15) 表示直方图是否存在，如果存在的话是什么类型： NONE：表示不存在直方图。 FREQUENCY：表示频率直方图。 EQUI_W IDT H：表示等宽直方图。 default_on_null character varying(3) 暂不支持，值为NULL。 identity_column character varying(3) 暂不支持，值为NULL。 sensitive_column character varying(3) 暂不支持，值为NULL。 evaluation_edition character varying(128) 暂不支持，值为NULL。 unusable_before character varying(128) 暂不支持，值为NULL。 unusable_beginning character varying(128) 暂不支持，值为NULL。 collation character varying(100) 列的排序规则。因该字段与保留关键字冲突，调用该字段需加视图名。 comments text 列的注释。 schema character varying(64) 列所属的名称空间的名称。 父主题： 其他系统视图

删除日志组 如果日志组不再需要使用，可以删除日志组。日志组删除后，日志组中的日志流、日志数据将被同时删除。删除日志组会导致用户日志相关业务异常，日志组删除后无法恢复，请谨慎操作。 如果日志组绑定了日志转储任务，删除日志组之前，需要先删除该日志组关联的日志转储任务。 在日志组列表中，单击待删除日志组操作列下的“删除”。 在弹出框中输入“DELETE”后，单击“确定”，完成日志组删除。 图1 删除日志组

创建日志组 登录 云日志 服务控制台。 进入“日志管理”页面，单击“创建日志组”。 在“创建日志组”页面中，参考表1填写日志组相关信息。 表1 日志组参数说明 参数 说明 日志组名称 日志组名称只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。长度为1-64个字符。 日志采集后，将发送到对应的日志组中的日志流。如果日志较多，需要分门别类，建议您给日志组做好命名，方便后续快速查找日志。 企业项目 选择业务需要的企业项目，也可单击“查看企业项目”，在企业项目管理页面查看全部企业项目。 企业项目是一种云资源管理方式，企业项目管理服务提供统一的云资源按项目管理，以及项目内的资源管理、成员管理。 说明： 企业项目需要开通后才能使用，请参考如何开通企业项目。 日志存储时间(天) 日志组的存储时间，即日志上报到LTS后日志存储的时间。 日志数据默认存储30天，可以在1~365天之间设置。 云日志服务LTS 根据配置的日志存储时间定时清理日志内容，例如日志存储时间为30天，上报到LTS的日志只保存30天，30天后开始删除日志内容。 说明： 目前白名单用户的日志存储时间支持1095天，如有需要，请提工单申请。详细操作请参考提交工单。 创建日志组免费，使用阶段按照日志量收费，详细请参考价格计算器。 标签 按照业务需求对不同的日志组添加对应的标签。单击“添加标签”，分别填写标签键key和标签值value，开启应用到日志流。 如需添加多个标签可重复该步骤，最多支持添加20个标签。 如需删除标签可单击标签操作列的“删除”。 标签键长度不能超过128个字符；标签值长度不能超过255个字符。 标签键名称不可重复。 如果配置转储时使用了该标签，删除标签后，请同步修改转储配置信息。 说明： 若您的组织已经设定云日志服务的相关标签策略，则需按照标签策略规则为日志组、日志流、日志接入、主机组添加标签。标签如果不符合标签策略的规则，则可能会导致日志组、日志流、日志接入、主机组创建失败，请联系组织管理员了解标签策略详情。标签策略详细介绍请参考标签策略概述，标签管理详细介绍请参考标签管理。 备注 自定义填写备注信息，字符长度0-1024个字符。 单击“确定”，日志组创建成功，即可在日志组列表下方生成一条日志组信息。 在日志组列表中，可以查看日志组名称、标签、日志流数量等信息。 单击日志组名称，可跳转到日志流详情页面。 并发创建时，可能会偶现创建个数超过限制。

Nginx Nginx是通过log_format指令来自定义访问日志的格式。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 在“步骤2 输入Nginx日志配置”中需要输入Nginx日志配置，根据输入或选择的日志进行配置。其中有默认配置可使用，单击“默认Nginx配置”即可。 标准Nginx配置文件中，日志配置的部分通常以log_format开头。 日志格式 默认配置如下所示。 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; 用户也可进行自定义配置，具体配置格式要求如下所示。 使用Nginx配置，不可为空 以log_format开头，并且包含（'）和字段名称 长度最大限制为5000 需要与示例日志内容匹配 log_format字段之间的间隔，除大小字母、数字、下划线及中划线外，可使用其他任意字符 以（'）或者（';）结尾 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤3 字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 39.149.31.187 - - [12/Mar/2020:12:24:02 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36" "-" 并使用如下Nginx日志配置。 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; 当日志提取字段的类型为float时，精确度为7位有效数字。 如果超过7位有效数字的话，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

分隔符 分隔符是使用分隔符（例如：逗号、空格或字符）提取字段。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 在“步骤2 指定分隔符”需要根据原始日志内容选择分隔符，或自定义其他需要的特殊字符作为分隔符。 不可见字符需要输入0x开头的16进制字符，长度为0-4个字符，总共32个不可见字符。 自定义字符支持输入1-10个字符，每个字符都作为独立的分隔符。 自定义字符串支持输入1-30个字符，字符串整体作为一个分隔符。 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤3字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 1 5f67944957444bd6bb4fe3b367de8f3d 1d515d18-1b36-47dc-a983-bd6512aed4bd 192.168.0.154 192.168.3.25 38929 53 17 1 96 1548752136 1548752736 ACCEPT OK 当日志提取字段的类型为float时，精确度为7位有效数字。 如果超过7位有效数字的话，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

JSON JSON是通过提取JSON字段将其拆分为键值对。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤2 字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 {"a1": "a1", "b1": "b1", "c1": "c1", "d1": "d1"} 当日志提取字段的类型为float时，精度为16位有效数字。如果超过16位有效数字，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 当日志提取字段的类型为long时，日志内容超过16位有效数字，只会精确显示前16位有效数字，后面的数字会变为0。 当日志提取字段的类型为long时，日志内容超过21位有效数字，则会识别为float类型，建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

云端结构化解析 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择“云端结构化解析”，进行日志结构化配置。 正则分析：使用正则表达式提取字段。 JSON：通过提取JSON字段将其拆分为键值对。 分隔符：使用分隔符（例如：冒号、空格或字符等）提取字段。 Nginx：通过log_format指令来自定义访问日志的格式。 结构化模板：通过自定义模板或系统内置模板提取字段。 云端结构化解析配置完成后，支持修改或删除结构化配置。 在云端结构化解析页面中，单击，修改结构化配置。 在云端结构化解析页面中，单击，删除结构化配置。 结构化配置删除后，将无法恢复，请谨慎操作。

分隔符 分隔符是使用分隔符（例如：逗号、空格或字符）提取字段。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 在“步骤2 指定分隔符”需要根据原始日志内容选择分隔符，或自定义其他需要的特殊字符作为分隔符。 不可见字符需要输入0x开头的16进制字符，长度为0-4个字符，总共32个不可见字符。 自定义字符支持输入1-10个字符，每个字符都作为独立的分隔符。 自定义字符串支持输入1-30个字符，字符串整体作为一个分隔符。 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤3字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 1 5f67944957444bd6bb4fe3b367de8f3d 1d515d18-1b36-47dc-a983-bd6512aed4bd 192.168.0.154 192.168.3.25 38929 53 17 1 96 1548752136 1548752736 ACCEPT OK 当日志提取字段的类型为float时，精确度为7位有效数字。 如果超过7位有效数字的话，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

Nginx Nginx是通过log_format指令来自定义访问日志的格式。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 在“步骤2 输入Nginx日志配置”中需要输入Nginx日志配置，根据输入或选择的日志进行配置。其中有默认配置可使用，单击“默认Nginx配置”即可。 标准Nginx配置文件中，日志配置的部分通常以log_format开头。 日志格式 默认配置如下所示。 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; 用户也可进行自定义配置，具体配置格式要求如下所示。 使用Nginx配置，不可为空 以log_format开头，并且包含（'）和字段名称 长度最大限制为5000 需要与示例日志内容匹配 log_format字段之间的间隔，除大小字母、数字、下划线及中划线外，可使用其他任意字符 以（'）或者（';）结尾 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤3 字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 39.149.31.187 - - [12/Mar/2020:12:24:02 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36" "-" 并使用如下Nginx日志配置。 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; 当日志提取字段的类型为float时，精确度为7位有效数字。 如果超过7位有效数字的话，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

云端结构化解析 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择“云端结构化解析”，进行日志结构化配置。 正则分析：使用正则表达式提取字段。 JSON：通过提取JSON字段将其拆分为键值对。 分隔符：使用分隔符（例如：冒号、空格或字符等）提取字段。 Nginx：通过log_format指令来自定义访问日志的格式。 结构化模板：通过自定义模板或系统内置模板提取字段。 云端结构化解析配置完成后，支持修改或删除结构化配置。 在云端结构化解析页面中，单击，修改结构化配置。 在云端结构化解析页面中，单击，删除结构化配置。 结构化配置删除后，将无法恢复，请谨慎操作。

JSON JSON是通过提取JSON字段将其拆分为键值对。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤2 字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 {"a1": "a1", "b1": "b1", "c1": "c1", "d1": "d1"} 当日志提取字段的类型为float时，精度为16位有效数字。如果超过16位有效数字，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 当日志提取字段的类型为long时，日志内容超过16位有效数字，只会精确显示前16位有效数字，后面的数字会变为0。 当日志提取字段的类型为long时，日志内容超过21位有效数字，则会识别为float类型，建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 若需要指定某一字段作为日志时间，详细请参考自定义日志时间。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

内置保留字段 在采集日志时，云日志服务会将采集时间、日志类型、主机IP等信息以Key-Value对的形式添加到日志中，这些字段是云日志服务的内置字段。 使用API写入日志数据或添加ICAgent配置时，请不要将字段名称设置为内置保留字段，否则可能会造成字段名称重复、查询不精确等问题。 日志服务为日志数据增加的内置保留字段当前免费，后续会按照按量付费方式正常收费（为其开启索引时也会产生少量索引流量及存储费用）。更多信息请参见价格计算器。 用户自定义日志字段名称中不能使用双下划线__，否则无法配置索引。 表4 内置保留字段说明 内置保留字段 数据格式 索引与统计设置 说明 collectTime 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为collectTime创建字段索引，索引数据类型为long类型。 查询时输入collectTime : xxx。 采集时间，指日志被采集器ICAgent采集时的时间。 例如示例中的"collectTime":"1681896081334"，转换成标准时间是2023-04-19 17:21:21 __time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为time创建字段索引，索引数据类型为long类型。该字段不支持查询。 日志时间，指的是日志在控制台页面展示的日志时间。 例如示例中的"__time__":"1681896081334"，转换成标准时间是2023-04-19 17:21:21 日志时间默认使用采集时间，也支持自定义日志时间。 lineNum 整型 索引设置：开启索引后，日志服务默认为lineNum创建字段索引，索引数据类型为long类型。 行号（偏移量），用来排序日志。 非高精度日志会根据collectTime生成，默认是collectTime * 1000000 + 1，高精度日志就是用户上报的纳秒值。 例如示例中的"lineNum":"1681896081333991900"。 category 字符串 索引设置：开启索引后，日志服务默认为category创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入category: xxx。 日志类型，表示该日志的来源。 例如ICAgent采集的日志该字段为LTS，某云服务例如DCS上报的日志该字段为DCS。 clusterName 字符串 索引设置：开启索引后，日志服务默认为clusterName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterName: xxx。 集群名称，k8s场景下集群名称。 例如示例中的"clusterName":"epstest"。 clusterId 字符串 索引设置：开启索引后，日志服务默认为clusterId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入clusterId: xxx。 集群ID，k8s场景下集群ID。例如示例中的"clusterId":"c7f3f4a5-xxxx-11ed-a4ec-0255ac100b07"。 nameSpace 字符串 索引设置：开启索引后，日志服务默认为nameSpace创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入nameSpace: xxx。 命名空间，k8s场景下命名空间。 例如示例中的"nameSpace":"monitoring"。 appName 字符串 索引设置：开启索引后，日志服务默认为appName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入appName: xxx。 组件名称，k8s场景下工作负载的名称。 例如示例中的"appName":"alertmanager-alertmanager"。 serviceID 字符串 索引设置：开启索引后，日志服务默认为serviceID创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入serviceID: xxx。 工作负载ID，k8s场景下工作负载ID。 例如示例中的"serviceID":"cf5b453xxxad61d4c483b50da3fad5ad"。 podName 字符串 索引设置：开启索引后，日志服务默认为podName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podName: xxx。 POD名称，k8s场景下POD名称。 例如示例中的"podName":"alertmanager-alertmanager-0"。 podIp 字符串 索引设置：开启索引后，日志服务默认为podIp创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入podIp: xxx。 pod的ip，k8s场景下pod的IP地址。 例如示例中的"podIp":"10.0.0.145"。 containerName 字符串 索引设置：开启索引后，日志服务默认为containerName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入containerName: xxx。 容器名称，k8s场景下容器名称。 例如示例中的"containerName":"config-reloader"。 hostName 字符串 索引设置：开启索引后，日志服务默认为hostName创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostName: xxx。 主机名称，ICAgent所在主机的名称。 例如示例中的"hostName":"epstest-xx518"。 hostId 字符串 索引设置：开启索引后，日志服务默认为hostId创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostId: xxx。 主机ID，ICAgent所在主机的id，该id由ICAgent生成。例如示例中的"hostId":"318c02fe-xxxx-4c91-b5bb-6923513b6c34"。 hostIP 字符串 索引设置：开启索引后，日志服务默认为hostIP创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIP: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv4场景） 例如示例中的"hostIP":"192.168.0.31"。 hostIPv6 字符串 索引设置：开启索引后，日志服务默认为hostIPv6创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入hostIPv6: xxx。 主机IP，日志采集器所在主机的ip（适用于ipv6场景） 例如示例中的"hostIPv6":""。 pathFile 字符串 索引设置：开启索引后，日志服务默认为pathFile创建字段索引，索引数据类型为string类型，分词字符为空。查询时输入pathFile: xxx。 文件路径，采集的日志文件的路径。 例如示例中的"pathFile":"stdout.log"。 content 字符串 索引设置：开启全文索引后，会使用全文索引定义的分词符对content字段的value进行分词；不支持将content字段配置到字段索引中。 日志原文， 例如示例中的"content":"level=error ts=2023-04-19T09:21:21.333895559Z" __receive_time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为__receive_time__创建字段索引，索引数据类型为long类型。 上报日志的服务端时间，相当于LTS采集端接收到日志的时间。 __client_time__ 整型，Unix时间戳（毫秒） 索引设置：开启索引后，日志服务默认为__client_time__创建字段索引，索引数据类型为long类型。 端侧日志的客户端上报时间。 _content_parse_fail_ 字符串 索引设置：开启索引后，日志服务默认为_content_parse_fail_创建字段索引，索引数据类型为string类型，分词字符为默认分词符。查询时输入_content_parse_fail_: xxx。 上报日志解析失败的日志内容。 __time 整型，Unix时间戳（毫秒） 不支持将__time字段配置到字段索引中。 不涉及。 logContent 字符串 不支持将logContent字段配置到字段索引中。 不涉及。 logContentSize 整型 不支持将logContentSize字段配置到字段索引中。 不涉及。 logIndexSize 整型 不支持将logIndexSize字段配置到字段索引中。 不涉及。 groupName 字符串 不支持将groupName字段配置到字段索引中。 不涉及。 logStream 字符串 不支持将logStream字段配置到字段索引中。 不涉及。

配置字段索引 创建字段索引时，最多支持添加500个字段。其中JSON类型字段，最多支持添加100个子字段。 配置全文索引后，在索引配置页面的 日志分析 下方，单击开启可视化后，配置的字段索引支持SQL可视化分析，否则无法查询到ICAgent结构化的可视化数据。 设置快速分析采样条数，默认值10万条，最小值为10万条，最大值1000万条。通过采样快速统计字段值取值分布，并非对全量数据进行分析，采样条数越多分析数据越慢。 在索引配置页面的字段索引下方，单击“添加字段”，配置字段索引。具体的参数配置请参考表5 自定义字段索引配置参数。 字段索引的参数配置仅对该字段生效。 当添加的字段在日志内容中不存在时，则配置的该索引字段无效。 更多内置字段请参考内置保留字段。 自动配置字段索引：单击“自动配置”，云日志服务会根据采集时预览数据中的第一条内容或常见内置保留字段（例如hostIP、hostName、pathFile）自动生成字段索引，您可以根据自己的需要增加或者删除字段。 批量配置字段索引：批量勾选字段，单击“批量配置”，进行批量配置字段索引。 表3 自定义字段索引配置参数 参数 说明 字段名称 日志字段名称，例如示例日志中的level。 字段名称只能包括字母、数字或下划线（_），且只能以字母或下划线（_）开头，字段名称中不能含有双下划线。 说明： 双下划线（__）在LTS不对用户呈现的内置保留字段中使用，用户自定义日志字段名中不能使用双下划线__，否则无法配置字段索引名称。 日志服务默认会对部分内置保留字段开启字段索引，请参见内置保留字段。 若是内置字段，在字段名称后会显示“内置”字眼，方便用户识别。 执行操作 显示字段的添加状态：新增、不修改、修改、删除。索引字段有变动后，单击“修改对比”，即可查看原配置内容与修改后配置内容的差异。 显示新增的字段不支持修改执行操作。 修改类型、大小写敏感、自定义分词符、特殊分词符、包含中文、快速分析时，会与原索引配置中的字段进行对比，若任意一项不同，则执行操作变为“修改”。 索引配置单击确定后，不会保存执行操作为“删除”的字段。 类型 日志字段值（Value）的数据类型，可选值为string、long、float、json。 说明： 字段json类型只对ICAgent结构化解析生效，对云端结构化解析不生效。 long类型和float类型不支持设置大小写敏感、包含中文和分词符。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志message字段中含有Know，那么您只能使用message:Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志message字段中含有Know，那么您使用关键字message:KNOW和message:know都能查到该日志。 自定义分词符 根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 例如示例日志message字段内容为：I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词I Know 今天是星期一，您只能通过完整字符串message:I Know 今天是星期一或模糊查询message:I Know 今天是*查找该日志。 如果设置分词符为空格，则原始日志被拆分为I、Know、今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如message:Know或message:今天是星期一。 特殊分词符 单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志message字段内容为：I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为I、Know、今天是星期一，您可以通过message:Know或message:今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为I、Know、今、天、是、星、期、一，您通过message:Know或message:今天等词都可以查找到该日志。 快速分析 默认为开启状态，开启后，可以对字段值做采样统计，请参见11.6.4-快速分析。 说明： 快速分析的原理是对搜索命中的日志采样10万条进行数据统计，不是全量统计。 快速分析的字段长度最大为2000字节。 快速分析字段展示前100条数据。 操作 单击，删除添加的自定义字段。 图1 批量配置 完成后，单击“确定”。

注意事项 全文索引属性和字段索引属性必须至少启用一种。 创建索引会产生索引流量和索引存储空间，费用说明请参见价格计算器。 关闭索引后，历史索引的存储空间将在当前日志流的数据保存时间到期后，自动被清除。 云日志服务默认已为部分内置保留字段创建字段索引，请参见内置保留字段。 不同的索引配置，会产生不同的查询和分析结果，请根据您的需求，合理创建索引。全文索引和字段索引互不影响。 索引配置修改后，对新写入的日志数据生效，历史日志数据不会生效。 在字段索引功能上线前，SQL分析支持的字段来自于云端结构化解析；在字段索引功能上线后，只要用户配置了字段索引，SQL分析支持的字段将来自于字段索引，因此修改字段索引可能对现有的可视化图表、仪表盘、SQL告警、定时SQL、Grafana接入中的查询结果产生影响，请谨慎操作！

配置全文索引 登录云日志服务控制台，进入“日志管理”页面。 单击目标日志组和日志流名称。 在日志流详情页面，单击右上角，在弹出页面中，选择“索引配置”，进入索引配置页面。 在索引配置页面中，默认开启“全文索引”按钮，参考表3 自定义全文索引配置参数配置各参数信息。 在索引配置页面选择自动配置时，默认获取最近15分钟的原始日志和内置字段的交集，LTS自动将原始日志和内置字段的交集、当前结构化字段、tag字段一起组成字段索引下方的表格数据。 若15分钟内没有原始日志，则获取hostIP、hostName、pathFile、结构化字段、tag字段结合共同组成字段索引下方的表格数据。 ECS接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 hostName、hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。 CCE接入选择结构化配置时，进入索引配置页面，则会自动加上如下字段：category、 clusterId、 clusterName、 nameSpace、 podName、 containerName、 appName、 hostName、 hostId、 hostIP、 hostIPv6、 pathFile，添加字段时，若某个字段已存在于索引配置，则不会重复添加。 表2 自定义全文索引配置参数 参数 说明 全文索引 打开全文索引开关，表示创建全文索引。 大小写敏感 查询时是否区分英文字母的大小写。 打开大小写敏感开关，则查询时区分大小写。例如示例日志含有Know，那么您只能使用Know才能查询到该日志。 关闭大小写敏感开关，则查询时不区分大小写。例如示例日志含有Know，那么您使用关键字KNOW和know都能查到该日志。 包含中文 查询时是否区分中英文。 打开包含中文开关后，如果日志中包含中文，默认按照一元分词法拆分中文内容，按照分词符的设置拆分英文内容。 说明： 一元分词是指将中文字符串拆分为单个独立的中文字。 使用一元分词符的优点是对海量日志分词效率高，其他中文分词方法对写入速度影响大。 打开包含中文功能，会对中文使用一元分词（每个汉字单独分词），如果需要更精确的搜索结果，请用短语搜索，语法为：#"待搜索的短语"。 关闭包含中文开关后，按照分词符的设置拆分所有内容。 例如示例日志内容为： error,400,I Know 今天是星期一。 关闭包含中文开关后，按照分词符的设置拆分英文内容，日志会被拆分为error、400、I、Know、今天是星期一，您可以通过error或今天是星期一查找该日志。 打开包含中文开关后，日志服务后台分词器将日志拆分为error、400、I、Know、今、天、是、星、期、一，您通过error或今天等词都可以查找到该日志。 分词符 根据指定分词符，将日志内容拆分成多个词。当默认设置不能满足您的需求时，您可以自定义设置分词符。所有的ASCII码包括中文都可被定义为分词符。 如果设置分词符为空，则字段值将被当成一个整体，您只能通过完整字符串或模糊查询查找对应的日志。 单击“预览”，查看分词预览效果。 例如示例日志内容为： error,400,I Know 今天是星期一。 如果不设置任何分词符，整条日志被作为一个词error,400,I Know 今天是星期一，您只能通过完整字符串error,400,I Know 今天是星期一或模糊查询error,400,I K*查找该日志。 如果设置分词符为逗号（,），则原始日志被拆分为error、400、I Know 今天是星期一3个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如error、400、I Kn*、今天是*。 如果设置分词符为逗号（,）和空格，则原始日志被拆分为error、400、I、Know、今天是星期一5个词，您通过任意一个词或词的模糊查询都可以找到该日志，例如Know、今天是*。 特殊分词符 单击“添加特殊分词符”，参考ASCII码对照表输入ASCII值。 完成后，单击“确定”。

索引类型 云日志服务LTS支持全文索引和字段索引，详细请参考表1。 表1 索引类型 索引类型 说明 全文索引 开启全文索引后，日志服务根据您设置的分词符将整条日志所有字段值拆分成多个词并构建索引。 说明： 用户上传的自定义标签（label）字段，不包含在全文索引中，如果您需要搜索自定义标签字段，请添加对应的字段索引。 LTS内置保留字段，不包含在全文索引中，您需要通过字段索引Key:Value的方式进行搜索，请参考内置保留字段。 字段索引 配置字段索引后，您可以指定字段名称和字段值（Key:Value）进行查询，缩小查询范围。 说明： 日志服务默认为部分内置保留字段创建字段索引，请参考内置保留字段。 如果您的某个字段单独配置了字段索引，那么该字段值的分词符以字段索引配置为准。 结构化配置中的快速分析列已被移除，如果您要使用快速分析功能，则必须配置字段索引且开启对应字段的快速分析按钮。 关于日志示例有两种情况： 在日志示例中，配置了level和status两个字段索引，其中level是string类型，字段值是error，单独配置了分词符，status是long类型，不需要配置分词符；您可以使用level : error的方式精确搜索level字段值为error的所有日志。 在日志示例中，云日志服务LTS会默认为hostName、hostIP、pathFile这些内置保留字段创建字段索引。

日志可视化概述 云日志服务支持用户使用SQL查询语法对结构化日志进行统计分析，同时将分析结果以图表方式可视化展示，提供多种图表类型，满足不同场景的可视化呈现需求，用于运维和运营分析。 LTS提供40多种开箱即用仪表盘模板、预置样例数据，配置丰富，简单易用，降低使用门槛，减少用户重复开发。其他云服务日志只要接入LTS即可直接使用仪表盘模板，帮助企业基于日志数据进行数字化运营，助力企业数字化转型。 表1 可视化方式 可视化方式 说明 统计图表 统计图表是云日志服务根据SQL查询语法渲染出的结果，包括表格、柱状图、折线图等多种图表类型，详细请参考使用统计图表将日志可视化。 仪表盘 仪表盘是云日志服务提供的实时数据分析大盘。您可以在仪表盘查看多个基于SQL语句查询分析结果的统计图表，并能将多张统计图表同步保存到仪表盘中。详细请参考使用仪表盘将日志可视化。 云日志服务提供多种内置仪表盘模板，开箱即用，详细请参考日志仪表盘模板。 父主题： 日志可视化

通过HTTP GET请求上传日志 开通匿名写入后，您可以通过以下方法上传日志到日志流中。 HTTP GET请求，开通GET请求的白名单后，请提交工单联系技术支持工程师提供{endpoint}地址才能此功能。 /v3/{project_id}/lts/groups/{log_group_id}/streams/{log_stream_id}/struct/logs?key1=val1&key2=val2 GET接口总数据量不能超过16KB，超过可能会上报失败。 不支持压缩。 配置参数说明 表2 配置参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID，获取方式请参见：获取账号ID、项目ID、日志组ID、日志流ID。 缺省值：None 最小长度：32 最大长度：32 log_group_id 是 String 日志组ID，获取方式请参见：获取账号ID、项目ID、日志组ID、日志流ID。 缺省值：None 最小长度：36 最大长度：36 log_stream_id 是 String 日志流ID，获取方式请参见：获取账号ID、项目ID、日志组ID、日志流ID。 缺省值：None 最小长度：36 最大长度：36 key1=val1&key2=val2 是 String 您要上传到日志服务的键值对（Key-Value），支持设置多个键值对，由&隔开。请确保长度小于16KB。 对于上报日志中的特殊字符，请您使用url编码，否则可能出现日志上报乱码、失败。 日志长度小于16KB，指的是url编码后的长度。假如您的日志大小只有13KB，但是经过编码后的大小为17KB，也是超过长度限制。 响应参数 状态码为 200 时: 表3 响应Body参数 参数 参数类型 描述 errorCode String 错误码。 枚举值： SVCSTG.ALS.200.200 errorMessage String 调用失败响应信息描述。 枚举值： Report success. result String 响应结果。 请求示例 curl -k "https://lts-access.cn-north-4.myhuaweicloud.com:8102/v3/xxxxxxProject_id/lts/groups/xxxxxxLog_group_id/streams/xxxxxxxLog_stream_id/struct/logs?key1=val1&key2=val2" 响应示例 状态码： 200 日志上报成功。 { "errorCode": "SVCSTG.ALS.200.200", "errorMessage": "Report success.", "result": null } 状态码 表4 状态码 状态码 描述 200 请求响应成功。 400 BadRequest。非法请求。建议根据error_msg直接修改该请求，不要重试该请求。 401 在客户端提供认证信息后，返回该状态码，表明服务端指出客户端所提供的认证信息不正确或非法。 403 Forbidden。请求被拒绝访问。返回该状态码，表明请求能够到达服务端，且服务端能够理解用户请求，但是拒绝做更多的事情，因为该请求被设置为拒绝访问，建议直接修改该请求，不要重试该请求。 500 系统内部错误。 503 ServiceUnavailable。被请求的服务无效，服务不可用。