华为云用户手册

启动Maxwell 登录Maxwell所在的服务器。 执行如下命令进入Maxwell安装目录。 cd /opt/maxwell-1.21.0/ 如果是初次使用Maxwell，建议将conf/config.properties中的log_level改为debug(调试级别)，以便观察启动之后是否能正常从MySQL获取数据并发送到kafka，当整个流程调试通过之后，再把log_level修改为info，然后先停止再启动Maxwell生效。 # log level [debug | info | warn | error] log_level=debug 执行如下命令启动Maxwell。 source /opt/client/bigdata_env bin/Maxwell bin/maxwell --user='maxwell' --password='XXXXXX' --host='127.0.0.1' \ --producer=kafka --kafka.bootstrap.servers=kafkahost:9092 --kafka_topic=Maxwell 其中，user，password和host分别表示MySQL的用户名，密码和IP地址，这三个参数可以通过修改配置项配置也可以通过上述命令配置，kafkahost为流式集群的Core节点的IP地址。 显示类似如下信息，表示Maxwell启动成功。 Success to start Maxwell [78092].

安装Maxwell 下载安装包，下载路径为https://github.com/zendesk/maxwell/releases，选择名为maxwell-XXX.tar.gz的二进制文件下载，其中XXX为版本号。 将tar.gz包上传到任意目录下（本示例路径为Master节点的/opt）。 登录部署Maxwell的服务器，并执行如下命令进入tar.gz包所在目录。 cd /opt 执行如下命令解压“maxwell-XXX.tar.gz”压缩包，并进入“maxwell-XXX”文件夹。 tar -zxvf maxwell-XXX.tar.gz cd maxwell-XXX

配置Maxwell 在maxwell-XXX文件夹下如果有conf目录则配置config.properties文件，配置项说明请参见表1。如果没有conf目录，则是在maxwell-XXX文件夹下将config.properties.example修改成config.properties。 表1 Maxwell配置项说明 配置项 是否必填 说明 默认值 user 是 连接MySQL的用户名，即2中新创建的用户 - password 是 连接MySQL的密码。配置文件中包含认证密码信息可能存在安全风险，建议当前场景执行完毕后删除相关配置文件或加强安全管理。 - host 否 MySQL地址 localhost port 否 MySQL端口 3306 log_level 否 日志打印级别，可选值为 debug info warn error info output_ddl 否 是否发送DDL(数据库与数据表的定义修改)事件 true：发送DDL事件 false：不发送DDL事件 false producer 是 生产者类型，配置为kafka stdout：将生成的事件打印在日志中 kafka：将生成的事件发送到kafka stdout producer_partition_by 否 分区策略，用来确保相同一类的数据写入到kafka同一分区 database：使用数据库名称做分区，保证同一个数据库的事件写入到kafka同一个分区中 table：使用表名称做分区，保证同一个表的事件写入到kafka同一个分区中 database ignore_producer_error 否 是否忽略生产者发送数据失败的错误 true：在日志中打印错误信息并跳过错误的数据，程序继续运行 false：在日志中打印错误信息并终止程序 true metrics_slf4j_interval 否 在日志中输出上传kafka成功与失败数据的数量统计的时间间隔，单位为秒 60 kafka.bootstrap.servers 是 kafka代理节点地址，配置形式为HOST:PORT[,HOST:PORT] - kafka_topic 否 写入kafka的topic名称 maxwell dead_letter_topic 否 当发送某条记录出错时，记录该条出错记录主键的kafka topic - kafka_version 否 Maxwell使用的kafka producer版本号，不能在config.properties中配置，需要在启动命令时用-- kafka_version xxx参数传入 - kafka_partition_hash 否 划分kafka topic partition的算法，支持default或murmur3 default kafka_key_format 否 Kafka record的key生成方式，支持array或Hash Hash ddl_kafka_topic 否 当output_ddl配置为true时，DDL操作写入的topic {kafka_topic} filter 否 过滤数据库或表。 如果只想采集mydatabase的库，可以配置为 exclude: *.*,include: mydatabase.* 如果只想采集mydatabase.mytable的表，可以配置为 exclude: *.*,include: mydatabase.mytable 如果只想采集mydatabase库下的mytable，mydate_123, mydate_456表，可以配置为 exclude: *.*,include: mydatabase.mytable, include: mydatabase./mydate_\\d*/ -

Loader连接配置说明 Loader支持以下多种连接： generic-jdbc-connector：参数配置请参见表1。 ftp-connector：参数配置请参见表2。 sftp-connector：参数配置请参见表3。 hdfs-connector：参数配置请参见表4。 oracle-connector：参数配置请参见表5。 mysql-fastpath-connector：参数配置请参见表7。 oracle-partition-connector：参数配置请参见表6。

常用Sink配置 HDFS Sink HDFS Sink将数据写入HDFS。常用配置如表9所示： 图9 HDFS Sink 表9 HDFS Sink常用配置 参数 默认值 描述 channel - 与之相连的Channel。仅可在“properties.properties”文件中配置。 type hdfs 类型，需配置为“hdfs”。仅可在“properties.properties”文件中配置。 monTime 0（不开启） 线程监控阈值，更新时间大于阈值时重新启动该Sink，单位：秒。 hdfs.path - HDFS路径。 hdfs.inUseSuffix .tmp 正在写入的HDFS文件后缀。 hdfs.rollInterval 30 按时间滚动文件，单位：秒，同时需将“hdfs.fileCloseByEndEvent”设置为“false”。 hdfs.rollSize 1024 按大小滚动文件，单位：字节，同时需将“hdfs.fileCloseByEndEvent”设置为“false”。 hdfs.rollCount 10 按Event个数滚动文件，同时需将“hdfs.fileCloseByEndEvent”设置为“false”。 hdfs.idleTimeout 0 自动关闭空闲文件超时时间，单位：秒。 hdfs.batchSize 1000 每次写入HDFS的Event个数。 hdfs.kerberosPrincipal - 认证HDFS的Kerberos用户名，未启用Kerberos认证集群不配置。 hdfs.kerberosKeytab - 认证HDFS的Kerberos keytab路径，未启用Kerberos认证集群不配置 hdfs.fileCloseByEndEvent true 收到最后一个Event时是否关闭文件。 hdfs.batchCallTimeout - 每次写入HDFS超时控制时间，单位：毫秒。 当不配置此参数时，对每个Event写入HDFS进行超时控制。当“hdfs.batchSize”大于0时，配置此参数可以提升写入HDFS性能。 说明： “hdfs.batchCallTimeout”设置多长时间需要考虑“hdfs.batchSize”的大小，“hdfs.batchSize”越大，“hdfs.batchCallTimeout”也要调整更长时间，设置过短时间容易导致数据写入HDFS失败。 serializer.appendNewline true 将一个Event写入HDFS后是否追加换行符（'\n'），如果追加该换行符，该换行符所占用的数据量指标不会被HDFS Sink统计。 Avro Sink Avro Sink把events转化为Avro events并发送到配置的主机的监测端口。常用配置如表10所示： 图10 Avro Sink 表10 Avro Sink常用配置 参数 默认值 描述 channel - 与之相连的Channel。仅可在“properties.properties”文件中配置。 type - 类型，需配置为“avro”。仅可在“properties.properties”文件中配置。 hostname - 绑定关联的主机名或IP地址。 port - 监测端口。 batch-size 1000 批次发送的Event个数。 ssl false 是否使用SSL加密。 truststore-type JKS Java信任库类型。 truststore - Java信任库文件。 truststore-password - Java信任库密码。 keystore-type JKS 密钥存储类型。 keystore - 密钥存储文件。 keystore-password - 密钥存储密码 HBase Sink HBase Sink将数据写入到HBase中。常用配置如表11所示： 图11 HBase Sink 表11 HBase Sink常用配置 参数 默认值 描述 channel - 与之相连的Channel。仅可在“properties.properties”文件中配置。 type - 类型，需配置为“hbase”。仅可在“properties.properties”文件中配置。 table - HBase表名称。 monTime 0（不开启） 线程监控阈值，更新时间大于阈值时重新启动该Sink，单位：秒。 columnFamily - HBase列族名称。 batchSize 1000 每次写入HBase的Event个数。 kerberosPrincipal - 认证HBase的Kerberos用户名，未启用Kerberos认证集群不配置。 kerberosKeytab - 认证HBase的Kerberos keytab路径，未启用Kerberos认证集群不配置。 Kafka Sink Kafka Sink将数据写入到Kafka中。常用配置如表12所示： 图12 Kafka Sink 表12 Kafka Sink常用配置 参数 默认值 描述 channel - 与之相连的Channel。仅可在“properties.properties”文件中配置。 type - 类型，需配置为“org.apache.flume.sink.kafka.KafkaSink”。 仅可在“properties.properties”文件中配置。 kafka.bootstrap.servers - Kafkabrokers列表，多个用英文逗号分隔。 monTime 0（不开启） 线程监控阈值，更新时间大于阈值时重新启动该Sink，单位：秒。 kafka.topic default-flume-topic 数据写入的topic。 flumeBatchSize 1000 每次写入Kafka的Event个数。 kafka.security.protocol SASL_PLAINTEXT Kafka安全协议，未启用Kerberos认证集群下须配置为“PLAINTEXT”。 kafka.kerberos.domain.name - Kafka Domain名称。安全集群必填。仅可在“properties.properties”文件中配置。 Other Kafka Producer Properties - 其他Kafka配置，可以接受任意Kafka支持的生产参数配置，配置需要加前缀“.kafka”。 仅可在“properties.properties”文件中配置。

常用Channel配置 Memory Channel Memory Channel使用内存作为缓存区，Events存放在内存队列中。常用配置如表6所示： 图6 Memory Channel 表6 Memory Channel常用配置 参数 默认值 描述 type - 类型，需配置为“memory”。仅可在“properties.properties”文件中配置。 capacity 10000 缓存在Channel中的最大Event数。 transactionCapacity 1000 每次存取的最大Event数。 channelfullcount 10 Channel full次数，达到该次数后发送告警。 File Channel File Channel使用本地磁盘作为缓存区，Events存放在设置的“dataDirs”配置项文件夹中。常用配置如表7所示： 图7 File Channel 表7 File Channel常用配置 参数 默认值 描述 type - 类型，需配置为“file”。仅可在“properties.properties”文件中配置。 checkpointDir ${BIGDATA_DATA_HOME}/flume/checkpoint 检查点存放路径。 dataDirs ${BIGDATA_DATA_HOME}/flume/data 数据缓存路径，设置多个路径可提升性能，中间用逗号分开。 maxFileSize 2146435071 单个缓存文件的最大值，单位：字节。 minimumRequiredSpace 524288000 缓冲区空闲空间最小值，单位：字节。 capacity 1000000 缓存在Channel中的最大Event数。 transactionCapacity 10000 每次存取的最大Event数。 channelfullcount 10 Channel full次数，达到该次数后发送告警。 Kafka Channel Kafka Channel使用kafka集群缓存数据，Kafka提供高可用、多副本，以防Flume或Kafka Broker崩溃，Channel中的数据会立即被Sink消费。常用配置如表 10 Kafka Channel 常用配置所示： 图8 Kafka Channel 表8 Kafka Channel常用配置 参数 默认值 描述 type - 类型，需配置为 “org.apache.flume.channel.kafka.KafkaChannel”.。 仅可在“properties.properties”文件中配置。 kafka.bootstrap.servers - kafka broker列表。 kafka.topic flume-channel Channel用来缓存数据的topic。 kafka.consumer.group.id flume Kafka消费者组ID。 parseAsFlumeEvent true 是否解析为Flume event。 migrateZookeeperOffsets true 当Kafka没有存储offset时，是否从ZooKeeper中查找，并提交到Kafka。 kafka.consumer.auto.offset.reset latest 当没有offset记录时，从指定的位置消费数据。 kafka.producer.security.protocol SASL_PLAINTEXT Kafka生产者安全协议。 kafka.consumer.security.protocol SASL_PLAINTEXT Kafka消费者安全协议。

使用Flume客户端加密工具 安装Flume客户端后，配置文件的部分参数可能需要填写加密的字符，Flume客户端中提供了加密工具。 安装Flume客户端。 登录安装Flume客户端的节点，并切换到客户端安装目录。例如“/opt/FlumeClient”。 切换到以下目录 cd fusioninsight-flume-Flume组件版本号/bin 执行以下命令，加密原始信息： ./genPwFile.sh 输入两次待加密信息。 执行以下命令，查看加密后的信息： cat password.property 如果加密参数是用于Flume Server，那么需要到相应的Flume Server所在节点执行加密。需要使用omm用户执行加密脚本进行加密。 加密路径为“/opt/Bigdata/ FusionInsight _Porter_XXX/install/FusionInsight-Flume-Flume组件版本号/flume/bin/genPwFile.sh”。其中XXX为产品的版本号。 父主题： Flume企业级能力增强

操作步骤 停止Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”，执行以下命令，停止Flume客户端： cd /opt/FlumeClient/fusioninsight-flume-Flume组件版本号/bin ./flume-manage.sh stop 执行脚本后，显示如下信息，说明成功的停止了Flume客户端： Stop Flume PID=120689 successful.. Flume客户端停止后会自动重启，如果不需自动重启，请执行以下命令： ./flume-manage.sh stop force 需要启动时，可执行以下命令： ./flume-manage.sh start force 卸载Flume角色的客户端。 假设Flume客户端安装路径为“/opt/FlumeClient”，执行以下命令，卸载Flume客户端： cd /opt/FlumeClient/fusioninsight-flume-Flume组件版本号/inst ./uninstall.sh

查看Flume客户端日志 安装Flume客户端。 进入Flume客户端日志目录，默认为“/var/log/Bigdata”。 执行如下命令查看日志文件列表。 ls -lR flume-client-* 日志文件示例如下： flume-client-1/flume: total 7672 -rw-------. 1 root root 0 Sep 8 19:43 Flume-audit.log -rw-------. 1 root root 1562037 Sep 11 06:05 FlumeClient.2017-09-11_04-05-09.[1].log.zip -rw-------. 1 root root 6127274 Sep 11 14:47 FlumeClient.log -rw-------. 1 root root 2935 Sep 8 22:20 flume-root-20170908202009-pid72456-gc.log.0.current -rw-------. 1 root root 2935 Sep 8 22:27 flume-root-20170908202634-pid78789-gc.log.0.current -rw-------. 1 root root 4382 Sep 8 22:47 flume-root-20170908203137-pid84925-gc.log.0.current -rw-------. 1 root root 4390 Sep 8 23:46 flume-root-20170908204918-pid103920-gc.log.0.current -rw-------. 1 root root 3196 Sep 9 10:12 flume-root-20170908215351-pid44372-gc.log.0.current -rw-------. 1 root root 2935 Sep 9 10:13 flume-root-20170909101233-pid55119-gc.log.0.current -rw-------. 1 root root 6441 Sep 9 11:10 flume-root-20170909101631-pid59301-gc.log.0.current -rw-------. 1 root root 0 Sep 9 11:10 flume-root-20170909111009-pid119477-gc.log.0.current -rw-------. 1 root root 92896 Sep 11 13:24 flume-root-20170909111126-pid120689-gc.log.0.current -rw-------. 1 root root 5588 Sep 11 14:46 flume-root-20170911132445-pid42259-gc.log.0.current -rw-------. 1 root root 2576 Sep 11 13:24 prestartDetail.log -rw-------. 1 root root 3303 Sep 11 13:24 startDetail.log -rw-------. 1 root root 1253 Sep 11 13:24 stopDetail.log flume-client-1/monitor: total 8 -rw-------. 1 root root 141 Sep 8 19:43 flumeMonitorChecker.log -rw-------. 1 root root 2946 Sep 11 13:24 flumeMonitor.log 其中FlumeClient.log即为Flume客户端的运行日志。 父主题： Flume运维管理

补充说明 Flume可靠性保障措施。 Source与Channel、Channel与Sink之间支持事务机制。 Sink Processor支持配置failover、load_balance机制。 例如load_balance示例如下： server.sinkgroups=g1 server.sinkgroups.g1.sinks=k1 k2 server.sinkgroups.g1.processor.type=load_balance server.sinkgroups.g1.processor.backoff=true server.sinkgroups.g1.processor.selector=random Flume多客户端聚合级联时的注意事项。 级联时需要走Avro或者Thrift协议进行级联。 聚合端存在多个节点时，连接配置尽量配置均衡，不要聚合到单节点上。 Flume客户端可以包含多个独立的数据流，即在一个配置文件properties.properties中配置多个Source、Channel、Sink。这些组件可以链接以形成多个流。 例如在一个配置中配置两个数据流，示例如下： server.sources = source1 source2 server.sinks = sink1 sink2 server.channels = channel1 channel2 #dataflow1 server.sources.source1.channels = channel1 server.sinks.sink1.channel = channel1 #dataflow2 server.sources.source2.channels = channel2 server.sinks.sink2.channel = channel2

Flume模块介绍 Flume客户端/服务端由一个或多个Agent组成，而每个Agent是由Source、Channel、Sink三个模块组成，数据先进入Source然后传递到Channel，最后由Sink发送到下一个Agent或目的地（客户端外部）。各模块说明见表1。 表1 模块说明 名称 说明 Source Source负责接收数据或产生数据，并将数据批量放到一个或多个Channel。Source有两种类型：数据驱动和轮询。 典型的Source样例如下： 和系统集成并接收数据的Sources：Syslog、Netcat。 自动生成事件数据的Sources：Exec、SEQ。 用于Agent和Agent之间通信的IPC Sources：Avro。 Source必须至少和一个Channel关联。 Channel Channel位于Source和Sink之间，用于缓存Source传递的数据，当Sink成功将数据发送到下一跳的Channel或最终数据处理端，缓存数据将自动从Channel移除。 不同类型的Channel提供的持久化水平也是不一样的： Memory Channel：非持久化 File Channel：基于预写式日志（Write-Ahead Logging，简称WAL）的持久化实现 JDBC Channel：基于嵌入Database的持久化实现 Channel支持事务特性，可保证简易的顺序操作，同时可以配合任意数量的Source和Sink共同工作。 Sink Sink负责将数据传输到下一跳或最终目的，成功完成后将数据从Channel移除。 典型的Sink样例如下： 存储数据到最终目的终端Sink，比如：HDFS、Kafka 自动消耗的Sinks，比如：Null Sink 用于Agent和Agent之间通信的IPC sink：Avro Sink必须关联到一个Channel。 每个Flume的Agent可以配置多个Source、Channel、Sink模块，即一个Source将数据发送给多个Channel，再由多个Sink发送到下一个Agent或目的地。 Flume支持多个Flume配置级联，即上一个Agent的Sink将数据再发送给另一个Agent的Source。

操作场景 在启用Kerberos认证的集群中，用户使用Kafka前需要拥有对应的权限。 MRS 集群支持将Kafka的使用权限，授予不同用户。 Kafka默认用户组如表1所示。 Kafka支持两种鉴权插件：“Kafka开源自带鉴权插件”和“Ranger鉴权插件”。 本章节描述的是基于“Kafka开源自带鉴权插件”的用户权限管理。如果想使用 “Ranger鉴权插件”，请参考添加Kafka的Ranger访问权限策略。 表1 Kafka默认用户组 用户组名称 描述 kafkaadmin Kafka管理员用户组。添加入本组的用户，拥有所有主题的创建，删除，授权及读写权限。 kafkasuperuser Kafka高级用户组。添加入本组的用户，拥有所有主题的读写权限。 kafka Kafka普通用户组。添加入本组的用户，需要被kafkaadmin组用户授予特定主题的读写权限，才能访问对应主题。

日志级别 Hue提供了如表2所示的日志级别。 日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2 日志级别 级别 描述 ERROR ERROR表示系统运行的错误信息。 WARN WARN表示当前事件处理存在异常信息。 INFO INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 如果您需要修改日志级别，请执行如下操作： 参考修改集群服务配置参数进入Hue服务“全部配置”页面。 在左侧导航栏选择需修改的角色所对应的“日志”菜单。 在右侧选择所需修改的日志级别。 保存配置，在弹出窗口中单击“确定”使配置生效。 重新启动配置过期的服务或实例以使配置生效。

日志描述 日志路径：Hue相关日志的默认存储路径为“/var/log/Bigdata/hue”（运行日志），“/var/log/Bigdata/audit/hue”（审计日志）。 日志归档规则：Hue的日志启动了自动压缩归档功能，默认情况下，当“access.log”、“error.log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候，会自动压缩。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置。 表1 Hue日志列表 日志类型 日志文件名 描述 运行日志 access.log 访问日志。 error.log 错误日志。 gsdb_check.log gaussDB检查日志。 kt_renewer.log Kerberos认证日志。 kt_renewer.out.log Kerberos认证日志的异常输出日志。 runcpserver.log 操作记录日志。 runcpserver.out.log 进程运行异常日志。 supervisor.log 进程启动日志。 supervisor.out.log 进程启动异常日志。 dbDetail.log 数据库初始化日志 initSecurityDetail.log keytab文件下载初始化日志。 postinstallDetail.log Hue服务安装后工作日志。 prestartDetail.log Prestart日志。 statusDetail.log Hue服务健康状态日志。 startDetail.log 启动日志。 get-hue-ha.log Hue HA状态日志。 hue-ha-status.log Hue HA状态监控日志。 get-hue-health.log Hue健康状态日志。 hue-health-check.log Hue健康检查日志。 hue-refresh-config.log Hue配置刷新日志。 hue-script-log.log Manager界面的Hue操作日志。 hue-service-check.log Hue服务状态监控日志。 db_pwd.log Hue连接DBService数据库密码修改日志 modifyDBPwd_日期.log - watch_config_update.log 参数更新日志。 审计日志 hue-audits.log 审计日志。

访问作业浏览器 访问Hue WebUI，请参考访问Hue WebUI界面。 单击作业，进入“作业浏览器”。 默认显示当前集群的所有作业。支持查看Workflow、Coordinator和Bundles作业的运行情况。 作业浏览器显示的数字表示集群中所有作业的总数。 “作业浏览器”将显示作业以下信息： 表1 MRS作业属性介绍 属性名 描述 名称 表示作业的名称。 用户 表示启动该作业的用户。 类型 表示作业的类型。 状态 表示作业的状态，包含“成功”、“正在运行”、“失败”。 进度 表示作业运行进度。 组 表示作业所属组。 开始 表示作业开始时间。 持续时间 表示作业运行使用的时间。 Id 表示作业的编号，由系统自动生成。 如果MRS集群安装了Spark组件，则默认会启动一个作业“Spark-JD BCS erver”，用于执行任务。

编辑器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 在左侧导航栏单击，然后选择“Workflow”。 支持创建Workflow、计划和Bundles的操作。支持提交运行、共享、复制和导出已创建的应用。 每个Workflow可以包含一个或多个作业，形成完整的工作流，用于实现指定的业务。 创建Workflow时，可直接在Hue的编辑器设计作业，并添加到Workflow中。 每个计划可定义一个时间触发器，用于定时触发执行一个指定的Workflow。不支持多个Workflow。 每个Bundles可定义一个集合，用于触发执行多个计划，使不同Workflow批量执行。

操作场景 用户需要使用图形化界面查看集群中所有作业时，可以通过Hue完成任务。 Hue提供了Oozie作业管理器功能，使用户可以通过界面图形化的方式使用Oozie。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。

访问文件浏览器 访问Hue WebUI，请参考访问Hue WebUI界面。 在左侧导航栏单击文件。进入“文件浏览器”页面。 “文件浏览器”的“主页”默认进入当前登录用户的主目录。界面将显示目录中的子目录或文件的以下信息： 表1 HDFS文件属性介绍 属性名 描述 名称 表示目录或文件的名称。 大小 表示文件的大小。 用户 表示目录或文件的属主。 组 表示目录或文件的属组。 权限 表示目录或文件的权限设置。 日期 表示目录或文件创建时间。 在搜索框输入关键字，系统会在当前目录自动搜索目录或文件。 清空搜索框的内容，系统会重新显示所有目录和文件。

管理文件或目录 在“文件浏览器”界面，勾选一个或多个目录或文件。 单击“操作”，在弹出菜单选择一个操作。 重命名：表示重新命名一个目录或文件。 移动：表示移动文件，在“移至”页面选择新的目录并单击“移动”完成移动。 复制：表示复制选中的文件或目录。 更改权限：表示修改选中目录或文件的访问权限。 可以为属主、属组和其他用户设置“读取”、“写”和“执行”权限。 “易贴”表示禁止HDFS的管理员、目录属主或文件属主以外的用户在目录中移动文件。 “递归”表示递归设置权限到子目录。 存储策略：表示设置目录或文件在HDFS中的存储策略。 摘要：表示查看选中的文件或目录的HDFS存储信息。

元数据管理器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。 管理Hive表的元数据 在Hive表的元数据信息界面： 单击右上角的“导入”可导入数据。 单击“概述”，在“属性”域可查看表文件的位置信息。 可查看Hive表各列字段的信息，并手动添加描述信息，注意此处添加的描述信息并不是Hive表中的字段注释信息（comment）。 单击“样本”可浏览数据。 管理Hive元数据表 单击左侧列表中的可在数据库中根据上传的文件创建一个新表，也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。

典型场景 通过Hue界面对Hive进行创建表的操作如下： 单击Hue的WebUI界面左上角的，选择要操作的Hive实例，进入Hive命令的执行页面。 在命令输入框内输入一条HiveSQL语句，例如： create table hue_table(id int,name string,company string) row format delimited fields terminated by ',' stored as textfile; 单击执行HQL。 图2 执行语句 在命令输入框内输入： show tables; 单击，查看“结果”中有创建的表hue_table。 图3 查看结果

修改在Hue使用编辑器的会话配置 在编辑器页面，单击 。 在“文件”的右侧单击 ，然后单击 选择文件。 可以单击“文件”后的 新增加一个文件资源。 在“功能” ，输入用户自定义的名称和函数的类名称。 可以单击“功能”后的 新增加一个自定义函数。 在“设置” ，在“设置”的“键”输入Hive的参数名，在“值”输入对应的参数值，则当前Hive会话会以用户定义的配置连接Hive。 可以单击 新增加一个参数。

执行HQL语句 在“Database”右侧下拉列表选择一个Hive中的数据库，默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字，系统会自动搜索包含此关键字的全部表。 单击指定的表名，可以显示表中所有的列。 光标移动到表或列所在的行，单击 可以查看详细信息。 在HQL语句编辑区输入查询语句。 单击 开始执行HQL语句。 图1 执行语句 如果希望下次继续使用已输入的HQL语句，请单击保存。 高级查询配置： 单击右上角的，对文件、功能、设置等信息进行配置。 查看快捷键： 单击右上角的，可查看语法和键盘快捷方式信息。 删除已输入的HQL语句，请单击后的三角选择“清除”。 查看历史： 单击“查询历史记录”，可查看HQL运行情况，支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时，可以在输入框使用关键字进行搜索。

访问编辑器 访问Hue WebUI，请参考访问Hue WebUI界面。 在左侧导航栏单击，然后选择“Hive”，进入“Hive”。 “Hive”支持以下功能： 执行HQL语句 在左侧选中目标数据库，也可通过单击右上角的，输入目标数据库的名称以搜索目标数据库。 在文本编辑框输入HQL语句，单击或者按“Ctrl+Enter”，运行HQL语句，执行结果将在“结果”页签显示。 分析HQL语句 在左侧选中目标数据库，在文本编辑框输入HQL语句，单击编译HQL语句并显示语句是否正确，执行结果将在文本编辑框下方显示。 保存HQL语句 在文本编辑框输入HQL语句，单击右上角的，并输入名称和描述。已保存的语句可以在“保存的查询”页签查看。 查看历史 单击“查询历史记录”，可查看HQL运行情况，支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时，可以在输入框使用关键字进行搜索。 高级查询配置 单击右上角的，对文件、函数、设置等信息进行配置。 查看快捷键 单击右上角的，可查看所有快捷键信息。

元数据浏览器使用介绍 访问Hue WebUI，请参考访问Hue WebUI界面。 查看Hive表的元数据 在左侧导航栏单击表，单击某一表名称，界面将显示Hive表的元数据信息。 管理Hive表的元数据 在Hive表的元数据信息界面： 单击右上角的“导入”可导入数据。 单击“概述”，在“属性”域可查看表文件的位置信息。 可查看Hive表各列字段的信息，并手动添加描述信息，注意此处添加的描述信息并不是Hive表中的字段注释信息（comment）。 单击“样本”可浏览数据。 管理Hive元数据表 单击左侧列表中的可在数据库中根据上传的文件创建一个新表，也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析，禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作，建议在确认对业务没有影响后通过各组件的相应操作方法进行处理，例如使用HDFS客户端对HDFS文件进行操作，使用Hive客户端对Hive表进行操作。

参数说明 Hue常用参数请参见表1。 表1 Hue常用参数 配置参数 说明 缺省值 范围 HANDLER_AC CES S LOG _LEVEL Hue的访问日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_AUDITSLOG_LEVEL Hue的审计日志级别。 DEBUG ERROR WARN INFO DEBUG HANDLER_ERRORLOG_LEVEL Hue的错误日志级别。 ERROR ERROR WARN INFO DEBUG HANDLER_LOGFILE_LEVEL Hue的运行日志级别。 INFO ERROR WARN INFO DEBUG HANDLER_LOGFILE_MAXBACKUPINDEX Hue日志文件最大个数。 20 1～999 HANDLER_LOGFILE_SIZE Hue日志文件最大大小。 5MB - Hue自定义参数请参见表2。以下自定义参数仅MRS 3.1.2及之后版本适用。

原型 SQLRETURN SQLDescribeParam( SQLHSTMT StatementHandle, SQLUSMALLINT ParameterNumber, SQLSMALLINT *DataTypePtr, SQLULEN *ParameterSizePtr, SQLSMALLINT *DecimalDigitsPtr, SQLSMALLINT *NullablePtr); 表1 SQLDescribeParam参数说明 参数名 参数说明 差异 StatementHandle 语句句柄。 - ParameterNumber 参数序号，起始为1，依次递增。 - DataTypePtr 指向返回参数数据类型的指针。 MySQL ODBC对于任意类型均返回SQL_VARCHAR。 GaussDB ODBC的会根据内核返回的不同类型判断返回给应用相应的DataType类型。 ParameterSizePtr 指向返回参数大小的指针。 MySQL ODBC若允许ODBC驱动程序使用更大的数据包进行数据传输，则返回24M，否则返回255。 GaussDB ODBC根据实际类型返回参数大小。 DecimalDigitsPtr 指向返回参数十进制位数的指针。 - NullablePtr 指向返回参数是否允许NULL值的指针。 MySQL ODBC直接返回SQL_NULLABLE_UNKNOWN。 GaussDB ODBC直接返回SQL_NULLABLE。

驱动 GaussDB中，驱动PBE接口通过文本模式传参时，如果兼容性参数m_format_behavior_compat_options中不包含disable_zero_chars_conversion选项，服务端会将参数中的“\0”字符替换成空格，与MySQL行为存在差异。如果兼容性参数m_format_behavior_compat_options中包含disable_zero_chars_conversion选项，则禁止将“\0”字符转换成空格，与MySQL行为一致。 ODBC 父主题： MySQL兼容性M-Compatibility模式

原型 SQLRETURN SQLDescribeParam( SQLHSTMT StatementHandle, SQLUSMALLINT ParameterNumber, SQLSMALLINT *DataTypePtr, SQLULEN *ParameterSizePtr, SQLSMALLINT *DecimalDigitsPtr, SQLSMALLINT *NullablePtr); 表1 SQLDescribeParam参数说明 参数名 参数说明 差异 StatementHandle 语句句柄。 - ParameterNumber 参数序号，起始为1，依次递增。 - DataTypePtr 指向返回参数数据类型的指针。 MySQL ODBC对于任意类型均返回SQL_VARCHAR。 GaussDB ODBC的会根据内核返回的不同类型判断返回给应用相应的DataType类型。 ParameterSizePtr 指向返回参数大小的指针。 MySQL ODBC若允许ODBC驱动程序使用更大的数据包进行数据传输，则返回24M，否则返回255。 GaussDB ODBC根据实际类型返回参数大小。 DecimalDigitsPtr 指向返回参数十进制位数的指针。 - NullablePtr 指向返回参数是否允许NULL值的指针。 MySQL ODBC直接返回SQL_NULLABLE_UNKNOWN。 GaussDB ODBC直接返回SQL_NULLABLE。

智能交互限制 智能交互对硬件设备的最低配置要求，如表1所示。 表1 硬件设备要求 硬盘配置 最低配置 CPU i5及以上版本。 内存 8G以上。 硬盘 128G及以上。 操作系统 Windows或Android系统。 麦克风 需要有麦克风，且要保障1米以内的拾音效果。 扬声器 需要有扬声器。 触摸屏 需要有触摸屏。 带宽 4M以上。 由于浏览器的安全策略限制，仅支持通过“https:// 域名 ”方式访问，否则无法正常加载运行智能交互WebSDK。 智能交互界面对浏览器的要求，如表2所示。 表2 浏览器适配详情 操作系统类型 浏览器类型 浏览器版本 Windows Chrome浏览器 91+ Edge浏览器 80+ Android 移动版Chrome浏览器 91+ Ios 移动版Safari浏览器 17.3+ Mac Safari浏览器 15.6+ 表3 透明背景支持情况 操作系统类型 浏览器类型 浏览器版本 Windows Chrome浏览器 94+ Edge浏览器 94+ Android 移动版Chrome浏览器 94+ Ios 移动版Safari浏览器 17.3+ Mac Safari浏览器 16.4+ 父主题： 使用限制