检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive同步数据报错SemanticException 问题 Hive同步数据时报错： org.apache.hadoop.hive.ql.parse.SemanticException: Database does not exist: test_db 回答 这种情况通常在试图
Hive支持ZSTD压缩格式 ZSTD（全称为Zstandard）是一种开源的无损数据压缩算法，其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式，本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC、RCFile、TextFi
添加ClickHouse数据源步骤 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
ClickHouse数据导入导出 本章节主要介绍使用ClickHouse客户端导入导出文件数据的基本语法和使用说明。 使用ClickHouse客户端导入导出数据 CSV格式数据导入 clickhouse client --host 主机名/ClickHouse实例IP地址 --database
TRUNCATE TABLE 命令功能 该命令将会把表中的数据清空。 命令语法 TRUNCATE TABLE tableIdentifier 参数描述 表1 TRUNCATE TABLE参数描述 参数 描述 tableIdentifier 表名。 示例 truncate table
如何关闭Hive客户端日志 问题 如何关闭Hive客户端的运行日志？ 回答 使用root用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录，例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
SET 命令功能 ALTER TABLE ... SET|UNSET语法用于修改表属性。 命令语法 ALTER TABLE tableName SET|UNSET tblproperties 参数描述 表1 参数描述 参数 描述 tableName 表名。 tblproperties
ARCHIVELOG 本章节仅适用于MRS 3.2.0及之后版本。 命令功能 用于根据配置对Timeline上的Instant进行归档，并从Timeline上将已归档的Instant删除，以减少Timeline的操作压力。 命令格式 RUN ARCHIVELOG ON tableIdentifier;
通过Manager界面上传至HDFS： 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HDFS”，进入HDFS服务页面。 在“概览”页签下的“基本信息”区域，单击“NameNode Web UI”后的链接，进入NameNode Web UI界面。
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密；在创建Hive表时，可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时，即可实现将对应列的数据加密。只支持对存储在HDFS上的TextFile和SequenceFile文件格式的Hive表进行列加密，不支持视图以及Hive
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时，一般会扫描整个表内容，会消耗较多时间去扫描不关注的数据。此时，可根据业务需求及其查询维度，建立合理的表分区，从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令，进入客
通过修改RegionServer配置参数进行读写性能调优。 操作步骤 登录FusionInsight Manager界面，选择“集群 > 服务 > HBase > 配置”，配置以下相关参数以提升HBase数据读写性能调优。 JVM GC参数 RegionServer “GC_OPTS”参数设置建议：
列级别统计信息的收集不支持复杂的数据类型，例如Map，Struct等。 表级别统计信息的自动收集不支持Hive on HBase表。 在Manager界面Hive的服务配置中，搜索参数“hive.stats.autogather”和“hive.stats.column.autogather”，选中“true”永久开启收集功能。
agent-keytab - 服务端使用的keytab文件地址，必须使用机机账号。建议使用Flume服务安装目录下flume/conf/flume_server.keytab。 agent-principal - 服务端使用的安全用户的Principal，必须使用机机账户。建议使用Flume服务默认用户flume_server/hadoop
CarbonData数据类型概述 简介 CarbonData中的数据存储在table实体中。CarbonData table与RDBMS中的表类似。RDBMS数据存储在由行和列构成的表中。CarbonData table存储的也是结构化的数据，拥有固定列和数据类型。 支持数据类型
存在Broker因为磁盘占有率达到100%导致Broker故障的情况。 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 服务 > Kafka > 实例”，将运行状态为“正在恢复”的Broker实例停止并记录实例所在节点的管理IP地址以及对应的“broker.id
嵌入式迁移Storm业务 操作场景 该任务指导用户通过嵌入式迁移的方式在Flink的DataStream中嵌入Storm的代码，如使用Storm API编写的Spout/Bolt。 操作步骤 在Flink中，对Storm拓扑中的Spout和Bolt进行嵌入式转换，将之转换为Flink的Operator，代码示例如下：
执行HDFS文件并发操作命令 操作场景 集群内并发修改文件和目录的权限及访问控制的工具。 本章节适用于MRS 3.x及后续版本。 对系统的影响 因为集群内使用文件并发修改命令会对集群性能造成较大负担，所以在集群空闲时使用文件并发操作命令。 前提条件 已安装HDFS客户端或者包括H
使用Hue提交Oozie HDFS作业 操作场景 该任务指导用户通过Hue界面提交HDFS类型的Oozie作业。 操作步骤 创建工作流，请参考使用Hue创建工作流。 在工作流编辑页面，选择“Fs”按钮，将其拖到操作区中。 在弹出的“Fs”窗口中单击“添加”。 单击“CREATE
SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check.log Spark2x服务健康检查日志。 spark-service-check
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
