检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive是否支持向量化查询 问题 当设置向量化参数hive.vectorized.execution.enabled=true时，为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？ 回答 当前MRS Hive不支持向量化执行。 向量
Flume数据采集慢 问题现象 Flume启动后，Flume数据采集慢。 原因分析 Flume堆内存设置不合理，导致Flume进程一直处于频繁GC。查看Flume运行日志： 2019-02-26T13:06:20.666+0800: 1085673.512: [Full GC:[CMS:
length (1048576)! 可能原因 Storm服务中Nimbus异常。 Storm集群信息较多超过系统默认Thrift传输大小的设置。 原因分析 查看Storm服务状态及监控指标： MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 > St
Impala查询parquet表的Schema和文件Schema不一致时报错 问题 parquet建表定义的列顺序和数据文件的列顺序不一致，Impala查询时报错。 回答 查询前设置set PARQUET_FALLBACK_SCHEMA_RESOLUTION=name;之后即可。 如果要永久生效，登录Manager界面，选择“集群
TABLE 在其中执行删除操作的CarbonData表的名称。 注意事项 删除segment将删除相应segment的所有二级索引。 如果查询的表设置了carbon.input.segments属性，则DELETE操作失败。要解决该问题，在查询前执行以下语句。 语法： SET carbon
max-lifetime 该参数为服务器端参数，设置Token的最大存活时间，单位为毫秒。取值范围：10000~10000000000000。 604800000 dfs.namenode.delegation.token.renew-interval 该参数为服务器端参数，设置Token renew的
Kafka服务异常。 客户端Consumer侧采用非安全访问，服务端配置禁止访问。 客户端Consumer侧采用非安全访问，Kafka Topic设置ACL。 原因分析 Consumer向Kafka消费数据失败，可能原因客户端Consumer侧问题或者Kafka侧问题。 查看Kafka服务状态：
low：256M custom：根据实际数据量大小在GC_OPTS中设置内存大小。 custom GC_OPTS JVM用于gc的参数。仅当GC_PROFILE设置为custom时该配置才会生效。需确保GC_OPT参数设置正确，否则进程启动会失败。 须知： 请谨慎修改该项。如果配置不当，将造成服务不可用。
当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 说明 默认值 spark
当分配的内存太小或者被更高优先级的进程抢占资源时，会出现物理内存超限的情况。调整如下参数，可以防止物理内存超限。 配置描述 参数入口： 在应用提交时通过“--conf”设置这些参数，或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数 说明 默认值 spark
为什么提交Spark Streaming应用超过token有效期，应用失败 问题 修改kerberos的票据和HDFS token过期时间为5分钟，设置“dfs.namenode.delegation.token.renew-interval”小于60秒，提交Spark Streaming
Hive是否支持向量化查询 问题 当设置向量化参数hive.vectorized.execution.enabled=true时，为什么执行hive on Tez/Mapreduce/Spark时会偶现一些空指针或类型转化异常？ 回答 当前Hive不支持向量化执行。 向量化执行有
search集群需设置参数“es.security.indication”的值为“false” 安全模式的Flink集群支持对接安全模式和普通模式的Elasticsearch集群。 当安全模式的Flink集群对接普通模式的Elasticsearch集群时需设置如下参数： 登录FusionInsight
TABLE 在其中执行删除操作的CarbonData表的名称。 注意事项 删除segment将删除相应segment的所有二级索引。 如果查询的表设置了carbon.input.segments属性，则DELETE操作失败。要解决该问题，在查询前执行以下语句。 语法： SET carbon
Repartition时有部分Partition没数据 问题 在repartition操作时，分块数“spark.sql.shuffle.partitions”设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同的partition，
low：256M custom：根据实际数据量大小在GC_OPTS中设置内存大小。 custom GC_OPTS JVM用于gc的参数。仅当GC_PROFILE设置为custom时该配置才会生效。需确保GC_OPT参数设置正确，否则进程启动会失败。 须知： 请谨慎修改该项。如果配置不当，将造成服务不可用。
GC占用大量时间时，可以通过如下配置，选择RocksDB作为状态后端。 配置参数 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 参数 说明 默认值 spark.sql.streaming.stateStore.providerClass 用于管理有状态流查询中的
Bitwise函数 bit_count(x, bits) → bigint 计算2的补码表示法中x中设置的位数（视为有符号位的整数）。 SELECT bit_count(9, 64); -- 2 SELECT bit_count(9, 8); -- 2 SELECT bit_count(-7
节点剩余内存不足导致HBase启动失败 HDFS性能差导致HBase服务不可用告警 参数不合理导致HBase启动失败 残留进程导致Regionsever启动失败 HDFS上设置配额导致HBase启动失败 HBase version文件损坏导致启动失败 无业务情况下，RegionServer占用CPU高 HBase
Kerberos认证服务的端口有哪些？ 问： Kerberos认证服务的端口有哪些？ 答： Kerberos认证服务的常用端口有21730（TCP）、21731（TCP/UDP）、21732（TCP/UDP）。 父主题： 用户认证及权限类
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
