检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表1 HDFS文件系统目录结构(适用于MRS 3.x之前版本) 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark/sparkhive-scratch 固定目录 存放Spark JDBCServer中metastore session临时文件 否 任务运行失败 /
仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。由于是非多副本存储的临时数据,不提供磁盘热插拔能力。 父主题: Impala常见问题
hdfs dfs -rm -skipTrash /tmp/hive-scratch/omm/_tez_session_dir/xxx-resources/xxx.jar 执行命令查看HDFS状态是否恢复为“HEALTHY”。
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致。 Kafka Java API接口介绍可直接参考开源社区。 详情请参见http://kafka.apache.org/documentation.html#api。 父主题: Kafka接口介绍
Phoenix的sqlline接口与开源社区保持一致。 详情请参见http://phoenix.apache.org/。 此版本不包含开源社区中Phoenix二级索引特性。 父主题: HBase对外接口介绍
Storm接口介绍 Storm采用的接口同开源社区版本保持一致,详情请参见: http://storm.apache.org/documentation/Home.html。
Storm-HBase采用的接口同开源社区版本保持一致,详情参见:https://github.com/apache/storm/tree/v1.2.1/external/storm-hbase。
配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关,默认为禁用Transform功能,与开源社区版本保持一致。
Storm-HBase采用的接口同开源社区版本保持一致,详情参见:https://github.com/apache/storm/tree/v1.2.1/external/storm-hbase。
配置Hive Transform功能开关 操作场景 Hive开源社区版本禁用Transform功能。 MRS Hive提供配置开关,默认为禁用Transform功能,与开源社区版本保持一致。
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。
Kafka Java API介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。
Kafka Java API接口介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。
Kafka Java API介绍 Kafka相关接口同开源社区保持一致,详情请参见https://kafka.apache.org/24/documentation.html。
配置创建临时函数的用户不需要具有ADMIN权限 操作场景 Hive开源社区版本创建临时函数需要用户具备ADMIN权限。 MRS Hive提供配置开关,默认值为“true”,即创建临时函数需要ADMIN权限,与开源社区版本保持一致。
答: Hadoop压力测试工具社区获取地址:https://github.com/Intel-bigdata/HiBench。 父主题: 性能优化类
表1 HDFS文件系统目录结构 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark2x/sparkhive-scratch 固定目录 存放Spark2x JDBCServer中metastore session临时文件 否 任务运行失败 /tmp/sparkhive-scratch
配置创建临时函数的用户不需要具有ADMIN权限 操作场景 Hive开源社区版本创建临时函数需要用户具备ADMIN权限。 MRS Hive提供配置开关,默认为创建临时函数需要ADMIN权限,与开源社区版本保持一致。 用户可修改配置开关,实现创建临时函数不需要ADMIN权限。
Phoenix的sqlline接口与开源社区保持一致。 详情请参见http://phoenix.apache.org/。 父主题: HBase对外接口介绍
KafkaWordCount样例为Spark开源社区提供的。