检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
no.acl.found”配置,修改参数值为true,保存配置即可。 系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 ClickHouseBalancer端口号要根据对接的ClickHouse集群选择:
查询或者删除HDFS文件失败 问题背景与现象 使用HDFS的shell客户端查询或者删除文件失败,父目录可以看见此文件(不可见字符)。 图1 父目录文件列表 原因分析 可能是该文件写入时有异常,写入了不可见字符。可以将该文件名重定向写入本地文本中,使用vi命令打开。 hdfs dfs
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 以root用户登录已安装Hive客户端的节点。 执行以下命令,进入客
Hive查询数据是否支持导出? 问: MRS集群Hive组件的查询数据是否支持导出? 答: Hive查询数据支持导出,请参考如下语句进行导出: insert overwrite local directory "/tmp/out/" row format delimited fields
main(LoadIncrementalHFiles.java:1333) 回答 如果LoadIncrementalHFiles工具依赖的Client在集群内安装,且和DataNode在相同的节点上,在工具执行过程中HDFS会创建短路读提高性能。短路读依赖“/var/run/FusionInsight-HDFS”目录(“dfs
本地环境使用开发工具下载依赖的jar包前,需要确认以下信息。 确认本地环境网络正常。 打开浏览器访问:华为提供开源镜像站(网址为https://mirrors.huaweicloud.com/),查看网站是否能正常访问。如果访问异常,请先开通本地网络。 确认当前开发工具是否开启代理。
导出Doris查询结果集 本章节主要介绍如何使用SELECT INTO OUTFILE命令,将Doris查询结果集使用指定的文件格式导出到指定的存储系统中。 导出命令不会检查文件及文件路径是否存在、是否会自动创建路径、或是否会覆盖已存在文件,由远端存储系统的语义决定。 如果在导出
MS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构 生产者(Producer)将消
查询指定集群的标签 功能介绍 查询指定集群的标签信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
查询可用区信息 功能介绍 在创建集群时,需要配置实例所在的可用区ID,可通过该接口查询可用区的ID。 调用方法 请参见如何调用API。 URI GET /v1.1/{region_id}/available-zones 表1 路径参数 参数 是否必选 参数类型 描述 region_id
_ON_PARTITION hive.ignore-absent-partitions 查询是否忽略分区下是否有文件丢失。 true:允许查询分区下存在文件丢失的情况 false:不允许查询分区下存在文件丢失的情况,会直接报错(手动对接数据源时,不填则默认为该值) true 单击
main(LoadIncrementalHFiles.java:1333) 回答 如果LoadIncrementalHFiles工具依赖的Client在集群内安装,且和DataNode在相同的节点上,在工具执行过程中HDFS会创建短路读提高性能。短路读依赖“/var/run/FusionInsight-HDFS”目录(“dfs
createTopology()); } 如果修改了集群域名,在设置Kafka消费者/生产者属性中kerberos域名时,需要将其设置为集群实际域名,例如props.put(KERBEROS_DOMAIN_NAME , "hadoop.hadoop1.com")。 部署运行及结果查看 导出本地jar包,请参见打包Storm样例工程应用。
检查HBase全局二级索引数据一致性 场景介绍 可使用全局二级索引工具检查用户数据和索引数据的一致性,如果索引数据与用户数据不一致,该工具可用于重新构建索引数据。 检查全局二级索引数据一致性 在HBase客户端执行以下命令可检查数据一致性,如果不一致,将重新构建索引数据。一致性检
HBase为用户提供了在Spark SQL中查询HBase表,通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 Spark On HBase 登录Manager界面,选择“集群 > 集群属性”查看集群是否为安全模式。 是,执行2。
MS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构 生产者(Producer)将消
JSON表中有破损数据导致Hive查询异常 用户问题 在Hive客户端查询JSON数据,JSON表中有破损数据导致查询异常: 在Hive客户端上使用默认开源的JSON序列化建表语句创建表: create external table if not exists test ( name
spark-beeline查询Hive视图报错 用户问题 MRS 3.1.2版本,spark-beeline查询Hive视图报错,报错如下: 根据提示set spark.sql.hive.manageFilesourcePartitions=false后,查不到数据(但是实际在Hive查询中是有数据的)。
HBase为用户提供了在Spark SQL中查询HBase表,通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 登录Manager界面,选择“集群 > 待操作集群的名称 > 集群属性”查看集群是否为安全模式。 是,执行2。
Presto查询Hive表无数据 用户问题 使用Presto查询Hive表无数据。 问题现象 通过Tez引擎执行union相关语句写入的数据,Presto无法查询。 原因分析 由于Hive使用Tez引擎在执行union语句时,生成的输出文件会保存在HIVE_UNION_SUBDI