检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
split(lines.value, " ")).alias("word")) # 生成正在运行的word count wordCounts = words.groupBy("word").count() # 开始运行将running counts打印到控制台的查询
HetuEngine提供了元数据缓存的功能,当首次访问Hive数据源的库或表时,会将该库或表的元数据信息(数据库名、表名、表字段、分区信息、权限信息等)缓存起来,后续访问时不需要再次访问Hive metastore,在Hive数据源的表数据变化不频繁的场景下,可以一定程度上提升查询的性能
BroadCastHashJoin有超时参数,一旦超过预设的时间,该查询任务直接失败,在多并发场景下,由于计算任务抢占资源,可能会导致BroadCastHashJoin的Spark任务无法执行,导致超时出现。
单击“实例配置”,查看DataNode数据目录配置参数“dfs.datanode.data.dir”的值。 查看所有的DataNode数据目录,是否有与磁盘规划不一致的目录。 是,执行2.d。 否,执行2.g。
登录OBS控制台,进入OBS路径,查看作业输出信息。 进入到5中创建的output路径查看相关的output文件,需要下载到本地以文本方式打开进行查看,如图6所示。 图6 输出文件列表 父主题: 使用HDFS
GLOBAL_SORT:它提高了查询性能,特别是点查询。TBLPROPERTIES('SORT_SCOPE'='GLOBAL_SORT') LOCAL_SORT:数据会本地排序(任务级别排序)。
GLOBAL_SORT:它提高了查询性能,特别是点查询。TBLPROPERTIES('SORT_SCOPE'='GLOBAL_SORT') LOCAL_SORT:数据会本地排序(任务级别排序)。 NO_SORT:默认排序。它将以不排序的方式加载数据,这将显著提升加载性能。
处理步骤 检查ClickHouse用户角色同步进程是否正常 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查找“ALM-45432 ClickHouse用户同步进程故障”告警。 查看该告警详情中涉及的主机名和附加信息。
根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行5。 否,执行6。 单击失败作业application ID进入作业界面。
根据告警“定位信息”中的任务名找到异常任务,查找并记录作业的“application ID”,是否可以在Yarn页面上查看到作业日志。 图1 作业的“application ID” 是,执行5。 否,执行6。 单击失败作业application ID进入作业界面。
处理步骤 查看告警信息。 登录FusionInsight Manager首页,选择“运维 > 告警 > 告警 > ALM-45653 Flink HA证书文件失效 > 定位信息”,查看告警上报的主机名,单击“主机”,查看主机名对应的IP地址。 检查系统中HA证书文件是否有效。
集群的时间可通过FusionInsight Manager页面右下角查看。 操作场景 ClickHouse针对多个场景提供样例工程,帮助客户快速学习ClickHouse工程。
集群的时间可通过FusionInsight Manager页面右下角查看。 操作场景 ClickHouse针对多个场景提供样例工程,帮助客户快速学习ClickHouse工程。
原因分析 在Manager界面单独启动故障的HiveServer进程,登录后台查找hiveserver.out日志中对应时间点的报错,报错信息为:error parsing conf mapred-site.xml和Premature end of file。
查看直接内存的使用情况。 查看ZooKeeper使用的直接内存是否已达到ZooKeeper设定的最大直接内存的百分之80? 是,执行1.h。 否,执行2。
使用Ranger(MRS 3.x) 登录Ranger WebUI界面 MRS集群服务启用Ranger鉴权 添加Ranger权限策略 Ranger权限策略配置示例 查看Ranger审计信息 配置Ranger安全区信息 普通集群修改Ranger数据源为Ldap 查看Ranger用户权限同步信息
配置Kafka应用安全认证 使用Sasl Kerberos认证 使用Kafka Token认证 父主题: 准备Kafka应用开发环境
准备Kudu应用安全认证 场景说明 访问安全集群环境中的服务,需要先通过Kerberos安全认证。所以Kudu应用程序中需要有安全认证代码,确保Kudu程序能够正常运行。 安全认证有两种方式: 命令行认证: 提交Kudu应用程序运行前,在Kudu客户端执行如下命令进行认证。
创建Phoenix表 功能简介 Phoenix依赖HBase作为其后备存储,支持标准SQL和JDBC API的强大功能,使得SQL用户可以访问HBase集群。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample
HBase对外接口介绍 HBase Shell接口介绍 HBase Java API接口介绍 Sqlline接口介绍 HBase JDBC API接口介绍 HBase Web UI接口介绍 父主题: HBase应用开发常见问题