正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
开发Impala用户自定义函数 当Impala的内置函数不能满足需要时,可以通过编写用户自定义函数UDF(User-Defined Functions)插入自己的处理代码并在查询中使用它们。 按实现方式,UDF有如下分类: 普通的UDF,用于操作单个数据行,且产生一个数据行作为输出。 用户定义聚集函数UDAF(User-Defined
默认情况下关闭HDFS文件时需要等待所有的Block都上报成功(处于COMPLETED状态)。因此HDFS的一部分写性能消耗为等待DataNode块上报以及NameNode处理块上报。对于一个负载较大的集群,等待的消耗对集群影响较大。HDFS可以通过配置NameNode参数“dfs.namenode.file.close
在MRS集群中查询SparkSql和SparkScript两种类型作业的SQL语句运行完成后返回的查询结果。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions/
展示MRS版本列表 功能介绍 展示MRS版本列表 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/metadata/versions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
Impala启用并配置动态资源池 本文介绍如何使用动态资源池控制impala并发。 问题背景 客户需要使用动态资源池控制impala并发。 登录到集群的master1节点上,然后切换到omm用户下,在/home/omm目录下创建fair-scheduler.xml、llama-site
在Ranger中配置HBase的访问权限 在创建完安装了Ranger组件的MRS集群后,HBase的权限控制暂未集成在Ranger,本章节主要介绍HBase组件如何集成在Ranger中。 登录Ranger WebUI界面。 在“Service Manager”中的HBASE处,单击添加HBase Service。
inputFormat是指文件的格式。 watchType指的是文件的处理模式“PROCESS_ONCE”或者“PROCESS_CONTINUOUSLY”。 interval指的是多长时间判断目录或文件变化进行处理。 public <OUT> DataStreamSource<OUT>
inputFormat是指文件的格式。 watchType指的是文件的处理模式“PROCESS_ONCE”或者“PROCESS_CONTINUOUSLY”。 interval指的是多长时间判断目录或文件变化进行处理。 def readFile[T: TypeInformation](inputFormat:
inputFormat是指文件的格式。 watchType指的是文件的处理模式“PROCESS_ONCE”或者“PROCESS_CONTINUOUSLY”。 interval指的是多长时间判断目录或文件变化进行处理。 def readFile[T: TypeInformation](inputFormat:
inputFormat是指文件的格式。 watchType指的是文件的处理模式“PROCESS_ONCE”或者“PROCESS_CONTINUOUSLY”。 interval指的是多长时间判断目录或文件变化进行处理。 def readFile[T: TypeInformation](inputFormat:
安全模式集群下,执行分区迁移操作的用户需属于“kafkaadmin”用户组,否则将会由于鉴权失败导致操作失败。 非安全模式下,KafkaUI对任意操作不作鉴权处理。 本章节内容仅适用于MRS 3.1.2及之后版本。 增加分区 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight
sql.hive.convertMetastoreOrc 设置ORC表的处理方式: false:Spark SQL使用Hive SerDe处理ORC表。 true:Spark SQL使用Spark内置的机制处理ORC表。 true 父主题: Spark SQL性能调优
sql.hive.convertMetastoreOrc 设置ORC表的处理方式: false:Spark SQL使用Hive SerDe处理ORC表。 true:Spark SQL使用Spark内置的机制处理ORC表。 true 父主题: Spark SQL性能调优
hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy 解决办法 将DataNode选择磁盘策略的参数dfs.datanode.fsdataset.volume.choosing.policy的值改为:org
为什么创建Hive表失败? 问题 为什么创建Hive表失败? 回答 当源表或子查询具有大数据量的Partition时,创建Hive表失败。执行查询需要很多的task,此时输出的文件数就会很多,从而导致driver OOM。 可以在创建Hive表的语句中增加distribute b
distinct完成去重计数时,处理值为空的情况会使Reduce产生很严重的数据倾斜,可以将空值单独处理,如果是计算count distinct,可以通过where子句将该值排除掉,并在最后的count distinct结果中加1。如果还有其他计算,可以先将值为空的记录单独处理,再和其他计算结果合并。
ClickHouse使用OpenLDAP认证 ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。
distinct完成去重计数时,处理值为空的情况会使Reduce产生很严重的数据倾斜,可以将空值单独处理,如果是计算count distinct,可以通过where子句将该值排除掉,并在最后的count distinct结果中加1。如果还有其他计算,可以先将值为空的记录单独处理,再和其他计算结果合并。
HCatalog访问Hive样例程序 功能介绍 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据,读取输入表第一列int类型数据执行count(distinct XX)操作,将结果写入输出表。 样例代码 该样例程序在“hive-examples/hc
HCatalog访问Hive样例程序 功能介绍 本章节介绍如何在MapReduce任务中使用HCatalog分析Hive表数据,读取输入表第一列int类型数据执行count(distinct XX)操作,将结果写入输出表。 样例代码 该样例程序在“hive-examples/hc