检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现,它底层使用了Spark SQL来处理SQL语句,从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口,用户可以通过JDBC连接JDBCServ
示例程序。 本工程应用程序通过org.apache.spark.launcher.SparkLauncher类采用Java/Scala命令方式提交Spark应用。 sparknormal-examples/SparkLauncherScalaExample sparknormal
partitions”表示执行成功。 使用KafkaUI迁移分区(MRS 3.1.2及之后版本) 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作,例如创建To
更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。 如果NTP服务器与集群当前时间偏差大于15分钟,集群访问OBS会连接失败。 对于开启Kerberos认证集群,如果NTP服务器与集群当前时间偏差大于5分钟,会导致认证失败。
信的选项,所以当启用安全的netty配置时,它不能支持Zookeeper四个字母的命令。 为了避免这个问题,用户可以使用下面的Java API来执行四个字母的命令。 org.apache.zookeeper.client.FourLetterWordMain 例如: String[]
“单个map的最大带宽(MB/s)”:填写单个map最大带宽,默认值为“1”。 “OBS”:表示将备份文件保存在OBS中(仅MRS 3.5.0及之后版本支持)。 选择此参数值,还需要配置以下参数: “源端路径”:填写备份文件在OBS中保存的完整路径。例如,“备份路径/xxx/备份任务名_数据源_任
适用场景广泛 易扩展,可伸缩性高 保证无数据丢失 容错性好 易于构建和操控 多语言 Storm作为计算平台,在业务层为用户提供了更为易用的业务实现方式:CQL(Continuous Query Language—持续查询语言)。CQL具有以下几个特点: 使用简单:CQL语法和标准SQL语
huawei.bigdata.opentsdb.examples包的“OpentsdbExample”类的deleteData方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例: public void deleteData(String dataPoint) { QUERY_URL
耗时,读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表,使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文件用于存储基础数据,Avro格式文件(也可叫做log文件)用于存储增量数据。 优点:由于写入数据先写delta
块的顺序。 在fsck中给出的块序列表中,使用块ID搜索DataNode中的数据目录,并从DataNode下载相应的块。 按照序列以追加的方式写入所有这样的块文件,并构造成原始文件。 例如: File 1--> blk_1, blk_2, blk_3 通过组合来自同一序列的所有三个块文件的内容来创建文件。
点标签表达式关联的节点(labelA)。其中所有有效节点标签表达式关联的节点都已经故障,黑名单节点释放阈值默认值为0.33,按照传统的计算方式,10/100=0.1,远小于该阈值。这就造成这10个节点永远无法得到释放,Map&Reduce任务一直无法获取节点,应用程序无法正常运行
块的顺序。 在fsck中给出的块序列表中,使用块ID搜索DataNode中的数据目录,并从DataNode下载相应的块。 按照序列以追加的方式写入所有这样的块文件,并构造成原始文件。 例如: File 1--> blk_1, blk_2, blk_3 通过组合来自同一序列的所有三个块文件的内容来创建文件。
耗时,读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表,使用列格式parquet和行格式Avro两种方式混合存储数据。其中parquet格式文件用于存储基础数据,Avro格式文件(也可叫做log文件)用于存储增量数据。 优点:由于写入数据先写delta
如果您已经部署NFS服务器,并已配置NFS服务,本操作提供集群侧的配置指导,为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限,确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令,创建目录并赋予目录写权限。 mkdir ${BI
IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。然后选择“集群 > 待操作的集群名称 > 服务 > Hive > 配置
如果您已经部署NFS服务器,并已配置NFS服务,本操作提供集群侧的配置指导,为可选任务。 操作步骤 在NFS服务器上检查NFS的共享目录权限,确认服务器可以访问MRS集群的NameNode。 以root用户登录NameNode主节点。 执行如下命令,创建目录并赋予目录写权限。 mkdir ${BI
出调整。 如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 开启此功能后,包括owner在内默认最大可支持512个角色,由MetaStore自定义参数“hive.supports.roles
apache.oozie.service.ZKXLogStreamingService,org.apache.oozie.service.ZKJobsConcurrencyService,org.apache.oozie.service.ZKUUIDService HA启用的功能 oozie
性。 不同Producer API对应的acks参数名称不同 新Producer API 指org.apache.kafka.clients.producer.KafkaProducer中定义的接口,acks配置为acks。 旧Producer API 指kafka.producer
--replication-factor 1 --topic topic1 安全认证。 安全认证的方式有三种:Kerberos认证、SSL加密认证和Kerberos+SSL模式认证,用户在使用的时候可任选其中一种方式进行认证。 Kerberos认证配置 客户端配置。 在Flink配置文件“flink-conf