检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
uota会造成HBase故障 问题 为什么给HDFS上的HBase使用的目录设置quota会造成HBase故障? 回答 表的flush操作是在HDFS中写MemStore数据。 如果HDFS目录没有足够的磁盘空间quota,flush操作会失败,这样region server将会终止。
执行以下命令创建Hive表。 可以在Hue UI里Hive面板里面直接输入以下的SQL语句。 图1 执行Hive SQL CREATE DATABASE test; CREATE TABLE IF NOT EXISTS `test`.`usr` (user_id int comment
保存配置并重启受影响的服务或者实例。 修改配置后需要保存,请注意参数在HiveServer自定义参数处修改,保存重启后生效(重启期间Hive服务不可用),请注意执行时间窗口。 父主题: 使用Hive
truststore文件路径为相对路径时: 在“ssl”的同级目录下执行如下命令启动session,并在session中提交作业,其中“ssl”是相对路径,如“ssl”所在目录是“/opt/client/Flink/flink/conf/”,则在该目录下执行命令。 其中“com.huawei.bigdata
用户可以根据作业需要,通过Flink Web UI界面上传UDF、依赖等第三方Jar包,并在SQL作业校验、运行作业时调用相关依赖。为了确保上传的Jar是安全的,Flink默认开启了沙箱功能,可参考为指定Jar包配置权限通过配置参数“flinkserver.security.policy”的值
可通过设置Kafka服务配置“ssl.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型的访问监测。下表是四种协议类型的简单说明: 可以参考修改集群服务配置参数进入Kafka全部配置页面,查看或配置参数。 协议类型 说明 默认端口 PLAINTEXT
可通过设置Kafka服务配置“ssl.mode.enable”为“true”,来启动SSL和SASL_SSL两种协议类型的安全认证。下表是四种协议类型的简单说明: 协议类型 说明 默认端口 PLAINTEXT 支持无认证的明文访问 获取参数“port”的值,默认为9092 SASL_PLAINTEXT
通过数据应用访问Alluxio 访问Alluxio文件系统的端口号是19998,即地址为alluxio://<alluxio的master节点ip>:19998/<PATH>,本节将通过示例介绍如何通过数据应用(Spark、Hive、Hadoop MapReduce和Presto)访问Alluxio。
format = yyyyMMdd 顺延的天数 date.day = 1 例如,脚本传入的日期参数是20160220,则通过加法计算,得到的结果是20160221。 如果执行的命令是 ./run.sh 20160220 /user/loader/schedule_01时,以上过滤
format = yyyyMMdd 顺延的天数 date.day = 1 例如,脚本传入的日期参数是20160220,则通过加法计算,得到的结果是20160221。 如果执行的命令是 ./run.sh 20160220 /user/loader/schedule_01时,以上过滤
限。 要求文件的格式与表指定的存储格式相同。如创建表时指定stored as rcfile,但是文件格式为txt,则不符合要求。 文件必须是HDFS上的文件,不可以用file://的形式指定本地文件系统上的文件。 文件名不能以下横线(_)或点(.)开头,以这些开头的文件会被忽略。
晨3:00尝试一次,直至MRS集群到期或者续费成功。 开通自动续费后,还可以手动续费该MRS集群。手动续费后,自动续费仍然有效,在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置,您也可以根据需要修改此扣款日,如到期前6日、到期前5日等。 本章节主要
maxbuffer=0x400000。 表1 配置参数 参数 描述 默认值 jute.maxbuffer 指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。 说明: 如果更改此选项,则必须在所有服务器和客户端上设置该系统属性,否则将出现问题。 0xfffff
maxbuffer=0x400000。 表1 配置参数 参数 描述 默认值 jute.maxbuffer 指定可以存储在znode中的数据的最大长度。单位是Byte。默认值为0xfffff,即低于1MB。 说明: 如果更改此选项,则必须在所有服务器和客户端上设置该系统属性,否则将出现问题。 0xfffff
--replication-factor 2 --zookeeper {ip:port}/kafka “--zookeeper”后面填写的是ZooKeeper地址,需要改为安装集群时配置的ZooKeeper地址。 在Linux系统中完成拓扑的提交。提交命令示例(拓扑名为kafka-test):
主机级别关注主机的一系列指标是否正常。 本章节指导用户在日常运维中完成集群健康检查的工作,以保证集群各项参数、配置以及监控没有异常、能够长时间稳定运行。 执行MRS集群健康检查前提条件 如果通过MRS管理控制台操作,需要已完成IAM用户同步(在集群详情页的“概览”页签,单击“IA
topic中每个partition数据的副本数。 {Topic} Topic名称。 示例:在Kafka的客户端路径下执行命令,此处以ZooKeeper集群的IP:port是10.96.101.32:2181,10.96.101.251:2181,10.96.101.177:2181,10.91.8.160:21
topic中每个partition数据的副本数。 {Topic} Topic名称。 示例:在Kafka的客户端路径下执行命令,此处以ZooKeeper集群的IP:port是10.96.101.32:2181,10.96.101.251:2181,10.96.101.177:2181,10.91.8.160:21
examples.KafkaWordCountProducer {BrokerList} {Topic} {messagesPerSec} {wordsPerMessage} 开发思路 接收Kafka中数据,生成相应DataStreamReader。 对单词记录进行分类统计。 计算结果,并进行打印。
ntPort”的值。默认为24002。 从6和7回显中获取分区的分布信息和节点信息,在当前目录下创建执行重新分配的json文件。 以迁移的是Broker_ID为6的节点的分区为例,迁移到"/srv/BigData/hadoop/data1/kafka-logs”,完成迁移所需的json配置文件,内容如下。