检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
分区目录 容量 用途 OS分区 / 220GB 操作系统根分区目录和程序存放目录,包括了所有目录(除去下面指定的目录)。 /tmp 10GB 临时文件存放目录。 /var 10GB 操作系统运行目录。 /var/log OS盘剩余空间都分配给“/var/log”分区 日志存放目录。 /srv/BigData
在通常的join/in/not in时候,需要在前面添加Global关键字,避免查询放大问题。 数据查询建议 建议查询指定分区 通过指定分区字段会减少底层数据库扫描的文件数量,提升查询性能,实际经验:700个分区的千列大表,需要查询一个分区中有7000万数据,其他699个分区中无数据,虽然只有一个分区有数据
以客户端安装用户,登录安装客户端的节点。 在“/opt/hadoopclient/Flink/flink/conf/flink-conf.yaml”文件中新增表3中的参数并保存。 查看监控指标信息。 Flink作业运行成功后,登录AOM 2.0控制台,在左侧导航栏选择“Prometheus监控
er Server启动失败。 参考修改集群服务配置参数章节,进入ZooKeeper服务“全部配置”页面。不断尝试调大ZooKeeper配置文件“zoo.cfg”中的“syncLimit”和“initLimit”两参数值,直到ZooKeeperServer正常。 表1 参数说明 参数
会启动一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器,等待JDBC客户端的连接和提交查询。所以,在配置JDBCServer的时候,至少要配置
切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过class文件找到执行jar包,该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar
节点,ZooKeeper中存储了ClickHouse的表在复制过程中的元数据信息。 ZooKeeper节点信息可以参考config.xml文件内容,具体路径在“${BIGDATA_HOME}/FusionInsight_ClickHouse_版本号/x_x_clickhouse实例名/etc”目录下。
切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过class文件找到执行jar包,该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar
切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过class文件找到执行jar包,该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar
切分数据块。 setJarByClass(Class< > cls) 核心接口,指定执行类所在的jar包本地位置。java通过class文件找到执行jar包,该jar包被上传到HDFS。 setJar(String jar) 指定执行类所在的jar包本地位置。直接设置执行jar
会启动一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器,等待JDBC客户端的连接和提交查询。所以,在配置JDBCServer的时候,至少要配置
列式存储与数据压缩 ClickHouse是一款使用列式存储的数据库,数据按列进行组织,属于同一列的数据会被保存在一起,列与列之间也会由不同的文件分别保存。 在执行数据查询时,列式存储可以减少数据扫描范围和数据传输时的大小,提高了数据查询的效率。 例如在传统的行式数据库系统中,数据按如下表1顺序存储:
必须确保配置的LDAP服务主机名或者IP与HiveServer节点互通。如果URL中配置的LDAP主机名,则需要在HiveServer节点的“/etc/hosts”文件中配置相应LDAP主机名和IP映射关系。 ldap://xxx:xxx hive.server2.authentication.ldap.userDNPattern
proxyuser.test.groups * 重启HDFS、Yarn、Spark、Hive服务,并更新客户端HDFS、Yarn、Spark、Hive配置文件。 登录Spark客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env source Spark/component_env
tsdb命令可以使用“tsdb import”命令批量导入指标数据,可执行如下命令: 准备指标数据,如包含如下内容的importData.txt文件。 sys.cpu.user 1356998400 41 host=web01 cpu=0 sys.cpu.user 1356998401
hing值);如果业务侧业务暂时无法优化,可以在应用侧的“客户端安装目录/HBase/hbase/conf/hbase-site.xml”文件中新增或修改以下参数(仅减少告警日志打印,不会缓解过载)。 表2 减少告警日志打印 参数名称 参数描述 调整策略 hbase.rpc.rows
wheel 系统内部运行用户“omm”的主组。 ficommon 系统公共组,对应“compcommon”,可以访问集群在操作系统中保存的公共资源文件。 如果当前集群不是在FusionInsight Manager内第一次安装的集群,集群内除Manager以外其他组件对应的默认用户组名称
"replication_allocation" = "tag.location.default: 1" ); 在当前节点的任意目录下创建“test.csv”文件,内容如下: 10000,2017-10-01,city1,20,0,2017-10-01 06:00:00,20,10,10 10000
name”的参数值可在安装了Kafka客户端的节点的“客户端安装目录/Kafka/kafka/config”目录下的“server.properties”文件中,搜索“sasl.kerberos.service.name”、“security.protocol”或“kerberos.domain
test.functions”,“artifactId”配置“myfunctions”。这个两个值可根据实际情况自定义。 修改“pom.xml”文件如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www