检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Base Client部分通过已缓存的HConnection实例,来判断属于这个Configuration实例的HConnection实例是否存在,如果不存在,会创建一个新的HConnection,如果存在,则会直接返回相应的实例。 因此,如果频繁地创建Configuration
如下所示,发现对应Topic状态正常。所有Partition均存在正常Leader信息。 图1 Topic分布信息和副本同步信息 检查客户端与Kafka集群网络是否连通,若网络不通协调网络组进行处理。 通过SSH登录Kafka Broker。 通过cd /var/log/Bigdata/kafka/broker命令进入日志目录。
指定值之上。 200 hive.server2.enable.doAs HiveServer2在与其他服务(如Yarn、HDFS等)会话时是否模拟客户端用户。如果将此配置项从“false”修改为“true”,会导致只有列权限的用户访问相应表权限缺失。 true 单击“保存”,保存配置。
务。 配置HetuEngine维护实例 启用物化视图改写能力 开启物化视图改写能力之后,HetuEngine会根据用户输入的SQL语句判断是否满足物化视图改写,将能匹配到物化视图的查询或者子查询转换为物化视图,避免了数据的重复计算。 配置HetuEngine物化视图改写能力 父主题:
tuEngine可以读取的HDFS中。 Deterministic characteristic NOT DETERMINISTIC 函数是否确定性。 DETERMINISTIC:如果函数在使用相同的输入集调用时总是返回相同的结果集,则该函数被视为确定性。 NOT DETERMI
Scala样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息,将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples
<oldSnapshot> <newSnapshot> 将新旧版本之间的差异内容,拷贝到目标位置的旧版本文件中。 -skipcrccheck 是否跳过源文件和目标文件之间的CRC校验。 -strategy {dynamic|uniformsize} 指定拷贝任务的拷贝策略,默认策略是
配置Hive详细参数。 检查客户端节点网络连接。 在安装客户端过程中,系统会自动配置客户端节点“hosts”文件,建议检查“/etc/hosts”文件内是否包含集群内节点的主机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。
只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 is_all_sync 否 Boolean 参数解释: 是否是全量同步。 约束限制: 不涉及 取值范围: true:全量同步 false:指定用户、用户组同步
House_*/x_x_ClickHouseServer/etc 执行以下命令,查看配置文件config.xml,确认OpenLDAP参数是否配置成功。 cat config.xml 以root用户登录ClickHouseServer实例所在的节点。 执行以下命令获取“clickhouse
接口可实现创建表、读取表、往表中插入数据等操作。 Spark On HBase 登录Manager界面,选择“集群 > 集群属性”查看集群是否为安全模式。 是,执行2。 否,执行5。 选择“集群 > 服务 > Spark2x > 配置 > 全部配置 > JDBCServer2x >
查询Hive表数据 功能介绍 本小节介绍了如何使用HQL对数据进行查询分析。从本节中可以掌握如下查询分析方法: SELECT查询的常用特性,如JOIN等。 加载数据进指定分区。 如何使用Hive自带函数。 如何使用自定义函数进行查询分析,如何创建、定义自定义函数请见创建Hive用户自定义函数。
配置clickhouse-to-hdfs-customize自定义参数时,涉及到nameservice必须使用小写(无论HDFS集群的nameservice是否大写),例如hdfs集群的nameservice为NS1,则在clickhouse-to-hdfs-customize中配置时应该是ns1。
SUSPEND:挂起状态,不能改写,不能刷新 State:物化视图有效期 Stale:物化视图过期 Valid:物化视图未过期,正常状态 SyncStatus:物化视图缓存是否同步 SHOW MATERIALIZED VIEWS FROM tpcds; hetuengine:tpcds_2gb> SHOW MATERIALIZED
在“文件格式”填写业务数据文件的类型。 需要与6.c的类型对应。 在“压缩格式”填写一种压缩的算法。例如选择不压缩“NONE”。 在“是否覆盖”选择已有文件的处理方式,选择“True”。 单击“显示高级属性”,在“换行符”填写业务数据保存时,系统填充的换行字符。 在“字段分割
port”,获取HSFabric的端口号。 user 访问HetuServer的用户名,即在集群中创建的“机机”用户的用户名。 SSL 是否使用HTTPS连接,默认为“false”。 父主题: HetuEngine样例程序(Java)
用开关,开启后,登录用户只能查看该用户有权限查看的内容。该参数为JobHistoryServer的服务端参数,表示JHS开启了权限控制,但是否要对某一个特定的Application进行控制,是由客户端参数:“mapreduce.cluster.acls.enabled”决定。 true
House_*/x_x_ClickHouseServer/etc 执行以下命令,查看配置文件config.xml,确认OpenLDAP参数是否配置成功。 cat config.xml 以root用户登录ClickHouseServer实例所在的节点。 执行以下命令获取“clickhouse
登录FusionInsight Manager。 选择“集群 > 服务 > Spark2x > 更多 > 启用Ranger鉴权”,查看该参数是否置灰。 是,创建用户并在Ranger中赋予该用户相关操作权限: 选择“系统 > 权限 > 用户 > 添加用户”,在新增用户界面创建一个机机用户,例如developuser。
<Topic名称> --group <消费者组名称> MRS 1.6.3及之前版本,无论集群是否开启Kerberos认证ZooKeeper默认端口号均为24002。MRS 1.6.3及之后版本,无论集群是否开启Kerberos认证ZooKeeper默认端口号均为2181。 针对不同的Topic访问场景