检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
--ldap_uri-port ldap port 389 - --max_log_files 进程日志的最大文件个数。 10 - --max_log_size 进程的日志文件大小最大值,单位 MB。 200 - statestored.customized.configs Statestored进程的自定义配置项。
run(Thread.java:745) 回答 当通过OfflineMetaRepair工具重建元数据时,HMaster在启动期间等待所有region server的WAL分割,以避免数据不一致问题。一旦WAL分割完成,HMaster将进行用户region的分配。所以当在集群异常的场景下
客户端工具使用方法: 登录任意一个Master节点。 初始化环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 例如:kinit
建议合理设置用户的队列权限,最好一个用户只绑定一个队列。 如果客户必须绑定多个队列时,可通过配置全局用户策略指定某用户的默认提交队列。 以MRS 3.x版本集群为例,登录集群Manager界面,单击“租户资源”。 单击“动态资源计划 > 全局用户策略 > 添加全局用户策略”。 “
打开Kudu表 功能简介 通过KuduClient.openTable(final String name)方法打开表对象。 代码样例 如下是打开表的代码片段: // 打开Kudu表 KuduTable table = client.openTable(tableName); 示
打开Kudu表 功能简介 通过KuduClient.openTable(final String name)方法打开表对象。 代码样例 如下是打开表的代码片段: // 打开Kudu表 KuduTable table = client.openTable(tableName); 示
Spark多服务场景下,普通用户无法登录Spark客户端 问题 Spark存在多个服务场景时,当使用多服务时,普通用户无法登录spark-beeline。报错如下图所示: 原因 当Hive同时存在多场景服务时,普通用户不属于Hive用户组,没有Hive目录权限,导致无法登录。 解决方法 登录FusionInsight
配置MRS集群存算分离 MRS存算分离配置流程说明 配置MRS集群通过IAM委托对接OBS 配置MRS集群通过Guardian对接OBS 存算分离常见问题
--ldap_uri-port ldap port 389 - --max_log_files 进程日志的最大文件个数。 10 - --max_log_size 进程的日志文件大小最大值,单位 MB。 200 - statestored.customized.configs Statestored进程的自定义配置项。
Fetch请求总体时延超过阈值 告警解释 系统每30秒周期性检测Broker实例的Fetch请求总体时延,当检测到某个Broker实例的Fetch请求总体时延连续10次超出阈值时产生该告警。 当Broker实例的Fetch请求总体时延小于或等于阈值时,告警清除。 该告警仅适用于MRS
ssh/id_rsa.pub文件中的信息,如果没有手动添加对端节点信息。 检查/home/omm/.ssh目录下的文件权限是否正确。 排查日志文件 “/var/log/Bigdata/nodeagent/scriptlog/ssh-agent-monitor.log”。 如果把omm的用户目录删除了,需要联系MRS运维人员修复。
是因为该工程的classpath路径下,存在core-site.xml配置文件,此配置文件上设置“hadoop.security.authentication”为“kerberos”。 解决办法 属于用户使用不当。对于本业务应用来说,若要解决此问题,可以参考如下几种办法: 方法1:
创建表关联OpenTSDB 功能描述 MRS的Spark实现了访问OpenTSDB的Datasource,能够在Spark中创建关联表,查询和插入OpenTSDB数据。 使用CREATE TABLE命令创建表并关联OpenTSDB上已有的metric。 若OpenTSDB上不存在metric,查询对应的表会报错。
Java样例代码 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples.SparkHivetoHbase。
体请参见HBase SQL查询样例代码说明。 连接Phoenix: source /opt/client/bigdata_env kinit MRS集群用户(MRS集群用户可以是内置用户hbase,或者已加入hbase组中的其他用户,未开启Kerberos认证集群略过该命令) cd
0及以后版本。 典型场景说明 本样例中Job每秒生成1条数据,将数据写入到Hudi表中,再读取并打印Hudi表中的数据。 开发思路 写Hudi: 通过一个随机生成数据类来生成数据。 将生成的数据转化为DataStream<RowData>。 将数据写入到Hudi表中。 读Hudi: 读取Hudi表中的数据。
row1:主键。 cf:a:自定义的列。 value1:插入的值。 数据查询 由于冷热数据都在同一张表中,因此用户所有的查询操作都只需在一张表内进行。在查询时,建议通过配置TimeRange来指定查询的时间范围,系统将会根据指定的时间范围决定查询模式,包括仅查询热存储、仅查询冷存
employees_info; DESCRIBE employees_like; 扩展应用 创建分区表 一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED
Time>的方式来表示,tuple是元组,包含了数据结构和数据内容,Time就是该数据的逻辑时间。 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在组件中进行API方式认证。 父主题: Storm应用开发概述
附录 修改集群服务配置参数 访问集群Manager 使用MRS客户端