检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导致解密失败,影响解密相关功能,例如DBservice安装等。 可能原因 rngd服务异常。 处理步骤 在MRS集群详情页面,单击“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“HostName”字段值,获取该告警产生的主机名。 登录告警节点,执行sudo su - root切换用户。 执行/bin/rpm
/opt/client/Kafka/kafka/bin 执行以下命令,配置环境变量。 source /opt/client/bigdata_env 执行以下命令,进行用户认证。 kinit 组件业务用户 使用“kafka-acl.sh”进行用户授权常用命令如下。 查看某Topic权限控制列表: ./kafka-acls
worker中开启profiling。通过sc.show_profiles()展示分析结果。或者在driver退出前展示分析结果。可以通过sc.dump_profiles(path) 将结果转储到磁盘中。如果一些分析结果已经手动展示,那么在Driver退出前,它们将不会再自动展示。 默认使用pyspark
tkill -S tgkill -F a1!=0 -k process_killed 查看规则: auditctl -l 当进程有异常被终止后,使用ausearch -k process_killed命令,可以查询终止历史。 a0是被终止进程的PID(16进制),a1是kill命令的信号量。
Oozie主要特点: 支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。 Oozie应用开发常见概念 流程定义文件 描述业务逻辑的XML文件,包括“workflow
operationUrl, String operationName) 参数:HttpClient httpCient,登录认证完成后的返回结果。 operationUrl httpGet操作对应的URL。 operationName 具体操作的名称。 sendHttpPostRequest(HttpClient
设置可分配给容器的物理内存数量。单位:MB,取值范围大于0。 建议配置成节点物理内存总量的75%~90%。如果该节点有其他业务的常驻进程,请降低此参数值给该进程预留足够运行资源。 16384 CPU虚拟核数 建议将此配置设定在逻辑核数的1.5~2倍之间。如果上层计算应用对CPU的计算能力要求不高,可以配置为2倍的逻辑CPU。
manager_username:集群的用户。 manager_password:集群用户对应的密码(密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全)。 topic:生产消费的topic名称,默认值“example-metric1”。 isAsync:是否使用异步生产,默认值“false”。
的etc目录等。如果重启服务前所在的目录为etc或者其子目录,由于重启后目录重建,仍在原来目录执行impala-shell时会产生某些系统变量或者参数无法找到的情况,所以连接impala-shell连接失败。 处理步骤 任意切换到存在的目录,重新连接impala-shell即可。
系统域名”,例如:zookeeper/hadoop.HADOOP.COM。系统域名可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数值获取。; [3] zookeeper.sasl.client:如果MRS集群是安全模式,该值设置为“true”,否则设置为
当前Spark SQL执行一个查询时需要使用大量的内存,尤其是在做聚合(Aggregate)和关联(Join)操作时,此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关的查询,而不出现OutOfMemoryError。
当前Spark SQL执行一个查询时需要使用大量的内存,尤其是在做聚合(Aggregate)和关联(Join)操作时,此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关的查询,而不出现OutOfMemoryError。
在Session级别开启UDF函数运算结果的隐式转换 登录HetuEngine客户端。 执行以下命令,开启UDF函数运算结果的隐式转换功能。 set session udf_implicit_conversion=true; 在System级别开启隐式转换或UDF函数运算结果的隐式转换 登录FusionInsight
建表的时候,指定inputformat为SpecifiedDelimiterInputFormat,然后在每次查询前,都设置如下参数来指定分隔符,就可以以指定的分隔符查询表数据。 set hive.textinput.record.delimiter=''; 当前版本的Hue组件
创建包含SELECT查询结果的新表。 使用CREATE TABLE创建空表。 使用IF NOT EXISTS子句时,如果表已经存在则不会报错。 可选WITH子句可用于设置新创建的表的属性,如表的存储位置(location)、是不是外表(external)等。 示例 用指定列的查询结果创建新表
ionInsight Manager界面,选择“运维 > 告警 > 告警”,等待2分钟,查看该告警是否自动恢复。 是,处理完毕。 否,执行2。 查看异常的Tablet并修复。 选中该告警,查看“附加信息”中“tabletId”的值。如果异常Tablet较多,附加信息中不能完全显示相关信息,可在Master
创建用户表、导入用户数据、增加用户信息、查询用户信息及为用户表创建二级索引等功能。 MRS 3.3.0及之后版本,可实现创建/删除全局二级索引、修改全局二级索引状态、以及基于全局二级索引查询等功能。 hbase-rest-example HBase Rest接口应用开发示例。 使用Rest接口实现查询HBase
Oozie主要特点: 支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。 Oozie应用开发常见概念 流程定义文件 描述业务逻辑的XML文件,包括“workflow
虚拟私有云 MRS集群节点所归属的虚拟私有云网络,如果没有可用的虚拟私有云,请单击“查看虚拟私有云”进入网络控制台,创建一个新的虚拟私有云。 - 子网 虚拟私有云网络内的子网信息,如果没有可用的子网,请单击“查看子网”进入网络控制台,创建一个新的子网。 - 集群节点 MRS集群内节点的规格信息及数量配置。
4 根据用户编号查询用户姓名和地址。 请参见使用Get API读取HBase表数据。 5 根据用户姓名进行查询。 请参见使用Filter过滤器读取HBase表数据。 6 为提升查询性能,创建二级索引或者删除二级索引。 请参见创建HBase表二级索引和基于二级索引查询HBase表数据。