检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Kudu应用程序开发思路 开发思路 通过典型场景,可以快速学习和掌握Kudu的开发过程,并对关键的接口函数有所了解。 作为存储引擎,通常情况下Kudu会和计算引擎一起协同工作: 首先在计算引擎上(比如Impala)用SQL语句创建表对象; 然后通过Kudu的驱动往这个表里写数据;
配置列统计值直方图Histogram用以增强CBO准确度 配置场景 Spark优化sql的执行,一般的优化规则都是启发式的优化规则,启发式的优化规则,仅仅根据逻辑计划本身的特点给出优化,没有考虑数据本身的特点,也就是未考虑算子本身的执行代价。Spark在2.2中引入了基于代价的优
使用HBase 连接到HBase响应慢 HBase用户认证失败 端口被占用导致RegionServer启动失败 节点剩余内存不足导致HBase启动失败 HDFS性能差导致HBase服务不可用告警 参数不合理导致HBase启动失败 残留进程导致Regionsever启动失败 HDFS上设置配额导致HBase启动失败
此步骤)。 在4获取新建开发用户的krb5.conf和user.keytab文件后,修改presto.properties中的KerberosPrincipal为对应新建用户的principal,修改KerberosConfigPath为对应新建用户的krb5.conf文件路径,
状态和任务执行结果等信息。用户可定期查看任务执行情况,帮助评估集群运行健康状况。 查看HetuEngine物化视图自动化任务步骤 使用用于访问HetuEngine WebUI界面的用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。
BaseExample 使用Oozie调度Spark访问HBase的示例程序。 oozie-examples/oozienormal-examples/OozieSparkHiveExample 使用Oozie调度Spark访问Hive的示例程序。 父主题: Oozie应用开发概述
b文件。“人机”用户第一次登录时需修改密码。普通模式不需要下载keytab文件及修改密码操作。 使用Yarn客户端 安装客户端。 MRS 3.x之前版本请参考安装客户端章节。 MRS 3.x及之后版本请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。
基于某些业务要求,要求开发Spark应用程序实现如下功能: 根据用户名累计用户的历史消费金额,即用户总消费金额=100(用户当天的消费金额) + 1000(用户历史消费金额)。 上例所示,运行结果table2表用户key=1的总消费金额为cf:cid=1100元。 数据规划 使用HBase
mpalad/etc/llama-site.xml 重启impalad实例。 登录到impala客户端所在的节点上,source环境变量,然后执行如下命令。 impala-shell -i {impalad实例ip:port} -Q request_pool=root.default
查看Kerberos日志“/var/log/Bigdata/kerberos/krb5kdc.log”,发现有集群外的IP使用Kafka用户连接,导致多次认证失败,最终导致Kafka账号被锁定。 Jul 11 02:49:16 192-168-1-91 krb5kdc[1863](info):
回答 当前可以通过以下3种方式创建UDF: 在Hive端创建UDF。 通过JDBCServer接口创建UDF。用户可以通过Spark Beeline或者JDBC客户端代码来连接JDBCServer,从而执行SQL命令,创建UDF。 通过spark-sql创建UDF。 删除UDF失败,存在以下两种场景:
打开MRS集群详情页面,在告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机地址。 登录告警节点。 执行以下命令切换用户: sudo su - root su - omm 执行如下命令查看omm用户D状态进程号。 ps -elf | grep -v "\[thread_checkio\]"
directories.”的信息。 是,执行6。 否,执行13。 选择“备份路径 > 查看”,获取备份路径。 以root用户登录节点,执行以下命令查看节点挂载详情,用户密码为安装前用户自定义,请咨询系统管理员: df -h 在挂载详情中查看备份路径挂载点的剩余空间是否小于20GB。 是,执行9。
S、DBService要求状态正常,其他组件要求停止服务)。 是,执行7。 否,执行2。 恢复组件状态至要求状态,再一次启动该恢复任务。 登录MRS Manager管理界面,选择“告警管理”。在告警列表中单击该告警所在行,从“定位信息”处获得任务名。 选择“系统设置 > 恢复管理
hbase.zkquorum 仅在索引类型为HBASE时适用,必填选项。要连接的HBase ZK Quorum URL。 无 hoodie.index.hbase.zkport 仅在索引类型为HBASE时适用,必填选项。要连接的HBase ZK Quorum端口。 无 hoodie.index
password=密码;"); } manager_user为FusionInsight Manager创建的人机用户,需要具有正在使用的Topic的生产消费权限。 密码为用户manager_user的密码。 如果使用开源kafka-client Jar包,密码中的特殊字符会被限定只能使用“$”。
问题 客户端连接非Leader实例,使用deleteall命令删除大量znode时,报错Node does not exist,但是stat命令能够获取到node状态。 回答 由于网络问题或者数据量大导致leader和follower数据不同步。 解决方法是客户端连接到Leader实例进行删除操作。
集群未正式上线或暂时离线进行运维操作时(例如非滚动方式的升级),可将整个集群配置为维护模式。 服务维护模式 对特定服务进行维护操作时(例如对该服务的实例进行批量重启等可能影响业务的调试操作、对该服务相关的节点进行直接上下电或修复服务等),可仅将涉及的服务配置为维护模式。 主机维护模式 对主
O写入等待时长达到上限。 处理步骤 检查告警阈值配置或者平滑次数配置是否合理。 根据实际磁盘IO使用情况,修改告警阈值和平滑次数配置项。 登录FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 磁盘 > 每个写操作平均所需时间”。
TABLES命令用于显示所有在当前database中的table,或所有指定database的table。 命令格式 SHOW TABLES [IN db_name]; 参数描述 表1 SHOW TABLES参数描述 参数 描述 IN db_name Database名称,仅当需要显示指定Database的所有Table时配置。