检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入jdbc-example样例工程之后,需要将代码中USER_NAME = "xxx"的"xxx"改成在准备MRS应用开发用户阶段创建的开发用户。
因此,如果频繁地创建Configuration实例,会导致创建很多不必要的HConnection实例,很容易达到ZooKeeper的连接数上限。 建议在整个客户端代码范围内,都共用同一个Configuration对象实例。
MRS集群默认管理用户为admin,密码为创建集群时用户设置。 或参考如何重置或修改Manager(admin)密码?章节重置用户密码。 集群的用户密码过期或遗忘后,也可使用管理员登录Manager初始化该用户的密码。 登录FusionInsight Manager。
问题现象 用户创建的集群显示磁盘容量不足,产生致命告警,导致Spark、Hive和Yarn服务不可用。 原因分析 由于集群磁盘容量不足,会影响到HDFS的数据写入,HDFS磁盘空间使用率超过阈值,因此导致HDFS服务异常。
插入数据到不存在的目录中 开启Hive能插入数据到不存在的目录中的功能,可以执行写目录insert overwrite directory “/path1/path2/path3” ...命令,“/path1/path2”目录权限为700且属主为当前用户,“path3”目录不存在,会自动创建
“admin”密码在创建MRS集群时由用户指定。 操作步骤 进入Impala服务页面:登录FusionInsight Manager,然后选择“集群 > 待操作的集群名称 > 服务 > Impala”。 单击“查询管理”,列表默认显示所有正在进行的查询。
执行如下命令将创建连接器。 .
集群用户可以通过FusionInsight Manager创建恢复ClickHouse任务并恢复数据。只支持创建任务手动恢复数据。 ClickHouse备份恢复功能不支持识别用户的ClickHouse表、索引、视图等对象在业务和结构上存在的关联关系。
检查DataNode数据目录是否创建失败。 执行su - omm命令,切换到omm用户。 使用ls命令查看DataNode数据目录中的每个目录是否存在。 是,执行26。 否,执行12。 使用mkdir 数据目录命令创建该目录,查看是否可以创建成功。 是,执行24。
JDBCServer重启后会创建新的jarClassLoader,所以需要重新add jar。
回答 问题原因: 在IBM JDK下建立的Hive connection时间超过登录用户的认证超时时间(默认一天),导致认证失败。
main方法提供建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。
解决措施: 通常情况下,在发现JDBC connection不可用的时候,可以关闭该connection,重新创建一个connection继续执行。 父主题: Spark应用开发常见问题
解决措施: 通常情况下,在发现JDBC connection不可用的时候,可以关闭该connection,重新创建一个connection继续执行。 父主题: Spark应用开发常见问题
main方法提供建立一个MapReduce job,并提交MapReduce作业到Hadoop集群。
回答 问题原因: 在IBM JDK下建立的Hive connection时间超过登录用户的认证超时时间(默认一天),导致认证失败。
JDBCServer重启后会创建新的jarClassLoader,所以需要重新add jar。
代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。
本章节指导用户在创建MRS集群后通过集群客户端快速连接ClickHouse服务。 前提条件 已安装MRS集群客户端,例如安装目录为“/opt/client”。
聚合算法优化 操作场景 在Spark SQL中支持基于行的哈希聚合算法,即使用快速聚合hashmap作为缓存,以提高聚合性能。hashmap替代了之前的ColumnarBatch支持,从而避免拥有聚合表的宽模式(大量key字段或value字段)时产生的性能问题。