检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本操作需使用omm用户执行。 如果节点间网络不通,请先解决网络不通的问题,可以检查两个节点是否在同一个安全组,是否有设置hosts.deny、hosts.allow 等。 在两端节点执行ssh-add -l 确认是否有identities信息。 是,执行4。 否,执行2。 如果没有identities信息,执行ps
查看表A的大小命令为: hadoop fs -du -s -h ${test.warehouse.dir}/a 进行广播操作,对表有要求: 至少有一个表不是空表; 表不能是“external table”; 表的储存方式需为textfile(默认是textfile文件格式),如 create
Kafka是一个分布式消息系统,在此系统上可以做一些消息的发布和订阅操作,假定用户要开发一个Producer,让其每秒向Kafka集群某Topic发送一条消息,另外,还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。
rt”为另一个互信集群的HDFS active namenode地址,例如:10.10.10.233:25000。 “source_ip:source_port ”为源集群的HDFS active namenode地址,例如:10.10.10.223:25000。 两个IP地址和端口都需要根据自身的集群实际情况修改。
Kafka是一个分布式消息系统,在此系统上用户可以做一些消息的发布和订阅操作,假定用户要开发一个Producer,让其每秒向Kafka集群某Topic发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。
设置Yarn权限,或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的操作。 安全模式下Yarn和HBase的权限管理默认是开启的,因此在安全模式下默认需要配置Yarn和HBase权限。 在普通模式下
见添加用户组。 根据业务实际需要,在“用户组”添加的所有组中选择一个组作为用户创建目录和文件的主组。 下拉列表包含“用户组”中添加的全部组。 由于一个用户可以属于多个组(包括主组和附属组,主组只有一个,附属组可以有多个),设置用户的主组是为便于维护以及遵循hadoop社区的权限机
rt”为另一个互信集群的HDFS active namenode地址,例如:10.10.10.233:25000。 “source_ip:source_port ”为源集群的HDFS active namenode地址,例如:10.10.10.223:25000。 两个IP地址和端口都需要根据自身的集群实际情况修改。
设置Yarn权限,或者Hive over HBase的场景需要HBase权限。以下介绍Hive关联Yarn和Hive over HBase两个场景下的权限操作。 安全模式下Yarn和HBase的权限管理默认是开启的,因此在安全模式下默认需要配置Yarn和HBase权限。 在普通模
E_SEQ”等关于数据库信息,如何解决并正常安装Ranger? 回答 该现象可能出现在安装两个RangerAmdin实例的场景下。 安装失败后,您可以登录Manager页面,先手动重启一个RangerAdmin,然后再逐步重启其他实例。 父主题: Ranger故障排除
使用DBservice DBServer实例状态异常 DBServer实例一直处于Restoring状态 DBService默认端口20050或20051被占用 /tmp目录权限不对导致DBserver实例状态一直处于Restoring DBService备份任务执行失败 DBS
aming、Flink流式数据计算,Presto交互式查询,Tez有向无环图的分布式计算框等Hadoop生态圈的组件,进行海量数据分析与查询。 HBase集群:HBase集群使用Hadoop和HBase组件提供一个稳定可靠,性能优异、可伸缩、面向列的分布式云存储系统,适用于海量数
Kafka是一个分布式消息系统,在此系统上用户可以做一些消息的发布和订阅操作,假定用户要开发一个Producer,让其每秒向Kafka集群某Topic发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。
defaultFS),如果只是为了客户端更好的识别,则一般可以通过修改客户端内“core-site.xml”,“hdfs-site.xml”两个文件的相关参数进行实现。 父主题: 组件配置类
-h ${test.warehouse.dir}/a 进行广播操作,需要至少有一个表不是空表。 配置自动广播的阈值。 Spark中,判断表是否广播的阈值为10485760(即10M)。如果两个表的大小至少有一个小于10M时,可以跳过该步骤。 自动广播阈值的配置参数介绍,见表1。 表1
现有集群:包括除了“失败”和“已删除”状态以外的所有集群。 历史集群:仅包含“已删除”的集群,目前界面只显示6个月内创建且已删除的集群,若需要查看6个月以前删除的集群,请联系华为云支持人员。 失败任务管理:单击可查看“失败”状态的集群创建任务。 表1 集群列表参数 参数 参数说明 名称/ID 集群的名称,创建集群时
不允许多个线程在同一时间共用同一个Table实例 Table是一个非线程安全类,因此,同一个Table实例,不应该被多个线程同时使用,否则可能会出现并发问题。 Table实例缓存 如果一个Table实例可能长时间会被同一个线程固定且频繁地用到,例如,通过一个线程不断地往一个表内写入数据,那么
-h ${test.warehouse.dir}/a 进行广播操作,需要至少有一个表不是空表。 配置自动广播的阈值。 Spark中,判断表是否广播的阈值为10485760(即10M)。如果两个表的大小至少有一个小于10M时,可以跳过该步骤。 自动广播阈值的配置参数介绍,见表1。 表1
数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件(user.keytab、krb5.conf)。user.keytab和krb5.conf文件为安全模式下的认证文件,需要在FusionInsight
0版本为例。 开发Function Plugin项目 本样例实现两个Function Plugin,说明见下表。 表1 HetuEngine Function Plugin说明 名称 说明 类型 add_two 输入一个整数,返回其加2后的结果 ScalarFunction avg_double