检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在安装好客户端的环境下,使用hbase用户进行kinit认证。 执行hbase zkcli命令进入ZooKeeper命令行。 在ZooKeeper命令行中执行ls /hbase/table,查看新建的表名是否存在。 是,执行ls /hbase/table-lock查看新建的表名是否存在,若存在新建的表时使用delete
集群的Core节点除了MRS组件运行占用外,Yarn上的作业还会被分配到节点运行,占用节点内存。若是由于Yarn作业占用内存多导致组件无法正常启动时,建议扩容Core节点。 父主题: 使用HBase
数据处理通常由多个任务构成,对资源需要进行详细规划。 例如在环保行业中,可以将天气数据存储在OBS,定期转储到HDFS中进行批量分析,在1小时内MRS可以完成10TB的天气数据分析。 图1 环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本:利用OBS实现低成本存储。
enldap版本为2.4.39或更高时,主备LDAP节点服务自动采用SASL External机制进行数据同步,避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议,可安全使用。当升级openldap版本为2.4.39或更高时,LDAP将自动使用TLS 1.0以上的协议通讯,避免未知的安全风险。
list KuduMaster实例IP1:7051, KuduMaster实例IP2:7051, KuduMaster实例IP3:7051 查询Kudu服务KuduMaster实例的配置信息。 kudu master get_flags KuduMaster实例IP:7051 查询表的schema。
每个任务分片在执行中都需要同一份数据集合时,就可以把公共数据集Broadcast到每个节点,让每个节点在本地都保存一份。 大表和小表做join操作时可以把小表Broadcast到各个节点,从而就可以把join操作转变成普通的操作,减少了shuffle操作。 操作步骤 在开发应用程序时,添
etached配置项? 用root用户登录Clickhouse客户端所在节点。 进入客户端目录,配置环境变量。 cd /opt/客户端安装目录 source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。
API:提供基于窗口的API。 资源调度器:新增基于资源的调度器插件,可以在拓扑定义时指定可使用的最大资源,并且通过配置的方式指定用户的资源配额,从而管理该用户名下的拓扑资源。 State Management:提供带检查点机制的Bolt接口,当事件失败时,Storm会自动管理bolt的状态并且执行恢复。 消息采样和调试:在Storm
MapReduce是运行在YARN之上的一个批处理计算框架。MRv1是Hadoop 1.0中的MapReduce实现,它由编程模型(新旧编程接口)、运行时环境(由JobTracker和TaskTracker组成)和数据处理引擎(MapTask和ReduceTask)三部分组成。该框架在扩展性、
FSTableDescriptor继承自org.apache.hadoop.hbase.HTableDescriptor,没有新增接口,但是如果要使用JAVA接口创建HFS表来存储文件,必须使用该类。 org.apache.hadoop.hbase.filestream.client.FSPut继承自org
在MRS集群中新增并提交一个作业。 需要先在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步,然后再通过该接口提交作业。 如需使用OBS加密功能,请先参考“MRS用户指南 > 管理现有集群 > 作业管理 > 使用OBS加密数据运行作业”页面进行相关配置后,再调用API接口运行作业。
er的健康状况,以便进行控制管理。 HBase也可以部署多个HMaster,类似HDFS NameNode,当HMaster主节点出现故障时,HMaster备用节点会通过ZooKeeper获取主HMaster存储的整个HBase集群状态信息。即通过ZooKeeper实现避免HBase单点故障问题的问题。
每个任务分片在执行中都需要同一份数据集合时,就可以把公共数据集Broadcast到每个节点,让每个节点在本地都保存一份。 大表和小表做join操作时可以把小表Broadcast到各个节点,从而就可以把join操作转变成普通的操作,减少了shuffle操作。 操作步骤 在开发应用程序时,添
parser.safeMode=true”。 单击“保存”,配置保存完成后。在Flink实例页签勾选所有“FlinkServer”实例,选择“更多 > 重启实例”。 使用omm用户登录任意FlinkServe实例节点,查看进程: ps -ef | grep FlinkServer 如果包含参数“-Dfastjson
单击右上角用户名后,选择“Log Out”,退出当前用户后使用rangeradmin用户登录。 在首页中单击“Settings”,选择“Roles”。 单击“Role Name”为“admin”的角色,在“Users”区域,单击“Select User”,选择指定用户名。 单击Add
初始化HBase配置 功能介绍 HBase通过login方法来获取配置项。包括用户登录信息、安全认证信息等配置项。 代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static
处于亚健康状态,联系运维人员处理。 确认处理完成后,可在FusionInsight Manager页面,手动清除该告警,查看系统在定时检查时是否会再次产生此告警。 是,执行6。 否,处理完毕。 收集故障信息 在FusionInsight Manager界面,选择“运维 > 日志 >
据盘存放个人私有化数据,避免慢盘隔离时对业务造成影响; 自动触发慢盘隔离动作后,对于原来写两副本数据存在单副本运行的场景,存在一定风险,请知;同时华为侧运维人员会尽快对慢盘进行替换; 慢盘自动隔离能力支持单节点同时出现多个慢盘【默认配置为4】时自动隔离节点,此时该节点会变成隔离状
每个任务分片在执行中都需要同一份数据集合时,就可以把公共数据集Broadcast到每个节点,让每个节点在本地都保存一份。 大表和小表做join操作时可以把小表Broadcast到各个节点,从而就可以把join操作转变成普通的操作,减少了shuffle操作。 操作步骤 在开发应用程序时,添
Kerberos server配置信息。 表1中${HADOOP_HOME}表示服务端Hadoop的安装目录。 keytab认证是24小时有效,超过24小时需要重新认证。 样例代码中PRNCIPAL_NAME的用户名要与获取keytab文件和krb5文件的账户名一致。 不同集群的user