检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
执行如下命令: 安全模式: cd 客户端安装目录 source bigdata_env kinit hdfs 普通模式: su - omm cd 客户端安装目录 source bigdata_env 在节点客户端执行hdfs fsck / -delete,删除丢失文件。
以客户端安装用户登录安装了HDFS和HBase客户端的节点,并执行以下命令: cd 客户端安装目录 source bigdata_env kinit 组件业务用户(若集群未启用Kerberos认证(普通模式),请跳过该操作) 查看损坏的StoreFile文件。
图1 添加HetuEngine SQL防御规则 登录安装有HetuEngine客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。
HA Manager 管理Loader Server进程的主备状态,Loader Server包含2个节点,以主备方式部署。 Loader通过MapReduce作业实现并行的导入或者导出作业任务,不同类型的导入导出作业可能只包含Map阶段或者同时Map和Reduce阶段。
com.huawei.flink.example.sqljoin.WriteIntoKafka4SQLJoin /opt/Flink_test/flink-examples-1.0.jar --topic topic-test --bootstrap.servers xxx.xxx.xxx.xxx:21005 在集群内任一节点启动
查询封装成另一个MapReduce任务并提交 // 所以不建议在MapReduce作业中调用Hive final String driver = "org.apache.hive.jdbc.HiveDriver"; // 集群ZooKeeper节点信息
“源端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “源端路径”:表示备份文件在HDFS中保存的完整路径。例如“备份路径/xxx/备份任务名_数据源_任务创建时间/”。
以omm用户登录故障RegionServer节点。 进入客户端安装目录,配置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本,要执行以下命令进行安全认证: kinit hbase 按提示输入密码(向MRS集群管理员获取密码)。
“源端NameNode IP地址”:填写备集群NameNode业务平面IP地址,支持主节点或备节点。 “源端路径”:填写备集群保存备份数据的完整HDFS路径。例如,“备份路径/备份任务名_数据源_任务创建时间/”。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。
BroadCast的阈值,在没有CBO情况下是无法感知大表过滤后变小的情况,采用的是SortMergeJoin算法,涉及到大量Shuffle操作,很耗费性能;在有CBO的情况下是可以感知到结果集的变化,采用的是BroadcastHashJoin算法,会将过滤后的小表BroadCast到每个节点
步骤3:创建Doris Catalog 登录Doris集群中已安装好MySQL客户端的MRS Master节点,执行如下命令进入Doris数据库。
Distributed表引擎 Distributed表引擎本身不存储任何数据,而是作为数据分片的透明代理,能够自动路由数据到集群中的各个节点,分布式表需要和其他本地数据表一起协同工作。分布式表会将接收到的读写任务分发到各个本地表,而实际上数据的存储在各个节点的本地表中。
以客户端安装用户登录客户端安装节点,执行如下命令,进入hive beeline。 source /opt/client/bigdata_env beeline 执行如下命令,建立连接并使用testuser登录。 !
bin/kafka-console-consumer.sh --topic 主题名称 --bootstrap-server Kafka角色实例所在节点的业务IP地址:21007 --consumer.config config/consumer.properties --from-beginning
getClusterNodes(GetClusterNodesRequest request) Client通过此接口从RM获取集群中的所有节点信息。
可能原因 该节点Hive实例直接内存使用量过大,或分配的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。
可能原因 该节点Hive实例内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。
可能原因 该节点Hive实例非堆内存使用量过大,或分配的非堆内存不合理,导致使用率超过阈值。 处理步骤 检查非堆内存使用率。
bin/kafka-console-consumer.sh --topic 主题名称 --bootstrap-server Kafka角色实例所在节点的业务IP地址:21007 --consumer.config config/consumer.properties --from-beginning
MRS CommonOperations、MRS FullAccess、MRS Administrator变化时,或者反之从MRS CommonOperations、MRS FullAccess、MRS Administrator向MRS ReadOnlyAccess变化时,由于集群节点的