检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
它可以由用户根据需要自由的定义,与通常理解的集群有一定的差异。多个ClickHouse节点之间是一种松耦合的关系,各自独立存在。 shards shard(分片)是对cluster的横向切分,1个cluster可以由多个shard组成。 replicas replica(副本),
', '[commit_Time]'); 参数描述 表1 参数描述 参数 描述 是否必填 table_name 需要查询的表名,支持database.tablename格式。 是 commit_Time 指定创建或回滚的时间戳。 是 user 创建savepoint的用户。 否 comments
生成compaction计划(op指定为“schedule”),或者执行已经生成的compaction计划(op指定为“run”) 是 table 需要查询表的表名,支持database.tablename格式 否 path 需要查询表的路径 否 timestamp 在op指定为“run”时,可以指定timestam
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
Node的详细信息,并将RPC调用保存到备用的NameNode。在异常情况下有很多优势,例如当备用的NameNode连接长时间不响应时。 当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下:
Node的详细信息,并将RPC调用保存到备用的NameNode。在异常情况下有很多优势,例如当备用的NameNode连接长时间不响应时。 当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下:
客户端安装目录/HBase 使用HBase客户端 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已
当主节点进程异常结束时,HDFS NameNode Standby通过ZooKeeper感知“/hadoop-ha”目录下发生了变化,NameNode会进行主备切换。 ZooKeeper和YARN的关系 ZooKeeper与YARN的关系如图2所示。 图2 ZooKeeper与YARN的关系 在系统启
distinct出现次数超过2就进行“提示”的规则。 图1 添加Hive SQL防御规则 登录安装有Hive客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env 执行以下
ozie调度Spark2x访问HBase以及Hive。 使用客户端上传Oozie的examples文件夹到HDFS。 登录客户端所在节点,切换到客户端所在目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
用Oozie调度Spark访问HBase以及Hive。 使用客户端上传Oozie的examples文件夹到HDFS。 登录客户端所在节点,切换到客户端所在目录,例如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env
e表上原始数据,因为保留一张未加密的表存在安全风险。 创建Hive列加密表 以Hive客户端安装用户登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,配置环境变量并认证用户。 cd 客户端安装目录 source bigdata_env kinit Hive业务用户(如果
其他节点。 系统自动将Master节点标记为主备管理节点,并支持MRS集群管理的高可用特性。如果主管理节点无法提供服务,则备管理节点会自动切换为主管理节点并继续提供服务。 查看Master1节点是否为主管理节点,请参见查看MRS集群主备管理节点。 Core节点 MRS集群工作节点,负责处理和分析数据,并存储过程数据。
自身的配置优先。 单击“确定”。 完成后请重新启动配置过期的服务或实例以使配置生效。 配置实例组参数:在“实例组”页签导航栏选择一个角色,切换至“配置”页签,调整需要修改的配置参数后单击“保存”,相关配置将对实例组内所有实例生效。 父主题: 管理MRS集群组件
分析集群HDFS使用情况,增加HDFS分配给Hive使用的容量上限。 登录MRS集群详情页面,单击“组件管理 > Hive > 服务配置”,将“基础配置”切换为“全部配置”,然后查找“hive.metastore.warehouse.size.percent”,调大该配置项。设配置项的值为A,H
Connection(host='hiveserverIp', port=hiveserverPort, username='hive', database='default', auth=None, kerberos_service_name=None, krbhost=None) 需按照实际环境修改以下参数:
参考打包Strom样例工程应用执行打包,并将jar包命名为“example.jar”。 将导出的Jar包复制到Linux环境的“/opt/test/lib”目录下。 切换到“/opt/test”,执行以下命令,运行Jar包。 java -classpath /opt/test/lib/*:/opt/test/src/main/resources
可以单独将topic的数据保留期改为较短时间来释放磁盘空间,该方式无需重启Kafka服务即可生效。具体请参见8。 登录Manager页面,在Kafka的服务配置页面,切换为“全部配置”并搜索“log.retention.hours”配置项,该值默认为7天,请根据需要进行修改。 可以单独将这些磁盘上的topi
MRS管理控制台与MRS集群Manager页面的区别和联系请参考表1。 表1 MRS管理控制台与Manager区别说明 常用操作 MRS管理控制台 MRS集群Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、IAM用户同步 支持 不支持 新增节点组、扩容、缩容、升级规格 支持 不支持 隔离主机、启动所有角色、停止所有角色
单击服务列表中指定的服务名称。 单击“实例”页签。 单击角色实例列表中指定的角色实例名称。 单击“实例配置”页签。 将页面右侧“基础配置”切换为“全部配置”,界面上将显示该角色实例的全部配置参数导航树。 在导航树选择指定的参数,修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。