检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties Shell命令需要在目录“客户端安装目录/Kafka/kafka/bin”下执行。 凡可指定“ * ”值以代表all value,且格式为“--参数 参数值”, 例如: --group *,必须通过单引号或者等于号赋值,例如:--group '*' 或者 --group=*。
合理地设计表结构、行键、列名能充分利用HBase的优势。本样例工程以唯一编号作为RowKey,列都存储在info列族中。 HBase表以“命名空间:表名”格式进行存储,若在创建表时不指定命名空间,则默认存储在“default”中。其中,“hbase”命名空间为系统表命名空间,请不要对该系统表命名空间进行业务建表或数据读写等操作。
properties Shell命令需要在目录“客户端安装目录/Kafka/kafka/bin”下执行。 凡可指定“ * ”值以代表all value,且格式为“--参数 参数值”, 例如: --group *,必须通过单引号或者等于号赋值,例如:--group '*' 或者 --group=*。
选择“服务管理 > 下载客户端”,下载客户端程序到客户端机器。 解压缩客户端文件包MRS_Services_Client.tar。安装包为tar格式,执行如下命令解压两次。 tar -xvf MRS_Services_Client.tar tar -xvf MRS_Service_ClientConfig
记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。 执行以下命令,切换到客户端目录,例如“/opt/client/Kafka/kafka/bin”。 cd /opt/client/Kafka/kafka/bin
Node的详细信息,并将RPC调用保存到备用的NameNode。在异常情况下有很多优势,例如当备用的NameNode连接长时间不响应时。 当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下:
distinct出现次数超过2就进行“提示”的规则。 图1 添加Hive SQL防御规则 登录安装有Hive客户端的节点,执行以下命令,切换到客户端安装目录。 cd /opt/hadoopclient 执行以下命令,配置环境变量。 source bigdata_env 执行以下
Node的详细信息,并将RPC调用保存到备用的NameNode。在异常情况下有很多优势,例如当备用的NameNode连接长时间不响应时。 当发生故障,将另一个NameNode切换为活动状态时,缓存的详细信息将被更新为当前活动的NameNode的信息。 本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下:
当主节点进程异常结束时,HDFS NameNode Standby通过ZooKeeper感知“/hadoop-ha”目录下发生了变化,NameNode会进行主备切换。 ZooKeeper和YARN的关系 ZooKeeper与YARN的关系如图2所示。 图2 ZooKeeper与YARN的关系 在系统启
分析集群HDFS使用情况,增加HDFS分配给Hive使用的容量上限。 登录MRS集群详情页面,单击“组件管理 > Hive > 服务配置”,将“基础配置”切换为“全部配置”,然后查找“hive.metastore.warehouse.size.percent”,调大该配置项。设配置项的值为A,H
其他节点。 系统自动将Master节点标记为主备管理节点,并支持MRS集群管理的高可用特性。如果主管理节点无法提供服务,则备管理节点会自动切换为主管理节点并继续提供服务。 查看Master1节点是否为主管理节点,请参见查看MRS集群主备管理节点。 Core节点 MRS集群工作节点,负责处理和分析数据,并存储过程数据。
自身的配置优先。 单击“确定”。 完成后请重新启动配置过期的服务或实例以使配置生效。 配置实例组参数:在“实例组”页签导航栏选择一个角色,切换至“配置”页签,调整需要修改的配置参数后单击“保存”,相关配置将对实例组内所有实例生效。 父主题: 管理MRS集群组件
单击“确定”完成操作。 登录ClickHouse客户端安装节点,使用新添加的用户及设置的密码连接ClickHouse服务。 执行以下命令,切换到客户端安装目录。 cd /opt/客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用K
在Linux环境新建运行目录,将“target”目录下的“doris-rest-client-example-*.jar”放到该路径下。 切换到运行目录,执行以下命令,运行Jar包。 java -jar doris-rest-client-example-*.jar 否,执行4。
的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 执行以下命令,进行用户认证(普通模式跳过此步骤)。 kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。
e_ip_list - 必填参数,配置为ClickHouseBalancer实例的IP列表和http端口。 多个IP地址使用逗号分隔,具体格式为:ip:port,ip:port,ip:port IP和端口获取: IP:登录FusionInsight Manager,选择“集群 >
登录FusionInsight Manager页面,选择“系统 > 权限 > 域和互信 > 本端域”,即可查看系统域名,系统域名所有字母需转换为小写。 如果配置了SSL,则必须配置ssl.truststore.location和ssl.truststore.password,前者
' -m 1 更多参数介绍请参见Sqoop常用命令及参数介绍。 表1 参数说明 参数 说明 --connect 指定JDBC连接的URL,格式为:jdbc:mysql://MySQL数据库IP地址:MySQL的端口/数据库名称。 --username 连接MySQL数据库的用户名。
在Linux环境新建运行目录,将“target”目录下的“doris-rest-client-example-*.jar”放到该路径下。 切换到运行目录,执行以下命令,运行Jar包。 java -jar doris-rest-client-example-*.jar 否,执行4。
参考打包Strom样例工程应用执行打包,并将jar包命名为“example.jar”。 将导出的Jar包复制到Linux环境的“/opt/test/lib”目录下。 切换到“/opt/test”,执行以下命令,运行Jar包。 java -classpath /opt/test/lib/*:/opt/test/src/main/resources