正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
zookeeperDefaultServerPrincipal); } ... 以上安全认证代码中的hdfsDeveloper用户及该用户的user.keytab、krb5.conf为示例,实际操作时请联系管理员获取相应权限的账号以及对应该账号的keytab文件和krb5文件。
mapreduce.reduce.merge.inmem.threshold 内存合并进程的文件数阈值。累计文件数达到阈值时会发起内存合并及溢出到磁盘。小于等于0的值表示该阈值不生效且仅基于ramfs的内存使用情况来触发合并。 1000 mapreduce.reduce.shuffle
删除RSGroup 在RSGroup管理页面,勾选需要删除的RSGroup,然后选择“删除RSGroup > 确定”。 RSGroup删除失败可能原因及解决方法: “default”组不允许被删除。 该RSGroup中仍包含RegionServer或Table,请将该RSGroup中Regi
} } } } } 上述代码中各参数说明如表1所示: 表1 参数及参数说明 参数名称 参数说明 url jdbc:XXX://HSBroker1_IP:HSBroker1_Port,HSBroker2_IP:HSBroker2_Port
可以调用SessionDataSetWrapper的getColumnNames()方法得到结果集列名。 表1 Session对应的接口的简要介绍及对应参数 方法 说明 Session(String host, int rpcPort) Session(String host, String
StormSubmitter.submitTopology(args[0], conf, builder.createTopology()); } 部署运行及结果查看 获取相关配置文件,获取方式如下。 安全模式:参见4获取keytab文件。 普通模式:无。 在Storm示例代码根目录执行如下命令打包:"mvn
景,例如:Kafka Source+Memory Channel+HDFS Sink。 前提条件 已成功安装集群,包含HDFS、Kafka及Flume服务。 确保集群网络环境安全。 已创建用户flume_hdfs并授权验证日志时操作的HDFS目录和数据。 操作步骤 在FusionInsight
在Manager界面创建用户并添加hadoop和hive用户组,主组加入hadoop。 操作步骤 下载并安装Hudi客户端,具体请参考安装客户端(3.x及之后版本)章节。 目前Hudi集成在Spark2x中,用户从Manager页面下载Spark2x客户端即可,例如客户端安装目录为:“/opt/client”。
操作,请单击“管理安全组规则”。 勾选确认信息后,单击“确定”。 单击“确定”,进入Manager登录页面。 输入默认用户名“admin”及创建集群时设置的密码,单击“登录”进入Manager页面。 通过ECS访问FusionInsight Manager 登录MRS管理控制台。
提示“Successfully started reassignment of partitions”表示执行成功。 使用KafkaUI迁移分区(MRS 3.1.2及之后版本) 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager,选择“集群 >
false 启动该配置后,ALTER DROP PARTITION操作时会将删除的分区数据移动到Carbon回收站中。 说明: MRS 3.2.0及之后版本支持才支持该功能。 carbon.enable.show.mv.for.showtables false 在设置为true时,会在执行show
可以调用SessionDataSetWrapper的getColumnNames()方法得到结果集列名。 表1 Session对应的接口的简要介绍及对应参数 方法 说明 Session(String host, int rpcPort) Session(String host, String
MAP<STRING, DOUBLE>, address STRING ) -- 使用关键字PARTITIONED BY指定分区列名及数据类型 . PARTITIONED BY (entrytime STRING) STORED AS TEXTFILE; 更新表的结构
将新建磁盘分区设置为开机自动挂载,具体请参见设置开机自动挂载磁盘分区。 参见访问FusionInsight Manager(MRS 3.x及之后版本),登录FusionInsight Manager。选择“集群 > ClickHouse > 配置 > 全部配置”。 搜索“_clickhouse
复制集群ID。 集群版本 集群的版本号。 集群类型 显示创建集群的类型。 节点数 集群部署的节点个数,创建集群时设置。 状态 集群运行状态及变更状态信息,集群运行状态说明请参考表2。 创建集群进度包括: Verifying cluster parameters:校验集群参数中 Applying
ink客户端并配置安全认证,本章节以“/opt/hadoopclient”为客户端安装目录为例,介绍安装客户端及配置安全认证。客户端安装目录请根据实际修改。 安装客户端及配置安全认证步骤 安装客户端。 以在集群内节点安装客户端为例: 登录Manager,在“集群”下拉列表中单击需要操作的集群名称,选择“更多
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时,确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定Yarn队列功能,该用户需要已授权有相关Yarn队列的权限。
读入客户端的登录信息,就可以重新获得连接。 用户不希望通过kinit命令进行票据认证,因为票据信息每隔24小时会过期。其中Keytab文件及principal信息请联系管理员获取,Beeline的连接样例如下所示: sh CLIENT_HOME/spark/bin/beeline
{host=web01, cpu=0} 删除录入的OpenTSDB指标 tsdb命令可以使用“tsdb uid delete”命令删除录入的指标及值,例如执行tsdb uid delete metrics sys.cpu.user命令。 Start run net.opentsdb.tools
me的级联任务,采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多个Agent组成,而每个Agent是