检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Expires Service principal ... 在集群外节点上安装客户端 准备一个用于安装MRS集群客户端的Linux弹性云服务器。 云服务器操作系统及版本建议如下: 表1 操作系统参考列表 CPU架构 操作系统 支持的版本号 x86计算 Euler 可用:Euler
GDATA_HOME}/FusionInsight_HD_8.1.2.2/1_10_NodeManager/etc rmadmin 管理员工具(动态更新信息)。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath
GDATA_HOME}/FusionInsight_HD_8.1.2.2/1_10_NodeManager/etc rmadmin 管理员工具(动态更新信息)。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath
L服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html,安装MySQL client applications and tools。 表1 “ge
配置示例(为了方便观察,此模型使用了netcat tcp作为Source源,logger作为Sink)。配置好如下参数后,在Linux的配置的主机节点上执行Linux命令“telnet 主机名或IP 44444”,并任意敲入符合正则和不符合正则的字符串。会在日志中观察到,只有匹配到的字符串被传输了。
Manager界面上看不到该客户端的相关信息。 “-c”(可选):指定业务配置文件,该文件需要用户根据自己业务生成,具体操作可在Flume服务端中“配置工具”页面参考Flume业务配置指南章节生成,并上传到待安装客户端节点上的任一目录下。若安装时未指定(即不配置该参数),可在安装后上传已经生成的业务配置文件properties
更新。 扩容后,如需对HDFS数据进行均衡操作,请参考配置DataNode容量均衡。如需对Kafka数据进行均衡操作,请参考Kafka均衡工具使用说明。 扩容按需集群 登录MRS管理控制台。 选择“现有集群” ,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“节点管
重置后的密码为Admin@123Test#$%@123。 重置后的密码必需满足当前用户密码策略,使用omm用户登录主OMS节点后,执行如下工具脚本可以获取到修改域名后的“人机”用户密码。 sh ${BIGDATA_HOME}/om-server/om/sbin/get_reset_pwd
GDATA_HOME}/FusionInsight_HD_8.1.0.1/1_10_NodeManager/etc rmadmin 管理员工具(动态更新信息)。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath
GDATA_HOME}/FusionInsight_HD_8.1.0.1/1_10_NodeManager/etc rmadmin 管理员工具(动态更新信息)。 version 打印版本信息。 jar <jar> 运行jar文件。 logs 获取container日志。 classpath
型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本。 组件选择 实时分析集群
个文件中的记录总数约为130K。 默认值(60000)大约是此近似值的一半。 注意: 将此值设置的太低,将产生很多误报,并且索引查找将必须扫描比其所需的更多的文件;如果将其设置的非常高,将线性增加每个数据文件的大小(每50000个条目大约4KB)。 60000 hoodie.index
hetu-updateKrb5.log 部署Hive集群更换域后,Hive数据源配置自动刷新时打印的日志。 hetu_utils.log 启动时预处理脚本调用工具类上传文件到HDFS时打印的日志。 日志级别 HetuEngine中提供了如表2所示的日志级别。日志级别优先级从高到低分别是OFF、ERR
Windows本地hosts文件存放路径举例:“C:\WINDOWS\system32\drivers\etc\hosts”。 场景二:准备Linux环境运行程序所需配置文件。 在节点中安装客户端。 例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。
L服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm.html,安装MySQL client applications and tools。 表1 “ge
参数说明可通过本节内容了解。 MRS 3.x及之后版本部分参数可通过Manager界面配置,选择“集群 > 服务 > Flume > 配置工具”,选择要使用的Source、Channel以及Sink,将其拖到右侧的操作界面中,双击对应的Source、Channel以及Sink,根
也需要拥有HBase端Namespace的“创建”权限。 用户使用load将指定目录下所有文件或者指定文件,导入数据到表中。 数据源为Linux本地磁盘,指定目录时需要此目录已经存在,系统用户“omm”对此目录以及此目录上层的每一级目录拥有“r”和“x”的权限。指定文件时需要此文
也需要拥有HBase端Namespace的“创建”权限。 用户使用load将指定目录下所有文件或者指定文件,导入数据到表中。 数据源为Linux本地磁盘,指定目录时需要此目录已经存在,系统用户“omm”对此目录以及此目录上层的每一级目录拥有“r”和“x”的权限。指定文件时需要此文
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);
class); job.setOutputValueClass(Text.class); // HBase提供工具类添加HBase的运行依赖 TableMapReduceUtil.addDependencyJars(job);