检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
p/input”,并上传input_data1.txt,input_data2.txt到此目录,命令如下: 在HDFS客户端,执行如下命令获取安全认证。 cd /opt/hadoopclient source bigdata_env kinit <用于认证的业务用户> 在Linu
启动。 在FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看该“定位信息”中对应的“主机名”字段值,获取该告警产生的主机名。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 执行/bin/rpm -qa | grep
1/hadoop-project-dist/hadoop-hdfs/LibHdfs.html。 代码样例 下面代码片段仅为演示,具体代码请参见获取样例代码解压目录中“HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。
Flume支持定制脚本,支持在传输前或者传输后执行指定的脚本,用于执行准备工作。 本章节适用于MRS 3.x及之后版本。 未安装Flume客户端 获取软件包。 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Flume”进入Flume服务界面,在右上角选择“更多
p/input”,并上传input_data1.txt,input_data2.txt到此目录,命令如下: 在HDFS客户端,执行如下命令获取安全认证。 cd {客户端安装目录} source bigdata_env kinit <用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop
er/etc/iotdb-datanode.properties”中搜索“iotdb_server_kerberos_principal”获取。 /** * Get kerberos token as password * @return kerberos
修复完成后,查看“比较结果”是否为“一致”,“一致”则表示数据修复成功;如果比较结果为“不一致”,则表示修复失败,可以根据“报告地址”在HDFS对应目录中获取报告,进行手动修复。 父主题: 创建CDL作业
1/hadoop-project-dist/hadoop-hdfs/LibHdfs.html。 代码样例 下面代码片段仅为演示,具体代码请参见获取样例代码解压目录中“hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。
P。扩容前,新增加的IP需要配置为受信任的IP。 前提条件 根据安装规划,收集集群内全部节点的管理平面IP、业务平面IP和所有浮动IP。 获取集群内节点的root用户和密码。 配置受信任IP地址访问LDAP 配置OMS LDAP信任的IP地址 登录FusionInsight Manager。
public void setState(long count) { this.count = count; } // 获取用户自定义状态 public long geState() { return this.count; } }
体操作可参考添加Hive的Ranger访问权限策略。 前提条件 已完成Hive客户端的安装,例如安装目录为“/opt/client”。 已获取一个拥有管理员权限的用户,例如“admin”。 操作步骤 Hive关联Yarn 用户如果执行insert,count,distinct,group
信息。当Active ResourceManager产生故障时,Standby ResourceManager会从Statestore目录获取Application相关信息,恢复数据。 Yarn和Tez的关系 Hive on Tez作业信息需要Yarn提供TimeLine Ser
主机所处的机架,NameNode才能绘出DataNode的网络拓扑图,并尽可能将DataNode的数据备份在不同机架中。同理,YARN需要获取机架信息,在可允许的范围内将任务分配给不同的NodeManager执行。 当集群网络拓扑发生变化时,需要使用FusionInsight M
请根据实际安装目录修改。为使用Sqoop时简单方便,使用Sqoop时需要安装全量客户端。 如果集群已开启kerberos认证,需要先创建或获取具有相应权限的用户,用于执行Sqoop命令。创建的用户需要加入“hadoop”、“supergroup”、“hive”组。具体请参考创建用户。
void setState(long count) { this.count = count; } // 获取用户自定义状态 public long geState() { return this.count; } }
HBase应用程序运行完成后,可通过如下方式查看运行情况。 通过IntelliJ IDEA运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase
txt文件,并在文件内写入如下内容: 1,100 在HDFS中新建一个目录/tmp/input,并将log1.txt文件上传至此目录。 在HDFS客户端,执行如下命令获取安全认证。 cd/opt/hadoopclient kinit<用于认证的业务用户> 在Linux系统HDFS客户端使用命令hadoop fs
配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQL保存到缓存中,再次执行这条SQL时会直接从缓存中获取改写后的SQL,而不是重新对SQL进行改写,提高查询效率 配置HetuEngine物化视图缓存能力 配置物化视图有效期与数据刷新 设置物化
HetuEngine > 实例”。 单击“HSBroker”行的“主机名称”,记录“基本信息”下的“管理IP”的地址。 以omm用户通过25获取的IP地址登录HSBroker所在的主机。 执行ping命令,查看HSBroker所在主机与ZooKeeper、HDFS、Yarn、DBS
该任务以Derby数据库为例。Derby是一个小型的,java编写的,易于使用却适合大多数应用程序的开放源码数据库。 Derby数据库的获取。在官网下载最新版的Derby数据库(本示例使用10.14.1.0),通过WinScp等工具传入Linux客户端,并解压。 在Derby的