正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更换证书以后,所有组件和Manager的模块使用的证书将自动更新。 更换证书以后,还未信任该证书的本地环境,需要重新安装证书。 前提条件 获取需要导入到MRS集群的CA证书文件(*.crt)、密钥文件(*.key)以及保存访问密钥文件密码的文件(password.property
e=0,如果不为零,等待,重复执行以下命令,直到等于0。 status 'replication' 关闭主备集群同步 查询所有的同步集群,获取PEER_ID。 list_peers 删除所有同步集群。 remove_peer '备集群ID' 示例: remove_peer '1'
_任务创建时间/”。该路径可在备份管理列表中选择对应备份任务所在行的“操作”列的“更多 > 查看历史”,单击“备份路径”列的“查看”,即可获取对应的备份路径。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。 “恢复点列表”:单击“刷新”,然后选择一个备集群上已备份的HDFS目录。
准备本地应用开发环境 Hive组件可以使用JDBC/HCatalog/Python/Python3接口进行应用开发。 准备JDBC/HCatalog开发环境 表1 JDBC/HCatalog开发环境 准备项 说明 操作系统 开发环境:Windows系统,支持Windows7以上版本。
properties中填入impalad的ip地址。 在cmd或Intellij中执行mvn package ,在工程target目录下获取jar包,比如“impala-examples-mrs-2.1-jar-with-dependencies.jar”,复制到“/opt/impala_examples”下。
e=0,如果不为零,等待,重复执行以下命令,直到等于0。 status 'replication' 关闭主备集群同步 查询所有的同步集群,获取PEER_ID。 list_peers 删除所有同步集群。 remove_peer '备集群ID' 示例: remove_peer '1'
getline real }{$1=real; print $0}' | sort -u -k 1,1命令,查看系统磁盘分区的使用信息。并通过4中获取到的磁盘分区名称,查看该磁盘是否挂载在如下几个目录下:“/”、“/opt”、“/tmp”、“/var”、“/var/log”、“/srv/BigData”(可自定义)。
jar,请从软件发布包中Software文件夹下“FusionInsight_Spark2x_8.1.0.1.tar.gz”压缩包中的“jars”目录中获取。 用户应用程序的编译依赖包根据代码不同而不同,需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中,
已完成Spark2x客户端的安装及客户端网络连接的配置。 对于Spark SQL程序,需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并将其导入IDEA,导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。
持一致,可以到“客户端安装目录/fusioninsight-flume-1.9.0/conf/properties.properties”获取已有的客户端参数配置文件。然后登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置 > 导入”,
P段为可信范围用于访问MRS Manager页面,请参考6~9。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS
使用Oozie调度Spark访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件 开发环境配置 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples\oozienormal-examples”目录下的样例工程文件夹中
使用Oozie调度Spark2x访问HBase以及Hive 前提条件 已经配置完成导入并配置Oozie样例工程的前提条件。 开发环境配置 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“oozienormal-examples”
jar,请从软件发布包中Software文件夹下“FusionInsight_Spark2x_8.1.0.1.tar.gz”压缩包中的“jars”目录中获取。 用户应用程序的编译依赖包根据代码不同而不同,需用户根据自己编写的代码进行加载。 将运行程序的依赖Jar包上传至需要运行此应用的节点中,
提交HDFS应用程序运行前,在HDFS客户端执行如下命令进行认证。 kinit 组件业务用户 该方式仅适用于Linux操作系统,且安装了HDFS的客户端。 代码认证: 通过获取客户端的principal和keytab文件进行认证。 注意修改代码中的PRINCIPAL_NAME变量为实际使用的值。 private static
订阅的Kafka topic列表,用逗号分隔,此参数不能为空。 test1 kafka.consumer.group.id 从Kafka中获取数据的组标识,此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表,默
已完成Spark2x客户端的安装及客户端网络连接的配置。 对于Spark SQL程序,需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并将其导入IDEA,导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。
在告警列表中单击该告警,从“告警详情”的“定位信息”中获得HostName(主机名称)和PartitionName(磁盘分区名称)。 在“主机管理”页面,单击2中获取的主机名称。 检查“磁盘”区域中是否包含该告警中的磁盘分区名称。 是,执行5。 否,手动清除该告警,操作结束。 检查“磁盘”区域中包含该告警中的磁盘分区使用率是否达到百分之百。
oldap > 修改配置”,查看“Ldap服务监听端口”参数值获取。 LDAP用户pg_search_dn的密码为系统随机生成,具体可在主节点的“/etc/sssd/sssd.conf”或“/etc/ldap.conf”文件中获取。 修改MRS集群LDAP普通用户密码 MRS 3.1.0版本:
设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 执行mvn package生成jar包,在工程目录target目录下获取,比如:hdfs-examples-1.0.jar。 将导出的Jar包拷贝上传至Linux客户端运行环境的任意目录下,例如“/opt/cl