检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例”,可查看所有quorumpeer实例所在主机业务IP地址。 ZooKeeper客户端端口号 登录FusionInsight Manager,选择“集群 > 服务 > ZooKeeper”,在“配置”页签查看“clientPort”的值。 服务端topic权限配置。 将Kafka的Broker配置参数“allow
进入program文件夹,选择“上传文件 > 添加文件”,从本地选择1中下载的程序包,然后单击“上传”,上传完成后如图2所示。 图2 程序列表 进入input文件夹,将2中准备的数据文件上传到input文件夹,上传完成后如图3所示。 图3 数据文件列表 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集
图1 选择Remote 选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调试命
set hoodie.write.lock.zookeeper.url=<zookeeper_url>; --设置使用ZooKeeper地址。 set hoodie.write.lock.zookeeper.port=<zookeeper_port>; --设置使用ZooKeeper端口。
String 参数解释: 作业类型。 约束限制: 不涉及 取值范围: MapReduce SparkSubmit SparkPython:该类型作业将转换为SparkSubmit类型提交,MRS控制台界面的作业类型展示为SparkSubmit,通过接口查询作业列表信息时作业类型请选择SparkSubmit。
hadoop 0 2016-04-22 16:10 /user 创建请求上传命令,获取集群分配的可写入DataNode节点地址的信息Location。 执行如下命令访问HTTP: linux1:/opt/client # curl -i -X PUT --negotiate
admin; 设置在默认数据库中,查询其他用户表的权限 在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”。 在数据库列表中单击指定的数据库名称,显示数据库中的表。 在指定表的“权限”列,勾选“查询”。 设置在默认数据库中,导入数据到其他用户表的权限
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。
NameNode的IP地址命令以检查DataNode和NameNode之间的网络是否异常。 在FusionInsight Manager界面,单击“集群 > 待操作集群的名称 > 服务 > HDFS > 实例”,在实例列表中可查看处于故障状态DataNode的业务平面IP地址。 是,执行9。
java.util.PropertyPermission "*", "read"; 套接字权限,允许connect、resolve到所有地址端口:permission java.net.SocketPermission "*", "connect,resolve"; 标准权限 表1
从Kafka中获取数据的组标识,此参数不能为空。 flume kafka.bootstrap.servers Kafka的bootstrap地址端口列表,默认值为Kafka集群中所有的Kafka列表。如果集群安装有Kafka并且配置已经同步,可以不配置此项。 192.168.101
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上 运行任务 在运行样例程序时需要指定
COM@HADOOP.COM, Decrypt integrity check failed 解决办法 确认集群外连接Kafka的节点IP地址信息(如原因分析示例中的192.168.1.93)。 登录集群外的节点,断开其对Kafka的认证。 等待5分钟,此账号就会被解锁。 重新尝试启动Kafka服务。
创建一个集群外ECS节点,具体请参考购买弹性云服务器。 ECS节点的“可用区”、“虚拟私有云”、“安全组”,需要和待访问集群的配置相同。 在VPC管理控制台,申请一个弹性IP地址,并与ECS绑定。 具体请参见申请弹性公网IP。 配置集群安全组规则。 在集群“概览”界面,选择“添加安全组规则 > 管理安全组规则”。
Manager首页,选择“运维 > 告警 > 告警 > ALM-45428 ClickHouse磁盘IO异常告警”,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 使用PuTTY工具,以root用户登录故障所在节点。 执行命令df -h查看挂载目录,找到故障告警目录挂载的磁盘。 执行命令smartctl
上限。 处理步骤 对系统进行扩容。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 若内存使用率超过阈值,对内存进行扩容。 执行命令free
处理步骤 检查磁盘挂载目录权限是否正常。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址和告警的磁盘名称DiskName。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令df -h |grep
> 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。 是,处理完毕。 否,查看该告警详细信息,记录上报告警的主机IP地址。执行2。 以root用户登录产生告警的主机,执行su - omm,切换到omm用户。 执行如下命令查看进程状态是否处于异常状态。 ps ww
使用查看MRS集群中所有作业。需要MRS集群已安装YARN。 使用创建的用户第一次登录Hue WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue WebUI。 在Hue的WebUI操作但不操作Manager页面,重新访问Manager时需要输入已登录的账号密码。