检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Backoff是FairCallQueue的功能之一,要求客户端在一段时间后重试操作(如创建,删除,打开文件等)。当Backoff发生时,RCP服务器将发生RetriableException异常。FairCallQueue在以下两种情况时进行Backoff。 当队列已满,即队列中有许多客户端调用时。
模式”:目标IP的IP地址模式。系统会根据集群网络类型自动选择对应的IP模式,如IPv4或者IPv6。 “源端主NameNode IP地址”:填写备集群主NameNode业务平面IP地址。 “源端备NameNode IP地址”:填写备集群备NameNode业务平面IP地址。 “源端NameNode
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/female/” )下。 运行样例程序前,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark
其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager Yarn ResourceManager地址 queueName 流程任务处理时使用的MapReduce队列名 dataLoadRoot 流程任务所在目录名
/opt/Bigdata/Apache-httpd*/conf/whitelist.txt |grep RegionServer 修改HBase WebUI的HMaser的访问地址,将“/HMaster/ID/master-status”修改为“/RegionServer/ID/rs-status”,即可直接访问Re
Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一。 test bind avro source绑定的ip地址,此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口,
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。
Manager管理员用户名,密码以及OMS浮动IP地址。 OMS浮动IP地址获取方式:远程登录Master2节点,执行“ifconfig”命令,系统回显中“eth0:wsom”表示OMS浮动IP地址,请记录“inet”的实际参数值。如果在Master2节点无法查询到OMS浮动IP地址,请切换到Master1
properties”文件完成操作。 图4 上传文件 每个Flume实例均可以上传单独的服务端配置文件。 更新配置文件需要按照此步骤操作,后台修改配置文件是不规范操作,同步配置时后台做的修改将会被覆盖。 单击“保存”,单击“确定”。单击“完成”完成操作。 设置Flume角色客户端参数。 执行以下命令将生成的客户端证书(flume_cChat
设置需要用于做分析的表,如图4~图6所示。 图4 单击“数据连接” 图5 选择数据库 图6 数据预览 单击“更新信息”中的“单表更新”,进行数据同步。 图7 数据同步 单击“仪表板”,单击“新建仪表板”,输入相关名称单击“确定”。 图8 新建仪表板 单击“添加组件”。 图9 添加组件 添加6配置的需要用于分析的数据表。
环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
deManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm
Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一。 test bind avro source绑定的ip地址,此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口,
Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一。 test bind avro source绑定的ip地址,此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口,
resourceManager MapReduce ResourceManager地址 queueName 任务处理时使用的MapReduce队列名 nameNode HDFS NameNode集群地址 “${变量名}”表示:该值来自job.properties所定义。 例如:${
使用导入器通过“.csv”,“.txt”等格式的文件导入数据。 使用创建的用户第一次登录Hue WebUI,需修改密码。 用户获取Hue WebUI的访问地址后,可以给其他无法访问Manager的用户用于访问Hue WebUI。 在Hue的WebUI操作但不操作Manager页面,重新访问Manager时需要输入已登录的账号密码。
请从Flink服务端安装目录获取相关的依赖包。 请从Kafka环境中获取Kafka依赖包。 具体依赖包请查看参考信息。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File
以omm用户通过26获取的IP地址登录主HMaster节点。 执行ping命令,查看主HMaster节点和依赖组件所在主机的网络连接是否正常。(依赖组件包括ZooKeeper、HDFS和Yarn等,获取依赖组件所在主机的IP地址的方式和获取主HMaster的IP地址的方式相同。) 是,执行31。
其含义,请参见表1。 表1 参数含义 参数 含义 nameNode HDFS NameNode集群地址 resourceManager Yarn ResourceManager地址 queueName 流程任务处理时使用的MapReduce队列名 dataLoadRoot 流程任务所在目录名
Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一。 test bind avro source绑定的ip地址,此参数不能为空。须配置为服务端配置文件即将要上传的主机IP。 192.168.108.11 port avro source监测的端口,