检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<系统域名>@<系统域名>;user.principal=<principal_name>;user.keytab=<path_to_keytab> 其中<principal_name>表示用户使用的Kerberos用户的principal,如“test@<系统域名>”。<p
开发思路 1. 一个Job作为发布者Job,其余两个作为订阅者Job 2. 发布者Job自己产生数据将其转化成byte[],分别向订阅者发送 3. 订阅者收到byte[]之后将其转化成String类型,并抽样打印输出 父主题: Flink Job Pipeline样例程序
开发思路 1. 一个Job作为发布者Job,其余两个作为订阅者Job。 2. 发布者Job自己产生数据将其转化成byte[],分别向订阅者发送。 3. 订阅者收到byte[]之后将其转化成String类型,并抽样打印输出。 父主题: Flink Job Pipeline样例程序
env.execute(); } } 第一个订阅者 下面代码片段仅为演示,完整代码参见FlinkPipelineJavaExample样例工程下的com.huawei.bigdata.flink.examples.TestPipeline_NettySource1: package
对应。 /etc/hosts检查文件的检查标准 通过命令cat /etc/hosts查看是否存在以下几种情况,如果是,则说明该配置文件配置异常。 “/etc/hosts”文件不存在。 该主机的主机名不在文件中配置。 该主机名对应的IP不唯一。 该主机名对应的IP在ifconfig命令下的回显列表中不存在。
开发思路 1. 一个Job作为发布者Job,其余两个作为订阅者Job。 2. 发布者Job自己产生数据将其转化成byte[],分别向订阅者发送。 3. 订阅者收到byte[]之后将其转化成String类型,并抽样打印输出。 父主题: Flink Job Pipeline样例程序
env.execute() } } 第一个订阅者 下面代码片段仅为演示,完整代码参见FlinkPipelineScalaExample样例工程下的com.huawei.bigdata.flink.examples.TestPipeline_NettySource1: package
为本机IP。 该问题容易出现在从其他节点直接复制客户端时,配置参数未修改。 需修改SPARK_LOCAL_HOSTNAME为本机IP。 注:如果集群使用EIP通信,则需要设置以下参数。 spark-default.conf中添加spark.driver.host = EIP(客户端节点弹性公网IP)
e非常慢。 原因分析 安全集群需要进行Kerberos认证,需要在客户端节点的hosts中配置信息,访问速度才不会受到影响。 处理步骤 将集群节点上的hosts文件内容复制到安装客户端节点的hosts文件中。 父主题: 集群管理类
MRS集群的租户资源最小值改为0后,只能同时运行一个Spark任务吗? 问: MRS集群的租户资源最小值改为0后,只能同时运行一个Spark任务吗? 答: 租户资源最小值改为0后,只能同时运行一个Spark任务。 父主题: 作业管理类
不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类,使用remoteSubmit方式提交应用程序。并替换用户keytab文件名称,用户principal名称,和Jar文件地址。
在python-examples/pyCLI_sec.py中的hosts数组中填写安装HiveServer的节点的业务平面IP。 Hive多实例的python客户端命令行形式:“python-examples/pyCLI_sec.py”不仅要修改hosts数组,还需根据所使用的实例修改port,po
开发思路 1. 一个Job作为发布者Job,其余两个作为订阅者Job。 2. 发布者Job自己产生数据将其转化成byte[],分别向订阅者发送。 3. 订阅者收到byte[]之后将其转化成String类型,并抽样打印输出。 父主题: Flink Job Pipeline样例程序
ZooKeeper; zookeeper.server.principal:指定ZooKeeper服务端使用principal,格式为“zookeeper/hadoop.系统域名”,例如:zookeeper/hadoop.HADOOP.COM。系统域名可登录FusionInsight Manager,选择“系统
在IDEA中提交Storm拓扑 操作场景 Storm支持IntelliJ IDEA远程提交拓扑,目前样例代码中仅WordCountTopology支持远程提交,其他拓扑想实现远程提交,请参考WordCountTopology实现远程提交函数。 前提条件 已执行打包Strom样例工程应用。
ZooKeeper; zookeeper.server.principal:指定ZooKeeper服务端使用principal,格式为“zookeeper/hadoop.系统域名”,例如:zookeeper/hadoop.HADOOP.COM。系统域名可登录FusionInsight Manager,选择“系统
MRS集群内用户绑定了多个队列时,系统在提交任务时会随机选择队列,建议合理设置用户的队列权限,最好一个用户只绑定一个队列。 如果客户必须绑定多个队列时,可通过配置全局用户策略指定某用户的默认提交队列。 以MRS 3.x版本集群为例,登录集群Manager界面,单击“租户资源”。 单击“动态资源计划
cfg命令,添加用户密码信息。 例如: clientIp,clientPath,user,password 10.10.10.100,/home/omm/client /home/omm/client2,omm,密码 配置文件各字段含义如下: clientIp:表示客户端所在节点IP地址。 clientPa
ALM-12072 floatip资源异常 告警解释 HA每9秒周期性检测Manager的floatip资源。当HA连续3次检测到floatip资源异常时,产生该告警。 当HA检测到floatip资源正常后,告警恢复。 floatip资源为单主资源,一般资源异常会导致主备倒换,看
通过公网IP连接使用HDFS客户端报错 问题现象 通过公网IP连接主机,不能使用HDFS客户端,运行hdfs命令后提示“-bash: hdfs: command not found”。 原因分析 用户登录Master节点执行命令之前,未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。