检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
properties文件所在路径 -run 参数列表: 表2 参数列表 参数 含义 job 表示执行的是job任务 -oozie Oozie服务器地址(任意节点) -config “job.properties”文件所在路径 -run 表示启动流程 例如: oozie job -oozie
“UDF名称”最多可添加10项,“名称”可自定义,“类名”需与上传的UDF jar文件中UDF函数全限定类名一一对应。 上传UDF jar文件后,服务器默认保留5分钟,5分钟内单击确定则完成UDF创建,超时后单击确定则创建UDF失败并弹出错误提示:本地UDF文件路径有误。 在UDF列表中,
Balancing和Failover机制。Channel及Agent都可以配多个实体,实体之间可以使用负载分担等策略。每个Agent为一个JVM进程,同一台服务器可以有多个Agent。收集节点(Agent1,2,3)负责处理日志,汇聚节点(Agent4)负责写入HDFS,每个收集节点的Agent可以
Agent间认证的功能。 集群中Kerberos提供组件用户安全认证功能,其服务名称为KrbServer,包含两种角色实例: KerberosServer:认证服务器,为MRS提供安全认证使用。 KerberosAdmin:管理Kerberos用户的进程。 Ldap 在OMS与集群中各部署一个。 OMS
kafka --kerberos.domain.name hadoop.系统域名.com //10.96.101.32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka >
xxx.bigdata.iotdb.UDTFExample' 由于IoTDB的UDF是通过反射技术动态装载的,因此您在装载过程中无需启停服务器。 UDF函数名称是大小写不敏感的。 请不要给UDF函数注册一个内置函数的名字。使用内置函数的名字给UDF注册会失败。 不同的JAR包中建
配置连接ZooKeeper节点的IP地址和端口,参数值格式为“IP1:port,IP2:port,IP3:port”,以此类推。默认端口号为“2181”。 sqoop.server.list 配置连接Loader的浮动IP和端口,参数值格式为“floatip:port”。默认端口号为“21351”。 使用Loader
properties 配置Hive详细参数。 user.keytab 对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 core-site.xml 配置Hive详细参数。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要复制
不允执行reflect、reflect2、java_method和in_file函数。如果业务需要,可在HiveServer自定义参数中新增“hive.server2.builtin.udf.blacklist”参数项,值为“mpty_blacklist”来允许Hive执行这些函数,存在安全风险,请谨慎操作。
交时的版本。一般情况下,应用程序(例如MapReduce、Hive、Tez等)需要进行完整的本地安装,将库安装至所有的集群机器(客户端及服务器端机器)中。当集群内开始进行滚动升级或降级时,本地安装的库的版本必然会在应用运行过程时发生改变。在滚动升级过程中,首先只会对少数NodeM
交时的版本。一般情况下,应用程序(例如MapReduce、Hive、Tez等)需要进行完整的本地安装,将库安装至所有的集群机器(客户端及服务器端机器)中。当集群内开始进行滚动升级或降级时,本地安装的库的版本必然会在应用运行过程时发生改变。在滚动升级过程中,首先只会对少数NodeM
务。 可能原因 主备FlinkServer节点间链路中断。 同步文件不存在,或者文件权限有误。 处理步骤 检查主备FlinkServer服务器间的网络是否正常。 在FusionInsight Manager页面,选择“集群 > 服务 > Flink > 实例”,查看并记录“FlinkServer
kafka --kerberos.domain.name hadoop.系统域名.com //10.96.101.32:21007表示kafka服务器的IP:port SSL加密配置 服务端配置。 登录FusionInsight Manager页面,选择“集群 > 服务 > Kafka >
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
否,单击“确定”指定本地的保存位置,开始下载完整客户端,等待下载完成,然后执行4。 MRS 3.3.1及之后版本: 根据实际情况配置“选择下载位置”参数。 服务器端:下载到当前集群的主OMS节点上。 浏览器:下载到本地电脑。 远端节点:下载到主OMS节点外的其他节点上。 根据界面提示配置“保存到如下
deManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults
truststore.password] 表2 参数说明 参数名称 说明 是否必须配置 topic 表示kafka主题名。 是 bootstrap.server 表示broker集群ip/port列表。 是 security.protocol 运行参数可以配置为PLAINTEXT(可不配置)/