检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用kerberos认证:Flink yarn client与Yarn Resource Manager、JobManager与Zookeeper、JobManager与HDFS、TaskManager与HDFS、Kafka与TaskManager、TaskManager和Zookeeper。
directory:{}", digestZk.getChildren("/", null)); LOG.info("Successfully connect to apache zookeeper."); } catch (InterruptedException
Note: if this process * will connect more than one zk cluster, the demo may be not proper. you * can contact us for
Spark应用开发简介 Spark简介 Spark是分布式批处理框架,提供分析挖掘与迭代式内存计算能力,支持多种语言(Scala/Java/Python)的应用开发。 适用以下场景: 数据处理(Data Processing):可以用来快速处理数据,兼具容错性和可扩展性。 迭代计算(Iterative
encryption:将该参数值修改为“true”。 单击“保存”保存设置。单击“概览”,在页面右上角选择“更多 > 重启服务”,输入当前用户密码后单击“确定”,重启HBase服务使其生效。 在创建HBase表时,需要通过设置加密方式开启加密功能,<type>表示加密的类型,“d”为加密列族。
权限以及Yarn队列资源管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role。 操作步骤 登录FusionInsight Manager界面,选择“集群 > 服务 > Yarn”。 选择“配置 > 全部配置”,搜索参数“yarn
LOG.info(admin.listNamespaceDescriptors().toString()); LOG.info("Table created successfully."); } else
"io.XXX.jdbc.XXXDriver" # need to change the value based on the cluster information url = "jdbc:XXX://192.168.43.244:29902/hive/default?se
Note: if this process * will connect more than one zk cluster, the demo may be not proper. you * can contact us for
SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check.log Spark2x服务健康检查日志。 spark-service-check
当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。 HDFS客户端配置文件路径
当CPU内核数很多时,如CPU内核为磁盘数的3倍时的调优配置。 操作步骤 以下参数有如下两个配置入口: 服务器端配置 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 客户端配置 直接在客户端中修改相应的配置文件。 HDFS客户端配置文件路径
编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME” )下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上(文件上传的路径需要和生成的jar包路径一致)。 若运行“Spark on
址,可通过登录FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。 RPC端口可通过登录FusionInsight Manager,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。
LOG.info(admin.listNamespaceDescriptors().toString()); LOG.info("Table created successfully."); } else
初始化HDFS 功能简介 在使用HDFS提供的API之前,需要先进行HDFS初始化操作。过程为: 加载HDFS服务配置文件,并进行kerberos安全认证。 认证通过后,实例化Filesystem。 此处kerberos安全认证需要使用到的keytab文件,请提前准备。 配置文件介绍
80及以下版本,成功利用漏洞可绕过autoType限制,实现远程任意执行代码。 影响风险 存在漏洞的业务被攻击时,将可能导致攻击者远程在业务平台中执行任意代码。 预防与建议 在产品未发布对应解决方案前,建议您参考以下的相关预防措施。 加固物理设备安全边界,防止外网直接访问及攻击内网管理平面。 排查平台各组件
JVM_ARGS="$JVM_ARGS -Dfastjson.parser.safeMode=true" 使用omm用户在主OMS节点执行如下命令重启Controller 服务。 sh /opt/Bigdata/om-server/om/sbin/restart-controller.sh 在主OMS节点查看进程。
修复Manager nodeagent 前提条件 已获取FusionInsight Manager登录地址及admin账号。 操作步骤 使用omm用户登录到主OMS节点,备份$NODE_AGENT_HOME/bin/nodeagent_ctl.sh文件。 cp $NODE_AGE
Manager界面,选择“集群 > 服务 > HBase”,单击概览页面右上角的“ 启动服务”启动HBase服务。 HBase服务启动成功后,在告警列表中查看该告警是否清除。 是,处理完毕。 否,执行8。 使用对应步骤恢复HBase服务后,需要观察一段时间,确认HBase服务以及相关业务正常后,