检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xt\ 安装IntelliJ IDEA、JDK和Scala工具,并进行相应的配置。 安装JDK。 安装IntelliJ IDEA。 安装Scala工具。 在IntelliJ IDEA中配置JDK。 打开IntelliJ IDEA,选择“Configure”。 图1 Quick Start
此时,在物理计划中执行TableScan操作时,只处理分区(partCol=1)对应的数据。 操作步骤 要启动Datasource表优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.hive
此时,在物理计划中执行TableScan操作时,只处理分区(partCol=1)对应的数据。 操作步骤 要启动Datasource表优化,在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数介绍 参数 描述 默认值 spark.sql.hive
节点或者客户端访问超时失败。 解决办法 登录到Manager,进入Kafka配置页面。 选择“全部配置”,搜索并修改KAFKA_JVM_PERFORMANCE_OPTS的值。 保存配置,并重启配置过期的服务或者实例。 父主题: 使用Kafka
Connection closed”。 图1 SFTP服务报错 回答 该报错是由于未启用SFTP服务导致。 处理步骤 执行以下命令修改sshd_config配置,并保存退出。 cd /etc/ssh vi sshd_config Subsystem sftp /usr/libexec/openssh/sftp-server
者“SSL”。 使用shell命令时,根据上一步中配置的协议填写对应的端口,例如使用配置的“security.protocol”为“SASL_SSL”,则需要填写SASL_SSL协议端口,默认为21009: bin/kafka-console-producer.sh --broker-list
是否必填 table_name 需要查询的表名,支持database.tablename格式。 是 commit_Time 指定创建或回滚的时间戳。 是 user 创建savepoint的用户。 否 comments 该条savepoint的注释说明。 否 示例 call crea
kafkaSessionization。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。。 object kafkaSessionization { def main(args: Array[String]):
kafkaSessionization。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。。 object kafkaSessionization { def main(args: Array[String]):
【HDFS WebUI】使用IE浏览器访问HDFS WebUI界面失败 用户问题 通过IE浏览器访问HDFS的WebUI界面,偶尔出现访问失败情况。 问题现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因分析 部分低版本IE浏览器处理SSL握手有问题导致访问失败。 处理步骤
MRS集群反复上报43006告警 用户问题 集群反复出现“ALM-43006 JobHistory进程堆内存使用超出阈值”告警,且按照告警参考处理无效。 问题现象 集群出现告警“ALM-43006 JobHistory进程堆内存使用超出阈值”并且按照指导处理以后,运行一段时间又会出现同样的告警。 原因分析
出现该问题时,查看ZooKeeper和ZKFC的日志,发现ZooKeeper服务端与客户端(ZKFC)通信时所使用的session不一致,ZooKeeper服务端的sessionId为0x164cb2b3e4b36ae4,ZKFC的sessionId为0x144cb2b3e4b3
安全模式的Flink对接普通模式的Elasticsearch集群需设置参数“es.security.indication”的值为“false” 安全模式的Flink集群支持对接安全模式和普通模式的Elasticsearch集群。 当安全模式的Flink集群对接普通模式的Elasticsearch集群时需设置如下参数:
kafkaSessionization。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 object kafkaSessionization { def main(args: Array[String]):
kafkaSessionization。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 object kafkaSessionization { def main(args: Array[String]):
DEBUG表示系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 参考修改集群服务配置参数章节,进入ZooKeeper服务“全部配置”页面。 左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。
包在target目录中。 准备依赖的Jar包。 进入客户端安装目录,新建“lib”目录并将1生成的Jar包导入到该“lib”目录下,如 “/opt/client/lib” 进入Kafka客户端,将样例中Kafka依赖的Jar包复制到步骤2.a的lib目录下,例如: cp /opt
crt文件存放路径;“%JAVA_HOME% ”为JDK安装路径。 在开发环境中(例如IDEA中),右击OozieRestApiMain.java,单击“Run 'OozieRestApiMain.main()'”运行对应的应用程序工程。 使用Oozie客户端执行以下命令运行样例程序:
acl.found”为“true”,详情请参考配置对接Kafka。 Kafka应用需要添加如下所示的jar文件: Flink服务端安装路径的lib目录下“flink-dist_*.jar”。 Flink服务端安装路径的opt目录下的“flink-connector-kafka_*
id) WHERE usd_flag='D'; -- 查询入职时间为2014年的雇员编号、姓名等字段,并将查询结果加载进表employees_info_extended中的入职时间为2014的分区中. INSERT OVERWRITE TABLE employees_info_extended