检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
84:2181”。 其中“sparkthriftserver2x”是Zookeeper上的目录,表示客户端从该目录下随机选择JDBCServer实例进行连接。 JDBC客户端代码 通过JDBC客户端代码连接JDBCServer,来访问SparkSQL的数据。详细指导请参见通过JDBC访问Spark
志 此命令的参数中需要填入nodeAddress,可通过以下命令获取: yarn node -list -all 父主题: Spark运维管理
= ${spark.yarn.app.container.log.dir}/stdout.log 保存退出。 重新提交任务。 父主题: 集群管理类
查不到launcherJob,从而更新作业状态失败。 终止找不到launcherJob的作业,后续提交的作业状态就会更新。 父主题: 作业管理类
登录OBS控制台,进入OBS路径,查看作业输出信息。 进入到5中创建的output路径查看相关的output文件,需要下载到本地以文本方式打开进行查看,如图6所示。 图6 输出文件列表 父主题: 使用HDFS
为driver失联,然后整个应用停止。 解决办法: 在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间(spark.rpc.io.connectionTimeout)大于或等于RPC响应超时时间(spark
(可选)在bin目录下调用spark-sql或spark-beeline脚本后便可直接输入SQL语句执行查询等操作。 如创建一个表,插入一条数据再对表进行查询。 spark-sql> CREATE TABLE TEST(NAME STRING, AGE INT); Time taken: 0
集群创建成功且运行正常,则其状态为“运行中”。 扩容中 集群Master节点、Core节点或者Task节点正在扩容,则其状态为“扩容中”。 缩容中 当对集群节点进行缩容、弹性缩容、包周期集群退订节点、变更OS和重装OS的操作时,被变更的集群节点正在删除,则其状态为“缩容中”。 异常 集群中部分组件状态
--password 输入用户密码 ClickHouse实例IP获取方式:在集群详情页面,选择“组件管理 > ClickHouse > 实例”,获取ClickHouse的IP地址。 父主题: ClickHouse运维管理
hdfsDisconnect(fs); 准备运行环境 在节点上安装客户端,例如安装到“/opt/client”目录,安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装“MRS_HDFS_Client
认为driver失联,然后整个应用停止。 解决办法:在Spark客户端的“spark-defaults.conf”文件中或通过set命令行进行设置。参数配置时要保证channel过期时间(spark.rpc.io.connectionTimeout)大于或等于RPC响应超时时间(spark
可在对应UDF信息的“操作”列编辑或删除UDF信息(只能删除未被使用的UDF项)。 (可选)如果需要立即运行或开发作业,可在“作业管理”进行相关作业配置,可参考创建FlinkServer作业。 UDF java代码及SQL样例 UDF java使用样例 package com.xxx
新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2.x及之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 (可选)支持MRS Manager页面以及组件原生页面超时时间可配置,需要手动修改如下配置。
配置”,单击“全部配置”, 选择“HMaster/RegionServer > 系统”,将“GC_OPTS”参数中“-Xmx”的值参考以下说明进行调大。 HMaster的GC参数配置建议 建议“-Xms”和“-Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。
name=test&op=MKDIRS" 其中用linux1代替<HOST>,用9870代替<PORT>,test为执行操作的用户,此用户需与管理员确认是否有权限进行操作。 运行结果: HTTP/1.1 200 OK Cache-Control: no-cache Expires: Thu, 14 Jul
maxError”、“spark.sql.statistics.percentile.accuracy”参数修改后需要重新下载客户端才能生效。 父主题: Spark运维管理
D>_Flume_Client.tar”,本章节以“FusionInsight_Cluster_1_Flume_Client.tar”为例进行描述。 上传软件包。以user用户将软件包上传到将要安装Flume服务客户端的节点目录上,例如“/opt/client” user用户为安装和运行Flume客户端的用户。
配置”,单击“全部配置”,选择“JDBCServer2x > 性能”,“SPARK_DRIVER_MEMORY”参数的值默认4G,可根据如下原则进行调整:告警时间段内JDBCServer2x使用堆内存的最大值和“JDBCServer2x堆内存使用率统计 (JDBCServer2x)”阈
Client.java:985) 可能原因 用户不属于kafkaadmin组,Kafka提供安全访问接口,kafkaamdin组用户才可以进行设置操作。 原因分析 使用客户端命令,打印NoAuthException异常。 通过客户端命令klist查询当前认证用户: [root@10-10-144-2
当一个连接被用完后,该连接会自动返回池中等待下次被使用;当一个连接损坏后,该连接会从池中被删除,并重建一个连接重新执行用户的操作。 对于查询操作: 使用SessionPool进行查询时,得到的结果集是SessionDataSet的封装类SessionDataSetWrapper。 若对于一个查询的结果集,用户并没有