检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
要根据输入参数来判断,这种时候往往会使用这种方式,将参数设置为全局变量,先给定一个空值(null),在main函数中,实例化SparkContext对象之前对这个变量赋值。然而,在分布式模式下,执行程序的jar包会被发送到每个Executor上执行。而该变量只在main函数的节点
获取“hbase-site.xml”、“hiveclient.properties”和“hive-site.xml”这三个配置文件,并在Linux环境上创建文件夹保存这三个配置文件,例如“/opt/client/conf”。 “hbase-site.xml”从HBase客户端获取,“hiveclient
procId: 64 completed 在Linux中调测Phoenix样例 在linux环境中调测Phoenix样例,需有与集群环境网络相通的ECS,详情请参见准备本地应用开发环境。 修改样例。将样例代码TestMain中“enablePhoenix”值改为“true”,开启调用Phoenix样例程序接口。
port”,获取HSBroker端口号。 user 访问HetuServer的用户名,即在集群中创建的“人机”用户的用户名。 SSL 是否使用HTTPS连接,默认为“false”。 getStatementStatus() 返回当前SQL执行语句的执行状态,一共十一种状态:‘RUNNING’
-f 2 。($pid与$IP为上一步获取的pid值与IP值) 获取端口号port成功。 是,执行8。 否,执行15。 获取连接进程的进程号。依次登录到各IP,根据获取到的port号,执行命令lsof -i|grep $port。($port为上一步获取端口号) 获取进程号成功。
ALM-18020 Yarn任务执行超时 告警解释 系统每15分钟周期性检测提交到Yarn上的Mapreduce和Spark应用任务(JDBC常驻任务除外),当检测到任务执行时间超过用户指定的超时时间时,产生该告警,但任务仍继续正常执行。其中,Mapreduce的客户端超时参数为“mapreduce
通过官方网站下载软件,下载地址:https://pypi.org/project/setuptools/#files。 将下载的setuptools压缩文件复制到客户端机器上,解压后进入setuptools项目目录,在客户端机器的命令行终端执行python3 setup.py install。 以47.3.1版本
对系统的影响 GC时间超出阈值,会影响到Hive数据的读写,可能导致任务执行变慢,甚至服务异常重启。 可能原因 该节点Hive实例内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间 在FusionInsight Manager首页,选择“运维 >
重启期间无法运行HiveSQL 直接重启耗时约5分钟 滚动重启 HiveServer滚动重启时,若仍有客户端连接到滚动重启的HiveServer上,客户端正在运行的任务将失败 重启Hive服务期间,若仍有客户端连接HiveServer提交任务,可能导致任务运行失败 HiveServer
通过官方网站下载软件,下载地址:https://pypi.org/project/setuptools/#files。 将下载的setuptools压缩文件复制到客户端机器上,解压后进入setuptools项目目录,在客户端机器的命令行终端执行python3 setup.py install。 以47.3.1版本
查看MRS集群审计日志 “审计”页面记录用户对集群Manager页面操作信息。管理员可查看用户在Manager上的历史操作记录,审计管理包含的审计内容信息,请参考审计日志。 该任务指导用户在MRS Manager查看、导出审计日志工作,用于安全事件中事后追溯、定位问题原因及划分事故责任。
动重启服务不断服。 MRS 1.9.0.7补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
重启期间无法运行HiveSQL 直接重启耗时约5分钟 滚动重启 HiveServer滚动重启时,若仍有客户端连接到滚动重启的HiveServer上,客户端正在运行的任务将失败 重启Hive服务期间,若仍有客户端连接HiveServer提交任务,可能导致任务运行失败 HiveServer
Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 证书文件即将过期,如果证书文件过期失效,对应模块功能受限,无法正常使用。 可能原因 系统证书文件(CA证书、HA根证书、HA用户证书、Gaussdb根证书或者Gaussdb用户证书等)剩余有效期小于30天。 处理步骤
检查HQL命令是否符合语法。 在FusionInsight Manager界面选择“运维 > 告警”,查看告警详情,获取产生告警的节点信息。 使用Hive客户端连接到产生该告警的HiveServer节点,查询Apache提供的HQL语法规范,确认输入的命令是否正确。详情请参见https://cwiki
详细的描述请参考官网上的文档以了解其使用方法:https://archive.apache.org/dist/spark/docs/3.3.1/monitoring.html#rest-api。 准备运行环境 安装客户端。在节点上安装客户端,如安装到“/opt/client”目录。
total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 import com.huawei.rt.flink.core.{SEvent, SEventSourceWithChk
2017/7/1 23:00:00 28 54 该场景里记录了深圳市龙岗区在2017年7月1日零时的温度和湿度数据,这里通过OpenTSDB的方式建模实质上是两组数据点。 表2 指标数据点1 指标项(metric) 城市(city) 区域(region) Unix timestamp 指标数值(value)
udfState.getState(); } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了processing time。 import org.apache.flink.runtime.state.filesystem.FsStateBackend;
total = udfState.getState } } 应用代码 该段代码是流图定义代码,具体实现业务流程,另外,代码中窗口的触发时间使用了event time。 import com.huawei.rt.flink.core.{SEvent, SEventSourceWithChk