检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
规避措施: 根据业务需要,配置合适的需要保留的Job和Stage的UI数据个数,即配置“spark.ui.retainedJobs”和“spark.ui.retainedStages”参数。详细信息请参考常用参数中的表13。
管理控制台与FusionInsight Manager页面的区别和联系请参考下表: 常用操作 MRS Console FusionInsight Manager 切换子网、添加安全组规则、OBS权限控制、管理委托、IAM用户同步 支持 不支持 新增节点组、扩容、缩容、升级规格 支持
打印的信息如下: spark-sql> analyze table hivetable2 compute statistics; Query ID = root_20160716174218_90f55869-000a-40b4-a908-533f63866fed Total jobs
时间宏dataformat中的第一个参数的日期格式定义可参考“java.text.SimpleDateFormat.java”中的定义,但需要遵循目标系统的约束,例如HDFS/OBS目录不支持特殊符号等。
时间宏dataformat中的第一个参数的日期格式定义可参考“java.text.SimpleDateFormat.java”中的定义,但需要遵循目标系统的约束,例如HDFS/OBS目录不支持特殊符号等。
= 2) { System.err.println("Usage: collect female info <in> <out>"); System.exit(2); } // 初始化Job任务对象。
规避措施: 根据业务需要,配置合适的需要保留的Job和Stage的UI数据个数,即配置“spark.ui.retainedJobs”和“spark.ui.retainedStages”参数。详细信息请参考Spark常用配置参数中的表13。
= 2) { System.err.println("Usage: collect female info <in> <out>"); System.exit(2); } // 初始化Job任务对象。
= 2) { System.err.println("Usage: collect female info <in> <out>"); System.exit(2); } // 初始化Job任务对象。
Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管理操作。如需操作,建议在确认对业务没有影响后通过各组件的相应操作方法进行处理,例如使用HDFS客户端对HDFS文件进行操作,使用Hive客户端对Hive表进行操作。
参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题: MRS集群告警处理参考
= 2) { System.err.println("Usage: collect female info <in> <out>"); System.exit(2); } // 初始化Job任务对象。
在IoTDBSessionPool对象的参数里,设置IoTDBServer所在的节点IP、端口、用户名和密码。 在FusionInsight Manager界面,选择“集群 > 服务 > IoTDB > 实例”,查看待连接的IoTDBServer所在的节点的业务IP。
number of splits:2 16/02/24 15:45:42 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1455853029114_0027 16/02/24 15:45:42 INFO
number of splits:2 16/02/24 15:45:42 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1455853029114_0027 16/02/24 15:45:42 INFO
如果显示测试成功,则执行5;如果显示不能连接至OBS Server,则需要重复3。 单击“保存”。 如果某个Loader作业已集成一个Loader连接,那么编辑连接参数后可能导致Loader作业运行效果也产生变化。 删除连接 在Loader页面,单击“管理连接”。
参数说明 oozie.services.ext org.apache.oozie.service.ZKLocksService,org.apache.oozie.service.ZKXLogStreamingService,org.apache.oozie.service.ZKJobsConcurrencyService
number of splits:2 16/07/12 17:07:18 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1468241424339_0006 16/07/12 17:07:18 INFO
locationInfo 告警位置信息 clearType 告警清除类型,取值范围: -1:未清除 0:自动清除 2:手动清除 level 告警级别,取值范围: 1:紧急告警 2:重要告警 3:次要告警 4:提示告警 cause 告警原因 additionalInfo 附加信息 object 告警对象
在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后,您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行