检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
企业项目管理 企业项目是一种云资源管理方式。企业管理提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式，企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限
操作步骤 获取MapReduce上已完成任务的具体信息 命令： curl -k -i --negotiate -u : "https://10.120.85.2:26014/ws/v1/history/mapreduce/jobs" 其中10.120.85.2为MapReduce的
对系统的影响 Guardian TokenServer实例直接内存溢出可能导致业务无法正常访问OBS。 可能原因 节点TokenServer实例直接内存使用率过大，或配置的直接内存不合理，导致使用率超过阈值。 处理步骤 检查直接内存使用率。
对系统的影响 Guardian TokenServer实例非堆内存溢出可能导致业务无法正常访问OBS。 可能原因 该节点TokenServer实例非堆内存使用率过大，或配置的非堆内存不合理，导致使用率超过阈值。 处理步骤 检查非堆内存使用率。
参考信息 OBS证书过期请参考如何处理集群内部OBS证书过期。 父主题： MRS集群告警处理参考
map(lambda dataArr: (dataArr[0], dataArr[1], int(dataArr[2])))\ .collect() df = sqlCtx.createDataFrame(inputRDD) # 注册表
map(lambda dataArr: (dataArr[0], dataArr[1], int(dataArr[2])))\ .collect() df = sqlCtx.createDataFrame(inputRDD) # 注册表
目录读写权限，否则建表时会提示403 缺少obs权限。
地址，<subscribe-type>指Kafka订阅类型（一般为subscribe，代表订阅指定的topic），<topic>指读取Kafka上的topic名称，<protocol>指安全访问协议，<service>指kerberos服务名称，<domain>指kerberos域名
约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 azName String 参数解释： 可用区域名称。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 azCode String 参数解释： 可用区域英文名称。
_ //通过隐式转换，将RDD转换成DataFrame，然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(",")) .map(p => FemaleInfo(p(0), p(1), p(2)
femaleInfo.setStayTime(Integer.parseInt(parts[2].trim())); return femaleInfo; } }); // 注册表
_ //通过隐式转换，将RDD转换成DataFrame，然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(",")) .map(p => FemaleInfo(p(0), p(1), p(2)
用户可以将文件上传到OBS，并在MRS管理控制台“文件管理”将文件从OBS导入HDFS，具体请参考导入导出数据。
ApplicationMaster使用该协议向ResourceManager注册、申请资源、获取各个任务的运行情况等。
创建或者编辑Loader作业时，在配置SFTP路径、HDFS/OBS路径、SQL的Where条件等参数时，可以使用宏定义，具体请参考配置项中使用宏定义章节。 表2 输入配置参数一览表 源文件类型 参数名 解释说明 HDFS/OBS 输入目录 从HDFS/OBS导出时的输入路径。
约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 azName String 参数解释： 可用区域名称。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 azCode String 参数解释： 可用区域英文名称。
打印的信息如下： spark-sql> analyze table hivetable2 compute statistics; Query ID = root_20160716174218_90f55869-000a-40b4-a908-533f63866fed Total jobs
页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。 页面入口：在YARN的Web UI界面，查找到对应的Spark应用程序。
= 2) { System.err.println("Usage: collect female info <in> <out>"); System.exit(2); } // 初始化Job任务对象。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
