检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI页面全量日志时需要展示的日志过大，导致报500内部错误。此时需要把作业生成的聚合日志调小，使其分段生成即可。 处理步骤 以root用户登录安装了Spark2x/Spark客户端的节点。 执行以下命令编辑文件。 vim $SPARK_HOME/conf/log4j-executor
登录后指定loaction到OBS建表失败 Spark shuffle异常处理 Spark多服务场景下，普通用户无法登录Spark客户端 安装使用集群外客户端时，连接集群端口失败 Datasource Avro格式查询异常 通过Spark-sql创建Hudi表或者Hive表，未插入数据前，查询表统计信息为空
return femaleInfo; } }); // 注册表。 Dataset<ROW> schemaFemaleInfo = spark.createDataFrame(femaleInfoJavaRDD
前提条件 MRS 3.1.0及之后版本在创建集群时已勾选Sqoop组件。 安装客户端，具体请参考安装客户端（3.x及之后版本）。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 客户端目录/Sqoop/sqoop/lib下已有对应驱动包
String 参数解释： 真实作业编号。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 properties String 参数解释： 配置参数，用于传-d参数。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 app_id String 参数解释： 实际作业编号。
egion Servers上Region分布是否均衡。 以omm用户登录故障RegionServer节点。 进入客户端安装目录，设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示
用于ApplicationMaster与ResourceManager之间。ApplicationMaster使用该协议向ResourceManager注册、申请资源、获取各个任务的运行情况等。 表2 ApplicationMasterProtocol常用方法 方法 说明 allocate(AllocateRequest
用于ApplicationMaster与ResourceManager之间。ApplicationMaster使用该协议向ResourceManager注册、申请资源、获取各个任务的运行情况等。 表2 ApplicationMasterProtocol常用方法 方法 说明 allocate(AllocateRequest
登录FusionInsight Manager界面，查看右上角任务。 查看当前集群是否存在正在运行的任务。 是，等待任务运行结束。 否，检查结束。 检查集群是否安装了Doris组件，且是否创建了UDF函数 咨询用户或者检查Doris是否有使用自定义函数功能。 连接Doris，执行以下命令查询是否有自定义函数：
return femaleInfo; } }); // 注册表。 Dataset<ROW> schemaFemaleInfo = spark.createDataFrame(femaleInfoJavaRDD
WebUI】Hue WebUI页面无法访问 【Hue WebUI】访问Hue WebUI页面报错“Proxy Error” 【Hue WebUI】集群未安装Hive服务时Hue原生页面无法正常显示 【Hue WedUI】Hue（主）无法打开web网页 【Ranger WebUI】新用户修改完密码后无法登录Ranger
否，执行11。 数据倾斜，需要均衡集群中的数据。以root用户登录MRS客户端，用户密码为安装前用户自定义，请咨询系统管理员。如果集群为普通模式，执行su - omm切换到omm用户。执行cd命令进入客户端安装目录，然后执行source bigdata_env。如果集群采用安全版本，要进行安全认证。执行kinit
egion Servers上Region分布是否均衡。 以omm用户登录故障RegionServer节点。 进入客户端安装目录，设置环境变量。 cd 客户端安装目录 source bigdata_env 如果集群采用安全版本，要进行安全认证。执行kinit hbase命令，按提示
用于ApplicationMaster与ResourceManager之间。ApplicationMaster使用该协议向ResourceManager注册、申请资源、获取各个任务的运行情况等。 表2 ApplicationMasterProtocol常用方法 方法 说明 allocate(AllocateRequest
参数 参数说明 操作类型 记录执行的操作类型，包括： 集群操作 作业操作 数据操作 操作IP 记录执行操作的IP地址。 说明： 当MRS集群部署失败时，集群会被自动删除，并且自动删除集群的操作日志中不包含用户的“操作IP”信息。 用户 执行操作的用户。 操作内容 记录实际操作内容，不超过2048字符。
框可根据关键字段进行筛选。 表1 Audit信息 页签 内容描述 Access 当前MRS不支持在线查看组件资源的审计日志信息，可登录组件安装节点，进入“/var/log/Bigdata/audit”目录下查看各组件的审计日志，日志中主要字段含义如下： result：策略校验结果，0表示拒绝，1表示允许。
return femaleInfo; } }); // 注册表。 Dataset<ROW> schemaFemaleInfo = spark.createDataFrame(femaleInfoJavaRDD
用于ApplicationMaster与ResourceManager之间。ApplicationMaster使用该协议向ResourceManager注册、申请资源、获取各个任务的运行情况等。 表2 ApplicationMasterProtocol常用方法 方法 说明 allocate(AllocateRequest
provided 可能原因 客户端用户没有进行安全认证 kerberos认证超期 解决方案 登录Hive客户端所在节点。 执行source 集群客户端安装目录/bigdata_env命令。 可通过klist命令查看本地是否有有效票据，如下信息表明票据在16年12月24日14:11:42生效，
return femaleInfo; } }); // 注册表。 DataFrame schemaFemaleInfo = sqlContext.createDataFrame(femaleInfoJavaRDD
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
