检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在FusionInsight Manager首页，查看当前的HDFS文件数。HDFS文件数可以通单击“集群 > 待操作集群的名称 > 服务 > HDFS”，单击图表区域右上角的下拉菜单，选择“定制 > 文件和块”，勾选“HDFS文件”和“HDFS块数”监控项查看。 在“集群 > 待操作集群的名称
xml”配置文件中进行如表3所示的配置。 表1 参数说明 参数 描述 默认值 yarn.log-aggregation-enable 设置是否打开Container日志聚合功能。 设置为“true”，表示打开该功能，日志会被收集到HDFS目录中。 设置为“false”，表示关闭该功能，表示日志不会收集到HDFS中。
properties命令，查看当前的Flume Client配置文件。 根据Flume Agent的配置说明检查“properties.properties”的配置是否有误。 是，执行3.e。 否，执行4。 修改“properties.properties”配置文件。 查看告警列表中，该告警是否已清除。
Zone”。单击“Save”保存。如需添加多条策略有效期，可单击按钮添加。如需删除策略有效期，可单击按钮删除。 单击“Add”，在策略列表可查看策略的基本信息。等待策略生效后，验证相关权限是否正常。 如需禁用某条策略，可单击按钮编辑策略，设置策略开关为“Disabled”。 如果不再使用策略，可单击按钮删除策略。
--negotiate -u: "http://linux1:9870/webhdfs/v1/huawei?op=MKDIRS" 其中linux1表示<HOST>，9870表示<PORT>。 运行结果。 HTTP/1.1 401 Authentication required Date: Thu, 05
print("------------------read_write_kafka----------------") read_write_kafka() 表1 使用Python提交普通作业参数说明 参数 说明 示例 bootstrap.servers Kafka的Broker实例业务IP和端口。
Superior通过REST接口查看已结束或不存在的applicationID，页面提示Error Occurred 问题 Superior通过REST接口查看已结束或不存在的applicationID，返回的页面提示Error Occurred。 回答 用户提交查看application
告警”，选中“告警ID”为“45327”的告警，查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Presto > 实例”，单击告警上报的Coordinator，进入“实例状态”页面，单击图表区域右上角的下拉菜单，选择“定制
告警”，选中“告警ID”为“45335”的告警，查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > 服务 > Presto > 实例”，单击告警上报的Worker1，进入“实例状态”页面，单击图表区域右上角的下拉菜单，选择“定制
> 告警 > OBS元数据接口调用平均时间超过阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS元数据操作
告警 > 告警 > OBS元数据接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS元数据操作
> 告警 > OBS数据写操作接口调用成功率低于阈值”，查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta（对应上报告警实例IP地址）”。单击图表区域右上角的下拉菜单，选择“定制”，在“OBS数据写操作
告警”，选中“告警ID”为“45328”的告警，查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Presto > 实例”，单击告警上报的Worker，进入“实例状态”页面，单击图表区域右上角的下拉菜单，选择“定制
告警”，选中“告警ID”为“45336”的告警，查看“定位信息”中的实例的IP地址及角色名。 在FusionInsight Manager首页，选择“集群 > 待操作集群的名称 > 服务 > Presto > 实例”，单击告警上报的Worker2，进入“实例状态”页面，单击图表区域右上角的下拉菜单，选择“定制
xml”配置文件中进行如表3所示的配置。 表1 参数说明 参数 描述 默认值 yarn.log-aggregation-enable 设置是否打开Container日志聚合功能。 设置为“true”，表示打开该功能，日志会被收集到HDFS目录中。 设置为“false”，表示关闭该功能，表示日志不会收集到HDFS中。
//增加Kerberos认证所需的plugin到列表中，安全模式必选 setSecurityConf(conf,AuthenticationType.KEYTAB); Config conf = new Config(); //将客户端配置的plugin列表写入config指定项中，安全模式必配
ANCE_IP”变量查看。 “priority_network”主要用于帮助系统选择正确的网卡IP作为FE或BE的IP，建议任何情况下，都显式的设置该参数，避免后续机器增加新网卡导致IP选择不正确问题。“priority_network”的值是CIDR格式表示的，用于保证所有节点
可能原因 Kafka服务异常。 网络异常。 Kafka Topic异常。 原因分析 查看Kafka服务状态： MRS Manager界面操作：登录MRS Manager，依次选择“服务管理 > Kafka”，查看当前Kafka状态，发现状态为良好，且监控指标内容显示正确。 FusionInsight
/opt/client/bigdata_env 使用Alluxio Shell Alluxio shell包含多种与Alluxio交互的命令行操作。 要查看文件系统操作命令列表。 alluxio fs 使用ls命令列出Alluxio里的文件。例如列出根目录下所有文件。 alluxio fs ls / 使
Spark Core企业级能力增强 配置Spark HA增强高可用 配置Spark Native引擎 配置Spark事件队列大小 配置parquet表的压缩格式 使用Ranger时适配第三方JDK 配置Spark小文件自动合并 使用Spark小文件合并工具说明 配置流式读取Spark Driver执行结果
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
