检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问MRS集群Manager 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理，用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager，请根据实际情况进行选择： 通过弹性IP访问FusionInsight
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest
Spark Structured Streaming对接Kafka样例程序开发思路 场景说明 假定一个广告业务，存在广告请求事件、广告展示事件、广告点击事件，广告主需要实时统计有效的广告展示和广告点击数据。 已知： 终端用户每次请求一个广告后，会生成广告请求事件，保存到kafka的adRequest
提交Spark任务到新增Task节点 应用场景 MRS集群可以通过增加Task节点，提升计算能力，集群Task节点主要用于处理数据，不存放持久数据。 本章节指导用户通过租户资源绑定新增的Task节点，并提交Spark任务到新增的Task节点。 方案架构 租户是MRS大数据平台的核
配置Container日志聚合功能 配置场景 YARN提供了Container日志聚合功能，可以将各节点Container产生的日志收集到HDFS，释放本地磁盘空间。日志收集的方式有两种： 应用完成后将Container日志一次性收集到HDFS。 应用运行过程中周期性收集Container输出的日志片段到HDFS。
CREATE TABLE 本章节主要介绍Doris创建表的SQL基本语法和使用说明。 基本语法 CREATE TABLE [IF NOT EXISTS] [database.]table ( column_definition_list, [index_definition_list]
访问MRS集群Manager（2.x及之前版本） 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理，用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager，请根据实际情况进行选择： 通过弹性IP访问FusionInsight
Teradata函数 以下函数提供Teradata SQL的能力。 字符串函数 char2hexint(string) 描述：返回字符串的UTF-16BE编码的十六进制表示形式。 index(string, substring) 描述：同strpos() 函数。 日期函数 本节中的函数使用与Teradata
配置HDFS DataNode数据均衡 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地
配置HDFS DataNode数据均衡 操作场景 本章节适用于MRS 3.x及后续版本。 HDFS集群可能出现DataNode节点间磁盘利用率不平衡的情况，比如集群中添加新数据节点的场景。如果HDFS出现数据不平衡的状况，可能导致多种问题，比如MapReduce应用程序无法很好地
YARN开源增强特性 任务优先级调度 在原生的YARN资源调度机制中，如果先提交的MapReduce Job长时间地占据整个Hadoop集群的资源，会使得后提交的Job一直处于等待状态，直到Running中的Job执行完并释放资源。 MRS集群提供了任务优先级调度机制。此机制允许
配置MRS集群间互信 当不同的两个Manager系统下安全模式的集群需要互相访问对方的资源时，系统管理员可以设置互信的系统，使外部系统的用户可以在本系统中使用。 如果未配置跨集群互信，每个集群资源仅能被本集群用户访问。每个系统用户安全使用的范围定义为“域”，不同的Manager系
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 如果您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。
Hudi表模型设计规范 规则 Hudi表必须设置合理的主键。 Hudi表提供了数据更新和幂等写入能力，该能力要求Hudi表必须设置主键，主键设置不合理会导致数据重复。主键可以为单一主键也可以为复合主键，两种主键类型均要求主键不能有null值和空值，可以参考以下示例设置主键： SparkSQL：
ALM-45648 RocksDB持续发生Write-Stopped 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期（metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration，默认180s）
INSERT...SELECT操作调优 操作场景 在以下几种情况下，执行INSERT...SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在beeline/thriftserver模式下使用非spark用户操作。 操作步骤 可对INSERT
Yarn节点配置调优 操作场景 合理配置大数据集群的调度器后，还可通过调节每个节点的可用内存、CPU资源及本地磁盘的配置进行性能调优。 具体包括以下配置项： 可用内存 CPU虚拟核数 物理CPU使用百分比 内存和CPU资源的协调 本地磁盘 操作步骤 若您需要对参数配置进行调整，具体操作请参考修改集群服务配置参数。
企业项目管理 企业项目是一种云资源管理方式。企业管理提供面向企业客户的云上资源管理、人员管理、权限管理、财务管理等综合管理服务。区别于管理控制台独立操控、配置云产品的方式，企业管理控制台以面向企业资源管理为出发点，帮助企业以公司、部门、项目等分级管理方式实现企业云上的人员、资源、权限、财务的管理。
ALM-13001 ZooKeeper可用连接数不足（2.x及以前版本） 告警解释 系统每30秒周期性检测ZooKeeper服务连接数状态，当检测到ZooKeeper实例连接数超出阈值（最大连接数的百分之八十）时产生该告警。 连接数小于阈值时，告警恢复。 告警属性 告警ID 告警级别
MRS 2.1.0.7补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.7 发布时间 2020-07-15 解决的问题 MRS 2.1.0.7 修复问题列表： MRS Manager 解决DLF+Presto查询时字段中包含换行符，数据和文件显示问题 支持presto查询结果保存成一个文件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
