检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
找到Presto的浮动IP，并给该浮动IP绑定弹性公网IP。 在MRS服务集群的安全组中放通源地址到MRS服务Presto的端口访问，然后测试（以非安全集群为例，catalog为hive）。 父主题： 使用Presto
Storm应用开发常用概念 Topology 拓扑是一个计算流图。其中每个节点包含处理逻辑，而节点间的连线则表明了节点间的数据是如何流动的。 Spout 在一个Topology中产生源数据流的组件。通常情况下Spout会从外部数据源中读取数据，然后转换为Topology内部的源数据。
现table1表有10条记录，表示有用户名分别为1-10的用户，用户的历史消费金额初始化都是0元。 基于某些业务要求，开发的Spark应用程序实现如下功能： 实时累加计算用户的消费金额信息：即用户总消费金额=用户的消费金额(kafka数据) + 用户历史消费金额(table1表的值)，更新到table1表。
分桶后，部分桶中的数据远高于其他分桶。最终导致部分Task过重，运行很慢；其他Task过轻，运行很快。一方面，数据量大Task运行慢，使得计算性能低；另一方面，数据量少的Task在运行完成后，导致很多CPU空闲，造成CPU资源浪费。 通过如下配置项可开启自动进行数据倾斜处理功能，
退订MRS包周期集群指定节点 用户可以根据业务需求量，通过指定节点对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。 目前一次操作最多可以退订20个Core节点，退订后的Core节点数不能小于2。 退订节点时，须等待隔离/退服成功后，才能进行退订操作，否则会造成数据丢失等风险。
SQL执行成功率低于阈值 告警解释 系统每30秒周期性检测执行的HQL成功百分比，HQL成功百分比由一个周期内Hive执行成功的HQL数/Hive执行HQL总数计算得到。该指标可通过“集群 > 待操作的集群名称 > 服务 > Hive > 实例 > 具体的HiveServer实例”查看。执行的HQL成
下载认证凭据”。 选择认证凭据下载位置，并配置相关参数。 如果下载到服务器或远端节点，请在使用完成后及时删除，避免认证凭据泄漏。 浏览器：下载到本地电脑。 服务器端：下载到集群的主OMS节点上。 文件生成后默认保存在主OMS节点“/tmp/FusionInsight-Keytab/”路径。
这个表达式用于列出指定schema下的所有表。如果没有指定schema，则默认使用当前所在的schema。 可选参数like被用于基于关键字来进行匹配。 示例 --创建测试表 Create table show_table1(a int); Create table show_table2(a int); Create
MapReduce应用开发简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（application/job）通常会把
调优思路、参数调优、系统调优、SQL改写调优。 数据库运维 监控、告警、日志、系统表/视图。 适用范围 规范适用于ClickHouse数据库设计、数据库开发、数据库测试、数据库运维以及DBA和业务使用人员。 父主题： ClickHouse应用开发规范
Spark基于内存进行计算的分布式计算框架。Spark支持提交Spark Jar和Spark python程序，执行Spark application，计算和处理用户数据。 提交Spark作业 提交SparkSQL作业 Spark基于内存进行计算的分布式计算框架。SparkSQL
在“连接”区域，单击“添加”新建一个的连接，在“连接器”中选择“hdfs-connector”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”，进入“输入设置”界面，在“源文件类型”中选择“HBASE”，设置数据源信息。
在“连接”区域，单击“添加”新建一个的连接，在“连接器”中选择“hdfs-connector”，输入配置连接参数，单击“测试”验证连接是否可用，待提示“测试成功”后单击“确定”。 设置数据源信息 单击“下一步”，进入“输入设置”界面，在“源文件类型”中选择“HBASE”，设置数据源信息。
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个MapReduce作业（applicat
MapReduce应用开发简介 MapReduce简介 Hadoop MapReduce是一个使用简易的并行计算软件框架，基于它写出来的应用程序能够运行在由上千个服务器组成的大型集群上，并以一种可靠容错的方式并行处理上TB级别的数据集。 一个MapReduce作业（applica
系统每30秒周期性检测执行的HiveQL成功百分比，HiveQL成功百分比由一个周期内Hive执行成功的HiveQL数/Hive执行HiveQL总数计算得到。该指标可在Hive服务监控界面查看。执行的HiveQL成功百分比指标默认提供一个阈值范围（90%），当检测到百分比指标低于阈值范围产
查看MRS集群资源监控指标 MRS支持将集群中所有部署角色的节点，按管理节点、控制节点和数据节点进行分类，分别计算关键主机监控指标在每类节点上的变化趋势，并在报表中按用户自定义的周期显示分布曲线图。MRS集群指标监控采用周期性监控，历史监控平均周期约为5分钟。 用户可在MRS管理
集群管理 集群生命周期管理 集群在线扩缩容 创建Task节点 自动弹性伸缩 节点隔离 升级Master节点规格 节点标签管理 父主题： 产品功能
上可以减少日志文件的数量。但在规模较大且任务繁忙的集群上，经过长时间的运行，HDFS依然会面临存储的日志文件过多的问题。 以一个20节点的计算场景为例，默认清理周期（15日）内将产生约1800万日志文件，占用NameNode近18G内存空间，同时拖慢HDFS的系统响应速度。 由于
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
