检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Ranger权限，可参考添加HetuEngine的Ranger访问权限策略。 创建HetuEngine计算实例。 创建计算实例并确保运行正常，可参考创建HetuEngine计算实例。 步骤二：获取JDBC jar包 登录FusionInsight Manager。 选择“集群 >
表：执行COMPUTE STATS FOR TABLE src命令计算表的统计信息，统计信息包括记录条数、文件数和物理存储总大小。 列： 执行COMPUTE STATS FOR TABLE src ON COLUMNS命令计算所有列的统计信息。 执行COMPUTE STATS FOR TABLE
的业务数据压力。 缩容集群 用户可以根据业务需求量，通过简单的缩减Core节点或者Task节点，对集群进行缩容，以使MRS拥有更优的存储、计算能力，降低运维成本。用户执行MRS集群缩容后，MRS服务将根据节点已安装的服务类型自动选择可以缩容的节点。 Core节点在缩容的时候，会对
求为该hetu_user添加Ranger权限，可参考添加HetuEngine的Ranger访问权限策略。 已创建计算实例并运行正常，可参考创建HetuEngine计算实例。 访问编辑器 访问Hue WebUI，请参考访问Hue WebUI界面。 在左侧导航栏单击，然后选择“Het
avaExample Spark Core任务的Java/Python/Scala示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 sparknormal-examples/SparkPythonExample sparknormal-examples/SparkSQLJavaExample
WebUI界面和HetuEngine计算实例WebUI的运维管理员权限。 关联了“hetuuser”用户组的用户可获得SQL执行权限。可以访问HSConsole WebUI界面，查看当前用户关联租户的集群信息以及所有数据源的基本信息，可以访问计算实例的WebUI界面，并对当前用户的SQL有查询和运维的权限。
配置参数 描述 yarn.nodemanager.aux-services NodeManager中一个长期运行的辅助服务，用于提升Shuffle计算性能。 yarn.nodemanager.aux-services.spark_shuffle.class NodeManager中辅助服务对应的类。
SparkJavaExample Spark Core任务的Java/Python/Scala/R示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 SparkPythonExample SparkScalaExample
WebUI”后的链接，进入HSConsole界面。 在“计算实例”页签，展开计算实例所属租户，确保待修改的计算实例状态为“停止”状态。 在计算实例所属租户所在行的“操作”列单击“配置”，进入“配置实例”页签。 增大计算实例中单个Worker的内存大小 增大单个计算实例配置中的“Worker容器资源配
长度；直方图。 有了统计信息后，就可以估计算子的执行代价了。常见的算子包括过滤条件Filter算子和Join算子。 直方图为列统计值的一种，可以直观的描述列数据的分布情况，将列的数据从最小值到最大值划分为事先指定数量的槽位（bin），计算各个槽位的上下界的值，使得全部数据都确定槽
长度；直方图。 有了统计信息后，就可以估计算子的执行代价了。常见的算子包括过滤条件Filter算子和Join算子。 直方图为列统计值的一种，可以直观的描述列数据的分布情况，将列的数据从最小值到最大值划分为事先指定数量的槽位（bin），计算各个槽位的上下界的值，使得全部数据都确定槽
P1……Pn），并且其中第m个Partition的每秒写入数据流量为Q(Pm) MB/s（计算方法：所属Topic的数据流量除以Partition数） 、数据保存时间为T(Pm)小时，那么单个磁盘必须满足： 根据吞吐量粗略计算，假设生产者可以达到的吞吐量为P，消费者可以达到的吞吐量为C，预期Kaf
P1……Pn），并且其中第m个Partition的每秒写入数据流量为Q(Pm) MB/s（计算方法：所属Topic的数据流量除以Partition数）、数据保存时间为T(Pm)小时，那么单个磁盘必须满足： 根据吞吐量粗略计算，假设生产者可以达到的吞吐量为P，消费者可以达到的吞吐量为C，预期Kafk
MRS 3.x及之后：16384 MRS 3.x之前：8192 CPU虚拟核数 建议将此配置设定在逻辑核数的1.5～2倍之间。如果上层计算应用对CPU的计算能力要求不高，可以配置为2倍的逻辑CPU。 参数 描述 默认值 yarn.nodemanager.resource.cpu-vcores
aExample Spark Core任务的Java/Python/Scala/R示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 sparksecurity-examples/SparkPythonExample
KrbServer及LdapServer KrbServer及LdapServer基本原理 KrbServer及LdapServer开源增强特性 父主题： 组件介绍
在HSConsole页面重启计算实例。 HetuEngine基于MetaStore权限管控 约束：只适用于Hive类型数据源。 HetuEngine多个集群组网进行协同计算时，元数据由管理集群集中管理，计算在所有集群进行，访问HetuEngine集群用户的权限需要在管理集群进行配置，并在所有计算实例添加拥有Hive用户组权限的同名用户。
登录FusionInsight Manager，选择“服务 > HetuEngine > 概览”，单击“HSConsole WebUI”后的HSConsole链接进入计算实例界面，然后选择“数据源 > hive数据源名称 > 编辑 > 自定义配置 > 增加”，新增如下自定义配置项。 参数名称 值 描述 hive
同步配置”，同步配置完成后，再选择“更多 > 同步配置”，根据提示重启HetuEngine服务。 如果有运行中的HetuEngine计算实例，重启服务前需先停止计算实例，服务重启成功后再启动计算实例。 登录HetuEngine客户端创建Schema或表时，无需指定Location，默认存储在OBS上。 Ranger权限配置
的任务。Storm的目标是提供对大数据流的实时处理，可以可靠地处理无限的数据流。 Storm有很多适用的场景：实时分析、在线机器学习、持续计算和分布式ETL等，易扩展、支持容错，可确保数据得到处理，易于构建和操控。 Storm有如下几个特点： 适用场景广泛 易扩展，可伸缩性高 保证无数据丢失
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
