检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建ClickHouse租户,租户资源类型只能选择“叶子租户”。 计算资源 为当前租户选择动态计算资源。 选择“Yarn”时,系统自动在Yarn中以租户名称创建任务队列。 不选择“Yarn”时,系统不会自动创建任务队列。 配置模式 计算资源参数配置模式。 选择“基础”时,只需配置“默认资源池容量
被预先聚合、部分数据尚未被聚合的情况。因此,在执行聚合计算时,SQL中仍需要使用GROUP BY子句。 AggregatingMergeTree AggregatingMergeTree是预先聚合引擎的一种,用于提升聚合计算的性能。AggregatingMergeTree引擎能够
/opt/client/ 回退手动的操作 不涉及。 补丁卸载完成后重新打开弹性伸缩 如果卸载补丁前关闭了弹性伸缩,请卸载完成后重新打开。 登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关
节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭 登录华为云管理控制台界面,选择对应集群,单击“弹性伸缩”。 查看当前集群的弹性伸缩策略是否是关闭状态。 否,请跟业务方确认是否可以关闭,如果可以请关
me>:7070/kylin并运行样例Cube脚本${KYLIN_HOME}/bin/sample.sh验证kylin是否正常运行。 在华为云严选商城中有提供基于Apache Kylin的企业级大数据智能分析平台Kyligence Enterprise,您可以根据需要选择使用。 父主题:
例如:“,” 流/表结构 填写流/表结构,包含名称,类型。 - Proctime 指系统时间,与数据本身的时间戳无关,即在Flink算子内计算完成的时间。 “类型”选择“Source”时存在此参数。 - Event Time 指事件产生的时间,即数据产生时自带时间戳。 “类型”选择“Source”时存在此参数。
出反应,保证业务顺畅运行。 - 裸金属服务器(Bare Metal Server) 裸金属服务为MRS提供专属的云上物理服务器,提供优秀的计算性能以及数据安全。 MRS所使用的裸金属服务器规格 表2 云审计支持的MRS操作列表 操作名称 资源类型 事件名称 创建集群 cluster
例如:“,” 流/表结构 填写流/表结构,包含名称,类型。 - Proctime 指系统时间,与数据本身的时间戳无关,即在Flink算子内计算完成的时间。 “类型”选择“Source”时存在此参数。 - Event Time 指事件产生的时间,即数据产生时自带时间戳。 “类型”选择“Source”时存在此参数。
TABLE src COMPUTE STATISTICS 生成sizeInBytes和rowCount。 使用ANALYZE语句收集统计信息时,无法计算非HDFS数据源的表的文件大小。 生成表级别统计信息(不扫表): ANALYZE TABLE src COMPUTE STATISTICS
val put = new Put(iteratorArray(i).getString(0).getBytes) // 计算结果 val resultValue = hiveValue + hbaseValue.toInt
因此,MRS大数据集群提供了完整的企业级大数据多租户解决方案。多租户是MRS大数据集群中的多个资源集合(每个资源集合是一个租户),具有分配和调度资源(资源包括计算资源和存储资源)的能力。 特性优势 合理配置和隔离资源 租户之间的资源是隔离的,一个租户对资源的使用不影响其他租户,保证了每个租户根据业务
已获取账号AK和SK,详情请参考:如何获取访问密钥AK/SK。 操作步骤 在MRS主机上安装ICAgent,详情请参考:安装ICAgent(华为云主机)。 首次安装先安装一台服务器,然后按照继承批量安装的方式安装其他所有主机。 创建主机组,把1中已安装的ICAgent的主机加到主机组里面。
查询Core节点有大量文件的目录,发现大部分都是类似“blockmgr-033707b6-fbbb-45b4-8e3a-128c9bcfa4bf”的目录,里面存放了计算过程中产生的shuffle临时文件。 因为JDBCServer启动了Spark的动态资源分配功能,已经将shuffle托管给NodeMan
”。 在Core节点组中勾选任意一个Core节点,单击“节点操作 > 停止所有角色”。 登录Core节点后台,参考如何使用自动化工具配置华为云镜像源(x86_64和ARM)?配置yum源。 使用uname -r或rpm -qa |grep kernel命令,查询并记录当前节点内核版本。
KerberosPrincipal KerberosKeytabPath指定的keytab对应的用户名。 tenant 指定访问HetuEngine计算实例的租户资源队列 KerberosConfigPath 访问数据源用户的krb5配置文件,参考配置HetuEngine应用安全认证获取。
SparkJavaExample Spark Core任务的Java/Python/Scala/R示例程序。 本工程应用程序实现从HDFS上读取文本数据并计算分析。 SparkRExample示例不支持未开启Kerberos认证的集群。 SparkPythonExample SparkScalaExample
对Streaming调优,就必须使三个部件的性能都最优化。 数据源调优 在实际的应用场景中,数据源为了保证数据的容错性,会将数据保存在本地磁盘中,而Streaming的计算结果往往全部在内存中完成,数据源很有可能成为流式系统的最大瓶颈点。 对Kafka的性能调优,有以下几个点: 使用Kafka-0.8.2以后
对应的机器ip和port为空引起的,出现该问题的时候使用hdfs fsck检查对应文件块的健康状态,删除损坏或者恢复丢失的块,重新进行任务计算即可。 父主题: HDFS故障排除
对应的机器ip和port为空引起的,出现该问题的时候使用hdfs fsck检查对应文件块的健康状态,删除损坏或者恢复丢失的块,重新进行任务计算即可。 父主题: HDFS故障排除