检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
WebUI操作SparkSQL,请先重启Hue服务。 MRS各版本集群支持添加的组件可参考MRS组件版本一览表。 在“拓扑调整”页面勾选服务部署的节点,部署方案可参考表2。 确认操作影响后,单击“确认”。服务添加完成后,在“组件管理”页面可以查看所添加的服务。 如果需要删除服务,可以在指定服务所在行,单击“删除”操作。
afka等组件上。 本案例中,通过MRS自定义集群中的Flume组件,自动采集指定节点日志目录下新产生的文件并存储到HDFS文件系统中。 方案架构 Flume-NG由多个Agent来组成,而每个Agent由Source、Channel、Sink三个模块组成,其中Source负责接
Flink的安全都为开源社区提供和自身研发。有些是需要用户自行配置的安全特性,如认证、SSL传输加密等,这些特性可能对性能和使用方便性造成一定影响。 Flink作为大数据计算和分析平台,对客户输入的数据是否包含敏感信息无法感知,因此需要客户保证输入数据是脱敏的。 客户可以根据应用环境,权衡配置安全与否。 任何与安全有关的问题,请联系运维人员。
che Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 Doris采用MPP的模型,节点间和节点内都是并行执行,适用于多个大表的分布式Join。支持向量化的查询引擎、AQE(
function的JDBCServer上,因此执行show function,function仍然存在。该行为是hive的社区行为。 修改方案: 在执行drop function命令之前先执行add jar命令,则该function在有权限的情况下才能drop成功,且drop成功之后不会出现show
// 聚合key-value键值对的计算结果 .groupBy((key, value) -> value) // 最终结果计数 .count(); // 将计算结果的 key-value 键值对从
在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 对于运行中的计算实例,在实例的“操作”列单击“停止”,待计算实例处于“已停止”状态后,再单击“启动”重启计算实例。 父主题: 集群互信管理
创建租户的具体操作流程如表2所示。 图1 创建租户流程 表2 创建租户的操作说明 操作 说明 添加租户 可配置待添加租户的计算资源、存储资源和关联服务。 添加子租户 可配置待添加子租户的计算资源、存储资源和关联服务。 添加用户并绑定租户的角色 若一个用户想要使用“tenant1”租户包含的资源,
split.maxsize map输入信息应被拆分成的数据块的最大大小。 由用户定义的分片大小的设置及每个文件block大小的设置,可以计算分片的大小。计算公式如下: splitSize = Math.max(minSize, Math.min(maxSize, blockSize))
link等服务且服务运行正常。 已创建需要配置权限的用户、用户组或Role,且用户已加入hive组。 该特性仅支持在FlinkServer平台使用。 FlinkSQL需要使用default方言。 过滤条件中的字段大小写要与FlinkSQL中字段大小写一致。 该特性不支持Hive视图表。
修复问题列表: MRS Manager MRS Manager单击审计日志详细信息下载报错。 MRS Manager界面中主机列表下的磁盘使用率计算优化。 MRS 1.7.1.1 修复问题列表: Kafka组件问题 KAFKA-5413 Kafka日志清理失败:segment文件offset跨度过大。
OLAP分析场景,一张大宽表通常能有几百上千列,选择其中少数的几列做维度列、指标列计算。匹配这种场景下,ClickHouse的数据也是按照列存储的。如果使用select *,会大大加重系统的压力。 通过limit限制查询返回的数据量,节省计算资源、减少网络开销。 如果返回的数据量过大,客户端有可能出现内存溢出等服务异常。
che Doris能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景,用户可以在此之上构建用户行为分析、AB实验平台、日志检索分析、用户画像分析、订单分析等应用。 Doris采用MPP的模型,节点间和节点内都是并行执行,适用于多个大表的分布式Join。支持向量化的查询引擎、AQE(
Flink的安全都为开源社区提供和自身研发。有些是需要用户自行配置的安全特性,如认证、SSL传输加密等,这些特性可能对性能和使用方便性造成一定影响。 Flink作为大数据计算和分析平台,对客户输入的数据是否包含敏感信息无法感知,因此需要客户保证输入数据是脱敏的。 客户可以根据应用环境,权衡配置安全与否。 任何与安全有关的问题,请联系运维人员。
建集群不再替换/etc/krb5.conf文件,改为通过配置参数指定到客户端内krb5路径,而HiBench并不引用客户端配置文件。 解决方案: 将客户端/opt/client/KrbClient/kerberos/var/krb5kdc/krb5.conf,copy覆盖集群内所有节点的/etc/krb5
例如磁盘标注容量为1.2 TB,实际容量为1200 * 0.9 = 1080 GB。 计算公式 假设历史数据量为H,每日增量为A,单节点磁盘容量为C,数据保留M天,集群副本数为R,则ClickHouseServer物理节点数计算公式如下: ClickHouseServer物理节点数N = [R *
批系统,与上游的切片数相同(例如HDFS的block数量)。 Flink作业中有Source、Sink、中间计算算子的并行度可以调整。通过分析作业流图,如果发现是中间计算Busy就需要通过调整整个作业并行度来调整这类算子的并行度,常见的如join算子。 父主题: Flink性能调优开发规范
询,使用很方便。ClickHouse有数据分片(shard)的概念,这也是分布式存储的特点之一,即通过并行读写提高效率。 CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 查看ClickHouse服务cluster等环境参数信息 使用Click
参数类型 描述 is_dec_project 否 Boolean 参数解释: 说明是否为专属云的资源。 约束限制: 不涉及 取值范围: true:是专属云的资源。 false:不是专属云的资源。 默认取值: false cluster_version 是 String 参数解释:
// 聚合key-value键值对的计算结果 .groupBy((key, value) -> value) // 最终结果计数 .count(); // 将计算结果的 key-value 键值对从