检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
load() .selectExpr("CAST(value AS STRING)") .as[String] //生成运行字数。 val wordCounts = lines.flatMap(_.split(" ")).groupBy("value")
user synchronization on the Dashboard tab page. 当前用户在MRS Manager不存在。请先在IAM给予该用户足够的权限,再在概览页签进行IAM用户同步。 按照报错提示进行处理 400 0193 Failed to operate the database
riftServerJavaExample 通过JDBC访问Spark SQL的Java/Scala示例程序。 本示例中,用户自定义JDBCServer的客户端,使用JDBC连接来进行表的创建、数据加载、查询和删除。 sparknormal-examples/SparkThriftServerScalaExample
使用CarbonData的目的是对大数据即席查询提供超快速响应。CarbonData是一个OLAP引擎,采用类似于RDBMS中的表来存储数据。用户可将大量(10TB以上)的数据导入到以CarbonData格式创建的表中,CarbonData将以压缩的多维索引列格式自动组织和存储数据。
Source、Channel和Sink参数。“channels”、“type”等参数仅在客户端配置文件“properties.properties”中进行配置,配置文件路径为“Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf/properties
MRS租户管理中的动态资源计划页面无法刷新怎么办? 问: MRS租户管理中的动态资源计划页面无法刷新怎么办? 答: 以root用户分别登录Master1和Master2节点。 执行ps -ef |grep aos命令检查aos进程号。 执行kill -9 aos进程号 结束aos进程。
生产者通过此参数值,创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群运行,所使用的Kerberos用户名(需配置为kafka)。 key.serializer 消息Key值序列化类。 指定消息Key值序列化方式。 value.serializer
支持结构化数据模型。 通过结合所有以上属性,Kudu的目标是支持在当前Hadoop存储技术上难以实现或无法实现的应用。 Kudu的应用场景有: 需要最终用户立即使用新到达数据的报告型应用。 同时支持大量历史数据查询和细粒度查询的时序应用。 使用预测模型并基于所有历史数据定期刷新预测模型来做出实时决策的应用。
C(Garbage Collection),评估内存中RDD的大小来判断内存是否变成性能瓶颈,并根据情况优化。 监控节点进程的GC情况(在客户端的conf/spark-defaults.conf配置文件中,在spark.driver.extraJavaOptions和spark.executor
开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端:Oracle JDK支持1.8版本;IBM JDK支持1.8.5.11版本。 TaiShan客户端:OpenJDK:支持1
开发和运行环境的基本配置。版本要求如下: 服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端:Oracle JDK:支持1.8版本;IBM JDK:支持1.8.5.11版本。 TaiShan客户端:OpenJDK:支持1
创建FlinkServer应用 操作场景 通过应用来隔离不同的上层业务。 创建应用 使用具有FlinkServer管理员权限的用户访问Flink WebUI,请参考访问FlinkServer WebUI界面。 选择“系统管理 > 应用管理”,进入应用管理页面。 单击“创建应用”,
HORIZATION_FAILED”。 解决步骤 向管理员申请该Topic的访问权限。 如果拥有权限后还是无法访问该Topic,使用管理员用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”进入Kafka服务配置页面,搜索“allow
MRS集群反复上报43006告警 用户问题 集群反复出现“ALM-43006 JobHistory进程堆内存使用超出阈值”告警,且按照告警参考处理无效。 问题现象 集群出现告警“ALM-43006 JobHistory进程堆内存使用超出阈值”并且按照指导处理以后,运行一段时间又会出现同样的告警。
selectExpr("CAST(value AS STRING)") .as(Encoders.STRING()); //生成运行字数。 Dataset<Row> wordCounts = lines.flatMap(new FlatMapFunction<String
Source、Channel和Sink参数。“channels”、“type”等参数仅在客户端配置文件“properties.properties”中进行配置,配置文件路径为“Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf/properties
Alluixo在HA模式下出现Does not contain a valid host:port authority报错 用户问题 安全集群Alluixo在HA模式下出现Does not contain a valid host:port authority的报错,如何处理? 问题现象
登录目的端HBase集群的FusionInsight Manager,选择“集群 > 服务 > HBase”。 选择“更多 > 下载客户端”。 图1 下载HBase客户端 在下载客户端页面,客户端类型选择“仅配置文件”,单击“确定”下载HBase配置文件到本地。 图2 下载HBase配置文件 登录源端Hive集群的FusionInsight
开发和运行环境的基本配置,版本要求如下: 服务端和客户端仅支持集群自带的OpenJDK,不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的: X86客户端: Oracle JDK:支持1.8版本; IBM JDK:支持1.8.0.7.20和1.8.0.6.15版本。 ARM客户端: OpenJDK:支持1
当用户正在查看即将被回收的Spark应用时,可能会出现找不到“temp_shuffle”文件的错误,从而导致当前页面无法访问。 如果遇到上述问题,可参考以下两种方法解决。 重新访问这个Spark应用的HistoryServer页面,即可查看到正确的页面信息。 如果用户场景需要