检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
flatMap(_.split(" ")).groupBy("value").count() //开始运行将运行计数打印到控制台的查询。 val query = wordCounts.writeStream .outputMode("complete")
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 Manager中的Kerberos资源异常,认证服务不可用,无法对Web上层服务提供安全认证功能,可能引起无法登录MRS Manager。
Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。 StreamingQuery query = wordCounts.writeStream() .outputMode("complete")
Hive读写权限”,在待操作数据库所在行勾选“查询”、“删除”、“插入”、“建表”、“Select授权”、“Delete授权”、“Insert授权”和“递归”权限,单击“确定”。 单击“用户”,单击提交该任务的用户所在行的“修改”,在角色中新增1新建的角色,单击“确定”。 选择“集群 > 服务 > CDL”,单击“CDLService
清理。 使用约束 本特性需要启动Spark JDBCServer服务,借助JDBCServer服务常驻进程的能力定期清理残留文件。 本特性需要同时配置修改Spark客户端参数、 Spark JDBCServer服务端参数。 支持清理目录: /user/用户/.sparkStaging/
schemaFemaleInfo.registerTempTable("FemaleInfoTable"); // 执行SQL查询 Dataset<ROW> femaleTimeInfo = spark.sql("select * from " +
polygon连接查询 IN_POLYGON_JOIN(GEO_HASH_INDEX_COLUMN, POLYGON_COLUMN) 两张表做join查询,一张表为空间数据表(有经纬度列和GeoHashIndex列),另一张表为维度表,保存polygon数据。 查询使用IN_POLYGON_JOIN
进行广播。 配置为-1时,将不进行广播。 10485760 spark.yarn.queue JDBCServer服务所在的Yarn队列。 在JDBCServer服务端的“spark-defaults.conf”配置文件中进行设置。 default spark.driver.memory
HDFS容量达到100%导致上层服务HBase、Spark等不可用 用户问题 集群的HDFS容量使用达到100%,HDFS服务状态为只读,导致上层服务HBase、Spark等上报服务不可用告警。 问题现象 HDFS使用容量100%,磁盘容量只使用85%左右,HDFS服务状态为只读,导致上层服务HBase、Spark等上报服务不可用。
多语言 Storm作为计算平台,在业务层为用户提供了更为易用的业务实现方式:CQL(Continuous Query Language—持续查询语言)。CQL具有以下几个特点: 使用简单:CQL语法和标准SQL语法类似,只要具备SQL基础,通过简单地学习,即可快速地进行业务开发。
ace。 不能同时启动两个或两个以上的集群来共享一个namespace。 用户在启动集群或提交作业时如果使用了-z配置项,则在删除、停止及查询作业、触发savepoint时也要使用-z配置项指明namespace。 父主题: Flink应用开发常见问题
authentication.principal 安全模式中使用keytab认证,配置访问Loader服务的“机机”用户名。 authentication.keytab 安全模式中使用keytab认证,配置访问Loader服务的“机机”用户keytab文件目录,需包含绝对路径。 zookeeper.quorum
) # 注册表 df.registerTempTable("FemaleInfoTable") # 执行SQL查询并显示结果 FemaleTimeInfo = sqlCtx.sql("SELECT * FROM " +
dPayload。 useCache 是否在Spark中缓存表的relation,无需用户配置。为支持SparkSQL中对COW表增量视图查询,默认将COW表中该值置为false。 示例 创建非分区表 create table if not exists hudi_table0 (
由于集群磁盘容量不足,会影响到HDFS的数据写入,HDFS磁盘空间使用率超过阈值,因此导致HDFS服务异常。HDFS服务异常则会导致Spark、Hive和Yarn服务不可用。 根据该集群出现磁盘容量不足产生Spark、Hive和Yarn服务不可用的报警,扩容磁盘后不再告警,可以判断是磁盘容量不足引起HDFS功能故障所导致。
Manager将根据集群硬件资源与分配情况,在“详细配置”生成服务池参数的正确配置值。 如果根据业务需要,可以单击“详细配置”右侧的编辑按钮修改服务池的参数值。 在“服务池配置”单击指定的服务名,“详细配置”将只显示此服务的参数。手工修改参数值并不会刷新服务使用资源的百分比显示。支持动态生效的参数,
MRS服务是否支持安全删除的能力? 问: MRS服务是否支持安全删除(删除后防止非法恢复)的能力? 答: MRS集群目前仅支持恢复用户备份的数据,即MRS服务的删除都是安全删除。 父主题: 周边生态对接类
节点故障时,Region副本的其他主机节点上的副本可替代工作,保证服务能正常运行,提高集群的稳定性。 本章节主要介绍IoTDB数据操作时常用的配置参数。 操作步骤 登录集群Manager页面,选择“集群 > 服务 > IoTDB > 配置 > 全部配置”,进入IoTDB配置界面修改参数。
行进行汇总,将同一主键的行替换为包含sum后的一行记录。 如果主键的组合方式使得单个键值对应于大量的行,则可以显著地减少存储空间并加快数据查询的速度。 AggregatingMergeTree 该引擎继承自MergeTree,并改变了数据片段的合并逻辑。 ClickHouse会将
若合并完成后,在一直处于连接状态的spark-beeline/spark-sql session中查询分区表的数据,出现文件不存在的问题,根据提示可以执行"refresh table 表名"后再重新查询。 请依据实际情况合理设置filesize值,例如可以在scan得到表中平均文件大小值a