检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink开启Checkpoint样例程序(Scala) 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 代码样例 发送数据形式。 下面代码片段仅为演示,完整代码参见FlinkCheckpointScalaExample样例工程下的com.huawei
HBase Java API接口介绍 接口使用建议 建议使用org.apache.hadoop.hbase.Cell作为KV数据对象,而不是org.apache.hadoop.hbase.KeyValue。 建议使用Connection connection = ConnectionFactory
在分组模式下执行应用,当HDFS上的part文件为空时,发现JobHistory首页面上不显示该part对应的app。 回答 JobHistory服务更新页面上的app时,会根据HDFS上的part文件大小变更与否判断是否刷新首页面的app显示信息。若文件为第一次查看,则将当前文件大小与0作比较,如果大于0则读取该文件。
Hive表的HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令进入控制台: source ${BIG
在本地Windows环境中调测ClickHouse应用 编译并运行程序 在程序代码完成开发后,您可以在Windows环境中运行应用。本地和集群业务平面网络互通时,您可以直接在本地进行调测。在开发环境IntelliJ IDEA工程“clickhouse-examples”中单击“Run
Spark Structured Streaming状态操作样例程序 Spark Structured Streaming状态操作样例程序开发思路 Spark Structured Streaming状态操作样例程序(Scala) 父主题: 开发Spark应用
在本地Windows环境中调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中编包并运行Spark程序 在本地Windows环境中查看Spark程序调试结果 父主题: 调测Spark应用
Hive JDBC样例程序开发思路 场景说明 假定用户开发一个Hive数据分析应用,用于管理企业雇员信息,如表1、表2所示。 开发思路 数据准备。 创建三张表,雇员信息表“employees_info”、雇员联络信息表“employees_contact”、雇员信息扩展表“emp
常见jar包冲突处理方式 问题现象 Spark能对接很多的第三方工具,因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带,这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致,在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有: 1、报错类找不到:java
在本地Windows环境中调测Spark应用 配置Windows通过EIP访问集群Spark 在本地Windows环境中编包并运行Spark程序 在本地Windows环境中查看Spark程序调试结果 父主题: 调测Spark应用
MapReduce访问多组件样例程序 MapReduce访问多组件样例程序开发思路 MapReduce访问多组件样例代码 父主题: 开发MapReduce应用
本地运行Spark程序连接MRS集群的Hive、HDFS 问题 本地运行Spark程序时,如何连接MRS集群的Hive和HDFS? 回答 为每一个Master节点申请并绑定弹性公网IP。 在本地Windows上配置集群的ip与主机名映射关系。登录集群后台,执行命令cat /etc
在Linux环境中调测ClickHouse应用(MRS 3.3.0之前版本) ClickHouse应用程序也支持在Linux环境中运行。在程序代码完成开发后,您可以上传Jar包至准备好的Linux运行环境中运行。 前提条件 Linux环境已安装JDK,版本号需要和IntelliJ
Spark REST API接口介绍 功能简介 Spark的REST API以JSON格式展现Web UI的一些指标,提供用户一种更简单的方法去创建新的展示和监控的工具,并且支持查询正在运行的app和已经结束的app的相关信息。开源的Spark REST接口支持对Jobs、Sta
structured streaming功能与可靠性介绍 Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作:包括无类型,类
删除HBase全局二级索引 功能简介 通过调用“org.apache.hadoop.hbase.hindex.global.GlobalIndexAdmin”中的方法进行HBase全局二级索引的管理,该类中dropIndices用于创删除索引。 代码样例 以下代码片段在com.huawei
structured streaming功能与可靠性介绍 Structured Streaming支持的功能 支持对流式数据的ETL操作。 支持流式DataFrames或Datasets的schema推断和分区。 流式DataFrames或Datasets上的操作:包括无类型,类
配置Spark Streaming对接Kafka时数据后进先出功能 配置场景 当Spark Streaming应用与Kafka对接,Spark Streaming应用异常终止并从checkpoint恢复重启后,对于进入Kafka数据的任务,系统默认优先处理应用终止前(A段时间)未
add='idx2=>cf1' -Dindexspecs.covered.to.add='idx1=>cf1:[c3],[c4]' -Dindexspecs.coveredallcolumn.to.add='idx3=>true' -Dindexspecs.splitkeys.to.set='idx1=>[\x010
使用MySQL客户端连接Doris数据库时报错“plugin not enabled”如何处理 问题现象 使用MySQL客户端连接Doris数据库时报错: ERROR 2059 (HY000): Authentication plugin 'mysql_clear_password'