检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 数据规划 运行样例程序前,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark
在Linux中调测Impala JDBC应用 在运行调测环境上创建一个目录作为运行目录,如“/opt/impala_examples”(Linux环境),并在该目录下创建子目录“conf”。 执行mvn package ,在工程target目录下获取jar包,比如: impala-examples-mrs-2
在Linux中调测Impala JDBC应用 在运行调测环境上创建一个目录作为运行目录,如“/opt/impala_examples”,并在该目录下创建子目录“conf”。 执行mvn package,在样例工程target目录下获取jar包,比如: impala-examples-mrs-2
spark-sql退出时打印RejectedExecutionException异常栈 问题 执行大数据量的Spark任务(如2T的TPCDS测试套),任务运行成功后,在spark-sql退出时概率性出现RejectedExecutionException的异常栈信息,相关日志如下所示:
Set Digest函数 概述 HetuEngine提供了几个处理MinHash技术的函数。 MinHash用于估计两个集合的Jaccard相似系数。它通常用于数据挖掘,用于大规模检测近乎相同的网页。通过使用这些信息,搜索引擎有效地避免了在搜索结果中显示两个几乎相同的网页。 以下示例展示了如何使用Set
Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问安全模式集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错“ERROR
经验总结 使用mapPartitions,按每个分区计算结果 如果每条记录的开销太大,例: rdd.map{x=>conn=getDBConn;conn.write(x.toString);conn.close} 则可以使用MapPartitions,按每个分区计算结果,如: rdd
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
未安装HBase时Hive on Spark任务卡顿如何处理 操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后,在未安装HBase的环境执行Hive on Spark任务时,可避免任务卡顿。 Hive on Spark任务的Spark内核版本已经升级到Spark2x
比较函数和运算符 比较操作 操作 描述 < 小于 > 大于 <= 小于等于 >= 大于等于 = 等于 <> 不等于 != 不等于 范围比较:between between适用于值在一个特定的范围内,如:value BETWEEN min AND max Not between适用于值不在某个特定范围内。
Spark client CLI介绍 Spark CLI详细的使用方法参考官方网站的描述:http://archive.apache.org/dist/spark/docs/3.3.1/quick-start.html。 常用CLI Spark常用的CLI如下所示: spark-shell
向动态分区表中插入数据时,在重试的task中出现"Failed to CREATE_FILE"异常 问题 向动态分区表中插入数据时,shuffle过程中大面积shuffle文件损坏(磁盘掉线、节点故障等)后,为什么会在重试的task中出现"Failed to CREATE_FILE"异常?
Hive同步数据报错HoodieHiveSyncException 问题 Hive同步数据时报错: com.uber.hoodie.hive.HoodieHiveSyncException: Could not convert field Type from <type1> to
Sqoop常见问题 报错找不到QueryProvider类 使用hcatalog方式同步数据,报错getHiveClient方法不存在 连接postgresql或者gaussdb时报错 使用hive-table方式同步数据到obs上的hive表报错 使用hive-table方式同
使用HDFS HDFS文件系统目录简介 HDFS用户权限管理 HDFS客户端使用实践 快速使用Hadoop 配置HDFS文件回收站机制 配置HDFS DataNode数据均衡 配置HDFS DiskBalancer磁盘均衡 配置HDFS Mover命令迁移数据 配置HDFS文件目录标签策略(NodeLabel)
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功
回滚补丁前检查 卸载补丁前需要手动进行相关检查。 检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。
获取回收站策略 功能介绍 获取回收站策略 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/recycle-bin 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 参数解释: 项目编号。获取方法,请参见获取项目ID。
Flink Join样例程序开发思路 场景说明 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程序实现功
Flink Stream SQL Join应用开发思路 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。 基于某些业务要求,开发的Flink应用程