检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中调测Spark应用。
Flink应用开发常见问题 Flink常用API介绍 如何处理用户在使用chrome浏览器时无法显示任务状态的title 如何处理IE10/11页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.
时间过长 MapReduce任务长时间无进展 为什么运行任务时客户端不可用 在缓存中找不到HDFS_DELEGATION_TOKEN如何处理 如何在提交MapReduce任务时设置任务优先级 MapReduce任务运行失败,ApplicationMaster出现物理内存溢出异常
Oozie常见问题 Oozie定时任务没有准时运行如何处理 HDFS上更新了oozie的share lib目录但没有生效 Oozie作业执行失败常用排查手段 父主题: 使用Oozie
Ranger常见问题 如何判断某个服务是否使用了Ranger鉴权 为什么新创建用户修改完密码后无法登录Ranger 父主题: 使用Ranger
CDL常见问题 为什么CDL任务执行后Hudi中没有接收到数据 MySQL链路任务启动时如何从指定位置抓取数据 为什么在Ranger中删除用户权限后,该用户仍能够操作自己创建的任务 父主题: 使用CDL
MRS Fastjson漏洞修复指导 简介 影响范围 修复Manager Web 修复Manager Controller 修复Manager nodeagent 修复Kafka 修复Flink 父主题: 漏洞公告
用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x sparkResource的安装目录(这个集群安装过程
创建Hive表 功能介绍 本小节介绍了如何使用HQL创建内部表、外部表的基本操作。创建表主要有以下三种方式: 自定义表结构,以关键字EXTERNAL区分创建内部表和外部表。 内部表,如果对数据的处理都由Hive完成,则应该使用内部表。在删除内部表时,元数据和数据一起被删除。 外部
用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本,如何让spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端spark2x sparkResource的安装目录(这个集群安装过程
图解MapReduce服务
第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置,您也可以根据需要修改此扣款日,如到期前6日、到期前5日等。 本章节主要介绍如何开通包年/包月MRS集群的自动续费功能,更多自动续费相关操作请参见自动续费。 前提条件 请确认包年/包月MRS集群还未到期。 在购买MRS集群页面开通自动续费
CarbonData常见问题 为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出? 如何避免对历史数据进行minor compaction? 如何在CarbonData数据加载时修改默认的组名? 为什么INSERT INTO CARBON TABLE失败? 为什么含转义字符的输入数据记录到Bad
简介 问题描述 Fastjson披露存在一处反序列化远程代码执行漏洞,漏洞影响所有1.2.80及以下版本,成功利用漏洞可绕过autoType限制,实现远程任意执行代码。 影响风险 存在漏洞的业务被攻击时,将可能导致攻击者远程在业务平台中执行任意代码。 预防与建议 在产品未发布对应
为什么ZooKeeper Server出现java.io.IOException: Len的错误日志 为什么ZooKeeper节点上netcat命令无法正常运行 如何查看哪个ZooKeeper实例是leader 使用IBM JDK时客户端无法连接ZooKeeper ZooKeeper客户端刷新TGT失败
conf文件路径需要修改为该文件所在客户端服务器的实际路径。 运行Python样例代码无需通过Maven打包,只需要上传user.keytab、krb5.conf 文件到客户端所在服务器上。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“ /opt/example/”
用户自己写的jar包(例如自定义udf包)区分x86和TaiShan版本,如何让Spark2x支持其正常运行。 回答 第三方jar包(例如自定义udf)区分x86和TaiShan版本时,混合使用方案: 进入到服务端Spark2x SparkResource的安装目录(集群安装时,Sp
HBase应用开发常见问题 Phoenix SQL查询样例介绍 HBase对外接口介绍 如何配置HBase双读功能 Phoenix命令行操作介绍 运行HBase应用开发程序产生ServerRpcControllerFactory异常如何处理 Bulkload和Put应用场景有哪些 install构建HBase
Spark应用开发常见问题 Spark接口介绍 Spark应用调优 如何添加自定义代码的依赖包 如何处理自动加载的依赖包 运行SparkStreamingKafka样例工程时报“类不存在”问题 执行Spark Core应用,尝试收集大量数据到Driver端,当Driver端内存不足时,应用挂起不退出
使用Spark执行Hudi样例程序开发思路 场景说明 本章节介绍如何使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考