检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备Hive应用开发和运行环境 准备开发环境 Hive组件可以使用Java（JDBC和HCatalog）、Python、Python3接口进行应用开发，要准备的开发和运行环境分别如下表所示。 表1 JDBC/Hcatalog开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows7以上版本。
用户使用Python远程连接HDFS的50070端口失败。 原因分析 HDFS开源3.0.0以下版本的默认端口为50070，3.0.0及以上的默认端口为9870。用户使用的端口和HDFS版本不匹配导致连接端口失败。 登录集群的主Master节点。 执行su - omm命令，切换到omm用户。 执行/opt/Bigdata/om-0
选项通常会和-update配合使用，表示将源位置和目标位置的文件同步，删除掉目标位置多余的文件。 -diff <oldSnapshot> <newSnapshot> 将新旧版本之间的差异内容，拷贝到目标位置的旧版本文件中。 -skipcrccheck 是否跳过源文件和目标文件之间的CRC校验。
yaml”中的参数“restart-strategy”指定，为全局配置，还可以在应用代码中动态指定，会覆盖全局配置，重启策略包括失败率（failure-rate）和两种默认策略，默认策略为如下： 无重启（No restart）：若没有启用CheckPoint，默认使用该策略。 固定间隔（fixed-de
MRS可以直接处理OBS中的数据，客户可以基于OBS服务Web界面和OBS客户端对数据进行浏览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。 数据存储在OBS：数据存储和计算分离，集群存储成本低，存储量不受限制，并且集群可以随时删除，但
SQL和DataFrame Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据
SQL和DataFrame Spark SQL ROLLUP和CUBE使用的注意事项 Spark SQL在不同DB都可以显示临时表 如何在Spark命令中指定参数值 SparkSQL建表时的目录权限 为什么不同服务之间互相删除UDF失败 Spark SQL无法查询到Parquet类型的Hive表的新插入数据
Spark作业的Client模式和Cluster模式有什么区别？ 理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念：Application Master。 在YARN中，每个Application实例都有一个ApplicationMaster进程
而，由于语义仅被处理一次，重新处理的结果和没有失败处理的结果是一致的。 因此，Direct API消除了需要使用WAL和Receivers的情况，且确保每个Kafka记录仅被接收一次，这种接收更加高效。使得Spark Streaming和Kafka可以很好地整合在一起。总体来说，
配置YARN-Client和YARN-Cluster不同模式下的环境变量 配置场景 当前，在YARN-Client和YARN-Cluster模式下，两种模式的客户端存在冲突的配置，即当客户端为一种模式的配置时，会导致在另一种模式下提交任务失败。 为避免出现如上情况，添加表1中的配
开发和部署HetuEngine UDF 用户可以自定义一些函数，用于扩展SQL以满足个性化的需求，这类函数称为UDF。 本章节主要介绍开发和应用HetuEngine UDF。 MRS 3.2.1及以后版本，需要基于JDK17.0.4及以上版本开发。本章节以MRS 3.3.0版本为例。
开发和部署HetuEngine UDF 开发和部署HetuEngine Function Plugin 开发和部署对接HetuEngine的Hive UDF 开发和部署HetuEngine UDF 父主题： 使用HetuEngine
SQL和DataFrame调优 Spark SQL join优化 INSERT...SELECT操作调优 父主题： Spark应用调优
加密HFile和WAL内容 缺省情况下，HBase中的HFile和WAL（Write ahead log）内容是不加密的。如果用户需要对其进行加密，可通过该章节操作进行配置。 设置HFile和WAL为SMS4加密或AES加密方式对系统的影响较大，一旦操作失误会导致数据丢失，不推荐使用此功能。
准备Maven和JDK 操作场景 开发环境搭建在Windows环境下。 操作步骤 开发环境安装Eclipse程序，安装要求如下。 Eclipse使用3.0及以上版本。 IntelliJ IDEA使用15.0以上版本。 开发环境安装JDK环境，安装要求如下。 JDK使用1.7或者1
权限策略和授权项 策略及授权项说明
恢复供电后系统能够正常恢复业务，除非硬盘介质损坏，否则关键数据不会丢失。 硬盘亚健康检测和故障处理，对业务不造成实际影响。 自动处理文件系统的故障，自动恢复受影响的业务。 自动处理进程和节点的故障，自动恢复受影响的业务。 自动处理网络故障，自动恢复受影响的业务。 数据备份与恢复
'myvalue1'。 get 获取行的值或者行的指定cell的值。例如get 'test','r1'。 scan 查询表数据，参数中需指定表名和scanner，例如scan 'test'。 父主题： 使用HBase
返回提供的最小值。 批量比较判断：ALL，ANY和SOME 量词ALL，ANY和SOME可以参考以下方式，结合比较操作符一起使用： expression operator quantifier ( subquery ) 以下是一些量词和比较运算符组合的含义，ANY和SOME具有相同的含义，表中的ANY换为SOME也同样：
224268134757361 normal_cdf(mean, sd, v) → double 给定平均值和标准差，计算正态分布函数值。P(N<v;mean,sd)，平均值和v必须是实数值，标准差必须是正实数值。 select normal_cdf(2, 5, 0.95);--
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
