检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Combine output records=6 Reduce input groups=3 Reduce shuffle bytes=114 Reduce input records=6 Reduce output records=2 Spilled Records=12 Shuffled Maps
Spark JDBCServer接口介绍 简介 JDBCServer是Hive中的HiveServer2的另外一个实现，它底层使用了Spark SQL来处理SQL语句，从而比Hive拥有更高的性能。 JDBCServer是一个JDBC接口，用户可以通过JDBC连接JDBCServ
、 脚本日志和审计日志。运行日志每个文件最大20M，最多20个。审计日志每个文件最大20M，最多20个。 “oozie.log”日志每小时生成一个日志压缩文件，默认保留720个（一个月的日志）。 表1 Oozie日志列表 日志类型 日志文件名 描述 运行日志 jetty.log
、 脚本日志和审计日志。运行日志每个文件最大20M，最多20个。审计日志每个文件最大20M，最多20个。 “oozie.log”日志每小时生成一个日志压缩文件，默认保留720个（一个月的日志）。 表1 Oozie日志列表 日志类型 日志文件名 描述 运行日志 jetty.log
配置FlinkServer作业重启策略 FlinkServer作业重启策略介绍 Flink支持不同的重启策略，以在发生故障时控制作业是否重启以及如何重启。如果不指定重启策略，集群会使用默认的重启策略。用户也可以在提交作业时指定一个重启策略，可参考如何创建FlinkServer作业在作业开发界面配置（MRS
调测Presto应用 JDBC客户端运行及结果查看 执行mvn clean compile assembly:single生成jar包，在工程目录target目录下获取，比如:presto-examples-1.0-SNAPSHOT-jar-with-dependencies.jar。
在以下场景中，INSERT INTO CARBON TABLE命令会失败： 当源表和目标表的列数据类型不同时，源表中的数据将被视为Bad Records，则INSERT INTO命令会失败。 源列上的aggregartion函数的结果超过目标列的最大范围，则INSERT INTO命令会失败。
conf的所在路径，例如“./user.keytab”。principal修改为自己创建的用户名及集群域名。 开发思路 接收Kafka中数据，生成相应DStream。 对单词记录进行分类统计。 计算结果，并进行打印。 父主题： Spark Streaming对接kafka0-10程序
val paraTool = ParameterTool.fromArgs(args) // 构造流图，将自定义Source生成的数据写入Kafka val messageStream: DataStream[String] = env.addSource(new
Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 运行样例程序前，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark
添加MRS SQL防御规则 MRS SQL防御场景 用户可以在Manager界面对指定的租户及SQL引擎添加SQL防御规则，系统会对触发规则的SQL请求进行提示、拦截或阻断操作。 为集群添加或者修改SQL防御规则时需结合业务场景进行规则是否开启以及对应规则阈值是否合理的评估，不合
查询含有冻结数据的表 查询当前数据库下的所有冻结表： show frozen tables; 查询指定数据库下的所有冻结表： show frozen tables in 数据库名称; 查询冻结表的冻结分区 查询冷冻分区： show frozen partitions 表名; 默认元数据库冻结分区类型
不支持为表创建索引时自定义索引的其他属性，例如，压缩方式、BLOCKSIZE、列编码等。 索引写入约束 索引数据生成仅支持Put/Delete接口，使用其他方式（Increment、Append、Bulkload等）写入数据表时不会生成对应索引。 索引列数据定义为String类型时，要避免写入\x00和\x01两个特殊字符（特殊不可见字符）。
N节点。 hdfs diskbalancer -plan <Hostname| IP Address> 此条命令可以根据传入的DataNode生成一个Json文件，该文件包含了数据移动的源磁盘、目标磁盘、待移动的块等信息。同时，该命令还支持指定一些其他网络带宽参数等。 hdfs diskbalancer
Hive数据文件权限，即HDFS文件权限。 Hive的数据库、表对应的文件保存在HDFS中。默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。系统自动以数据库名称和数据库中表的名称创建子目录。访问数据库或者表，需要在HDFS中拥有对应文件的权限，包含“读”、“写”和“执行”权限。
Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select
Hive SQL逻辑优化 操作场景 在Hive上执行SQL语句查询时，如果语句中存在“(a&b) or (a&c)”逻辑时，建议将逻辑改为“a & (b or c)”。 样例 假设条件a为“p_partkey = l_partkey”，优化前样例如下所示： select
在普通模式下使用HCatalog客户端，系统将以当前登录操作系统用户来执行DDL命令。 退出beeline客户端时请使用!q命令，不要使用“Ctrl + c”。否则会导致连接生成的临时文件无法删除，长期会累积产生大量的垃圾文件。 在使用beeline客户端时，如果需要在一行中输入多条语句，语句之间以“;”分隔，需要
息”章节。 拓扑提交成功后，可以向Kafka中发送数据，观察是否有相关信息生成。 在Linux系统中进入Kafka客户端所在目录，在Kafka/kafka/bin目录下启动consumer观察数据是否生成。执行命令： ./kafka-console-consumer.sh --bootstrap-server
”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 MRS 3.3.0及之后版本，登录FusionInsight Manager页面，在“主页”右上方单击“下载客户端”，“选择客户端类型”设置为“仅配置文件”，单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
