检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
polygon连接查询 IN_POLYGON_JOIN(GEO_HASH_INDEX_COLUMN, POLYGON_COLUMN) 两张表做join查询,一张表为空间数据表(有经纬度列和GeoHashIndex列),另一张表为维度表,保存polygon数据。 查询使用IN_POLYGON_JOIN
backup_20220222222222'); 注意事项 命令只清理无效的parquet文件。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi CALL COMMAND语法说明
Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。 StreamingQuery query = wordCounts.writeStream() .outputMode("complete")
打开配置文件“${BIGDATA_HOME}/FusionInsight_Current/*HiveServer/etc/hivemetastore-site.xml”,查找配置项“javax.jdo.option.ConnectionURL”,复制配置项值。 登录Manager页面,选择“集群 > 服务 > Hive
0-SNAPSHOT-jar-with-dependencies.jar 以上Jar包名称仅供参考,具体名称以实际生成为主。 在命令行终端查看样例代码中的HQL所查询出的结果,运行成功会显示如下信息: Create table success! _c0 0 Delete table success
务量大小设置对应的句柄数,建议不要给太小的值。如果用户需要对HBase和HDFS操作,建议设置较大的值,例如“32768”。 使用如下命令查看某一用户的句柄数限制。 su - user_name ulimit -n 界面会返回此用户的句柄数限制值。如下所示: 8194 父主题: 使用HDFS
SparkScript:提交SparkScript脚本,批量执行Spark SQL语句。 Spark SQL:使用Spark提供的类似SQL的Spark SQL语句,实时查询和分析用户数据。 Hive:建立在Hadoop基础上的开源的数据仓库。MRS支持提交HiveScript脚本和直接执行Hive SQL语句。
Encoders.STRING()).groupBy("value").count(); //开始运行将运行计数打印到控制台的查询。 StreamingQuery query = wordCounts.writeStream() .outputMode("complete")
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”与“Netty
compress"="ZSTD_JNI", 'orc.global.compress.level'='3'); 用户可以对特定的数据格式列指定压缩,对业务数据进一步压缩。当前识别的特定格式数据包括:JSON数据列、BASE64数据列、时间戳数据列和UUID数据列。建表时设置表属性参数“orc.column.compress”即可。
0-SNAPSHOT-jar-with-dependencies.jar 以上Jar包名称仅供参考,具体名称以实际生成为主。 在命令行终端查看样例代码中的HQL所查询出的结果,运行成功会显示如下信息: Create table success! _c0 0 Delete table success
0-SNAPSHOT-jar-with-dependencies.jar 以上Jar包名称仅供参考,具体名称以实际生成为主。 在命令行终端查看样例代码中的HQL所查询出的结果,运行成功会显示如下信息: Create table success! _c0 0 Delete table success
务量大小设置对应的句柄数,建议不要给太小的值。如果用户需要对HBase和HDFS操作,建议设置较大的值,例如“32768”。 使用如下命令查看某一用户的句柄数限制。 su - user_name ulimit -n 界面会返回此用户的句柄数限制值。如下所示: 8194 父主题: 使用HDFS
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql
如何在CarbonData中配置非安全内存? 问题 如何在CarbonData中配置非安全内存? 回答 在Spark配置中,“spark.yarn.executor.memoryOverhead”参数的值应大于CarbonData配置参数“sort.inmemory.size.inmb”
行,也可以将程序编译为Jar包后,提交到Linux节点上运行。 开发Kafka应用 编译与运行程序 指导用户将开发好的程序编译并提交运行并查看结果。 调测Kafka应用 父主题: Kafka开发指南(安全模式)
doop/lib/* com.huawei.bigdata.hive.example.ExampleMain 在命令行终端查看样例代码中的HiveQL所查询出的结果。 Linux环境运行成功结果会有如下信息。 Create table success! _c0 0 Delete table
此时请将“yarn.timeline-service.generic-application-history.enabled”(客户端查询app任务数据时是否从TimelineServer服务获取)参数设置为“false”,直接从ResourceManager上面获取app任务数据。
Storm与其他组件的关系 Storm,提供实时的分布式计算框架,它可以从数据源(如Kafka、TCP连接等)中获得实时消息数据,在实时平台上完成高吞吐、低延迟的实时计算,并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示: 图1 组件关系图 Storm和Streaming的关系
群的名称 > Hive > Hive读写权限”,根据不同任务场景,勾选不同权限,单击“确定”保存。 说明: 在默认数据库中,查询其他用户表的权限:勾选“查询”。 在默认数据库中,导入数据到其他用户表的权限:勾选“删除”和“插入”。 Flink 在“配置资源权限”的表格中选择“待操作集群的名称