检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hive CBO功能优化多表查询效率 操作场景 在Hive中执行多表Join时,Hive支持开启CBO(Cost Based Optimization),系统会自动根据表的统计信息,例如数据量、文件数等,选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
scala) 通过Manager查看Kafka服务是否处于正常状态。 检查客户端命令中ZooKeeper地址是否正确,访问ZooKeeper上所存放的Kafka信息,其路径(Znode)应该加上/kafka,发现配置中缺少/kafka: [root@10-10-144-2 client]#
执行该SQL脚本时,因为临时表在上一次执行时已被删除,则会导致删除临时表的子任务之前用到该临时表的子任务(不包括创建该临时表的子任务,因为上一次已经执行成功,本次不会再执行,仅可编译)编译失败。这种情况下,建议使用新的batchid执行脚本。 参数说明: zk.cleanup.finished
执行该SQL脚本时,因为临时表在上一次执行时已被删除,则会导致删除临时表的子任务之前用到该临时表的子任务(不包括创建该临时表的子任务,因为上一次已经执行成功,本次不会再执行,仅可编译)编译失败。这种情况下,建议使用新的batchid执行脚本。 参数说明: zk.cleanup.finished
开发用户对应的密码。 密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 说明: 如果是在Manager上新建的用户,首次使用前需要修改初始密码。 useTransaction true 是否使用事务,参数值修改为true。 如果配置为true,则sql语句使用事务。
开发用户对应的密码。 密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 说明: 如果是在Manager上新建的用户,首次使用前需要修改初始密码。 useTransaction true 是否使用事务,参数值修改为true。 如果配置为true,则sql语句使用事务。
org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/WebHDFS.html。 准备运行环境 安装客户端。在节点上安装客户端,如安装到“/opt/client”目录,可安装方法可参考《MapReduce服务用户指南》的“客户端管理”章节。 确认服务端HDFS组件已经安装,并正常运行。
机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。 父主题: 准备Kudu应用开发环境
开发思路 查询Hive person表的数据。 根据person表数据的key值去table2表做查询。 把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 父主题: 从Hive读取数据再写入HBase
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性:可水平扩展,并支持高可用性操作。 前提条件 已安装集群客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性:可水平扩展,并支持高可用性操作。 前提条件 已安装集群客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
开发用户对应的密码。 密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 说明: 如果是在Manager上新建的用户,首次使用前需要修改初始密码。 isMachineUser false 使用机机用户认证时,参数值修改为true。 如果配置为tr
机名信息,如未包含,需要手动复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中,确保本地机器能与集群各主机在网络上互通。 父主题: 准备Kudu应用开发环境
使用Kafka生产消费数据 操作场景 用户可以通过MRS集群客户端完成Kafka Topic的创建、查询、删除等操作,也可以通过登录KafkaUI查看当前集群的消费信息。 前提条件 使用Kafka客户端时:已安装客户端,例如安装目录为“/opt/client”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
el ,命令为: CANCEL LOAD FROM 数据库名称 WHERE LABEL = "Label名称"; 例如:撤销数据库demo上, label为broker_load_2022_03_23的导入作业: CANCEL LOAD FROM demo WHERE LABEL
开发用户对应的密码。 密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 说明: 如果是在Manager上新建的用户,首次使用前需要修改初始密码。 isMachineUser false 使用机机用户认证时,参数值修改为true。 如果配置为tr
使用Hive CBO功能优化查询效率 操作场景 在Hive中执行多表Join时,Hive支持开启CBO(Cost Based Optimization),系统会自动根据表的统计信息,例如数据量、文件数等,选出合适计划提高多表Join的效率。Hive需要先收集表的统计信息后才能使CBO正确的优化。
发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar,只需将样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致,否则将报错:"Python in worker has different
Join操作 Doris支持使用Bucket Shuffle Join对Hudi数据源查询进行加速,当前支持对Hudi所有字段类型及存储在OBS上的Hudi表进行该操作。该功能由session级别变量“enable_hudi_bucket_shuffle” 控制是否启用,默认关闭,可通过连接Doris后执行set
查看HetuEngine实例监控页面 在HetuEngine的WebUI界面,可以查看指定业务的详细信息,包括每个SQL的执行情况。 查看HetuEngine实例监控步骤 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager,选择“集群