检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
指定表的存储格式为TEXTFILE. STORED AS TEXTFILE; 扩展应用 创建分区表 一个表可以拥有一个或者多个分区,每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询,可缩小查询范围,加快数据的检索速度和可对数据按照一定的条件进行管理。 分区是在创建表的时候用PARTITIONED
过阈值的告警,也可能会导致业务性能下降。 当提交修改RSGroup请求产生大量region转移任务时,如果进行相关RSGroup操作会面临失败。需先观察WebUI页面的region转移情况,等待转移任务结束后再进行后续操作。 配置RSGroup 创建RSGroup 在FusionInsight
过阈值的告警,也可能会导致业务性能下降。 当提交修改RSGroup请求产生大量Region转移任务时,如果进行相关RSGroup操作会面临失败。需先观察WebUI页面的Region转移情况,等待转移任务结束后再进行后续操作。 配置RSGroup 创建RSGroup 在FusionInsight
(此日志文件大小可进行配置),会自动压缩,压缩后的日志文件名规则为:“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。 表1 Hive日志列表 日志类型 日志文件名 描述
示例:执行下面SQL语句,a表倾斜或b表倾斜都无法触发该优化。 select aid FROM a FULL OUTER JOIN b ON aid=bid; 不支持LEFT OUTER JOIN的右表倾斜处理。 示例:执行下面SQL语句,b表倾斜无法触发该优化。 select aid FROM
TABLE CarbonDatabase.CarbonTable WHERE SEGMENT.ID IN (0,5,8); 系统响应 操作成功或失败会在CarbonData日志中被记录。 父主题: DML
TABLE CarbonDatabase.CarbonTable WHERE SEGMENT.ID IN (0,5,8); 系统响应 操作成功或失败会在CarbonData日志中被记录。 父主题: CarbonData语法参考
使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt,发现能连上Oracle数据库,但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm
多主实例模式相比主备模式的HA方案,优势主要体现在对以下两种场景的改进。 主备模式下,当发生主备切换时,会存在一段时间内服务不可用,该时间JDBCServer无法控制,取决于Yarn服务的资源情况。 Spark中通过类似于HiveServer2的Thrift JDBC提供服务,用户通过Beeline
ift-example”为ThriftServer实例服务的调用实现。 前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备连接HBase集群配置文件。 配置样例代码 代码认证 以下代码在“hbase-thrift-example”样例工程的“com.huawei
将样例工程中的“hbase-python-example”文件夹上传到集群Master节点的“/opt/hbase-examples”下,并上传从准备HBase应用开发用户中获取的认证文件至该目录下。 在“/opt/hbase-examples”新建hbasepython.properties文件,并修改配置内容如下。
jks –keypass <password> 其中,<ca.crt_path>为拷贝的ca.crt文件路径,<keystore_path>为truststore.jks文件生成路径,<password>为truststore密码,可根据需要指定。命令中如果携带认证密码信息可能
} [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。 “login”方法中的参数“java
an。 clean_hours_retained clean保留多长时间内的数据文件。 否,默认24小时。 clean_commits_retained clean保留多少commits写的数据文件。 否,默认10。 archive_policy archive使用的执行策略。 否,默认使用时间策略。
为什么Driver进程不能退出 问题 运行Spark Streaming任务,然后使用yarn application -kill applicationID命令停止任务,为什么Driver进程不能退出? 回答 使用yarn application -kill applicati
name”的参数值可在安装了Kafka客户端的节点的“客户端安装目录/Kafka/kafka/config”目录下的“server.properties”文件中,搜索“sasl.kerberos.service.name”、“security.protocol”或“kerberos.domain
MRS集群互信概述 功能介绍 默认情况下,安全模式下的大数据集群用户只能访问本集群中的资源,无法在其他安全模式集群中进行身份认证并访问资源。 集群互信概念介绍 域 每个系统用户安全使用的范围定义为“域”,不同的Manager系统需要定义唯一的域名。跨Manager访问实际上就是用户跨域使用。
当列字段中的值过期时,ClickHouse会将其替换成数据类型的默认值。如果分区内,某一列的所有值均已过期,则ClickHouse会从文件系统中删除这个分区目录下的列文件。当表内的数据过期时,ClickHouse会删除所有对应的行。 在列上配置TTL: CREATE TABLE default
x环境已安装的集群客户端进行认证,样例工程代码不涉及安全认证。 前提条件 已获取样例工程代码以及运行所需的配置文件及认证文件,详细操作请参见准备连接Hive集群配置文件。 配置安全登录 安全认证主要采用代码认证方式,支持Oracle JAVA平台和IBM JAVA平台。 以下代码
否,存在数据处理慢问题,联系运维人员。 否,执行7。 单击该作业所在行的“运行异常”或“已失败”链接,根据弹出界面的报错信息进行故障修复。 按照任务报错信息处理完成后,重新运行作业,查看是否可以运行成功。 是,任务运行成功,处理完毕。 否,任务运行失败,执行7。 收集故障信息。 在FusionInsight Manager界面,选择“运维