检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC,RCFile,TextFi
好的维护集群。当您需要对集群进行巡检时,请通过该功能授权后,联系运维人员进行巡检并获取巡检结果。MRS支持的所有巡检脚本见界面中的巡检脚本列表,MRS目前仅支持证书检测脚本,用来检查集群中的证书是否过期。 开启巡检授权 登录MRS控制台。 单击集群名称进入集群详情页面。 选择“巡检授权”页签。
Gaussdb用户证书等)剩余有效期小于30天。 处理步骤 查看告警原因。 打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的。 查看“附加信息”,获取告警附加信息。 告警附加信息中显示“CA Certificate”,以omm用户登录主OMS管理节点,执行2。
--bootstrap-server Kafka集群IP:21007 --command-config ../config/client.properties 罗列主题: ./kafka-topics.sh --list --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka
Hive表的HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错 问题 Hive表HDFS数据目录被误删,但是元数据仍然存在,导致执行任务报错。 回答 这是一种误操作的异常情况,需要手动删除对应表的元数据后重试。 例如: 执行以下命令进入控制台: source ${BIG
磁盘或者节点隔离状态超过慢盘处理超时配置时间。 处理步骤 检查慢盘处理超时原因。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在告警列表中展开此告警的详细信息,查看并记录告警上报的主机或磁盘信息。 以root用户登录主OMS节点,执行以下命令查看controller日志中慢
读取Hudi cow表视图 实时视图读取(Hive,SparkSQL为例):直接读取Hive里面存储的Hudi表即可,${table_name}表示表名称。 select count(*) from ${table_name}; 实时视图读取(Spark dataSource A
策略允许条件,配置本策略内允许的权限及例外,例外条件优先级高于正常条件。 在“Select Role”、“Select Group”、“Select User”列选择已创建好的需要授予权限的Role、用户组或用户。 单击“Add Conditions”,添加策略适用的IP地址范围,单击“Add Permissions”,添加对应权限。
properties --max-life-time-period -1 --renewer-principal User:username 列出归属在特定用户下的所有Token信息: ./kafka-delegation-tokens.sh --describe --bootstrap-server
properties --max-life-time-period -1 --renewer-principal User:username 列出归属在特定用户下的所有Token信息: ./kafka-delegation-tokens.sh --describe --bootstrap-server
Spark应用开发流程介绍 Spark应用程序开发流程 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件,其应用开发流程都是相同的。 开发流程中各阶段的说明如图1和表1所示。 图1 Spark应用程序开发流程 表1 Spark应用开发的流程说明
逻辑运算符 逻辑运算符 操作 描述 例子 AND 两个值都为true,则为true a AND b OR 两个值其中一个为true,则为true a OR b NOT 值为false,结果则为true NOT a 以下真值表反映了AND和OR如何处理NULL值: a b a AND
Hive应用开发样例工程介绍 MRS样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Hive相关样例工程:
Hive支持ZSTD压缩格式 ZSTD(全称为Zstandard)是一种开源的无损数据压缩算法,其压缩性能和压缩比均优于当前Hadoop支持的其他压缩格式,本特性使得Hive支持ZSTD压缩格式的表。Hive支持基于ZSTD压缩的存储格式有常见的ORC、RCFile、TextFi
在Beeline/JDBCServer模式下连续运行10T的TPCDS测试套会出现内存不足的现象 问题 在Driver内存配置为10G时,Beeline/JDBCServer模式下连续运行10T的TPCDS测试套,会出现因为Driver内存不足导致SQL语句执行失败的现象。 回答
hive conn = hive.Connection(host=JDBCServerHost, port=JDBCServerPort,database='default') cursor=conn.cursor() cursor.execute("select * from test")
能上比Java UDF更好。 使用示例 以下为复用lower()函数的示例。 [localhost:21000] > create database udfs; [localhost:21000] > use udfs; [localhost:21000] > create function
能上比Java UDF更好。 使用示例 以下为复用lower()函数的示例。 [localhost:21000] > create database udfs; [localhost:21000] > use udfs; [localhost:21000] > create function
复制解压目录下的“hosts”文件中的内容到本地hosts文件中。 在应用开发过程中,如需在本地Windows系统中调测应用程序,需要确保本地节点能与“hosts”文件中所列出的各主机在网络上互通。 如果当前节点与MRS集群所在网络平面不互通,可以通过绑定EIP的方式访问MRS集群,具体操作请参考配置Windows通过EIP访问普通模式集群Hive。
LIMIT | FETCH FIRST LIMIT和FETCH FIRST都可以限制结果集中的行数。Limit和offset可以配合使用进行分页查询。 LIMIT LIMIT { count | ALL } 下面的查询限制返回的行数为5: SELECT * FROM fruit LIMIT