检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
partition=true; set hive.exec.dynamic.partition.mode=nonstrict; 执行以下命令创建一个临时表,用于存储去重后的数据: CREATE TABLE temp_user_data AS SELECT * FROM ( SELECT *, ROW_NUMBER()
数据导入至HDFS的操作。 登录MRS管理控制台。 单击集群名称进入集群详情页面。 单击“文件管理”,选择“HDFS文件列表”。 进入数据存储目录,如“bd_app1”。 “bd_app1”目录仅为示例,可以是界面上的任何目录,也可以通过“新建”创建新的目录。 单击“导入数据”,
先使用kinit命令获取kerberos认证的缓存。 使用准备集群认证用户信息中创建的开发用户执行以下命令运行客户端程序: kinit -kt keytab的存储路径 username cd python3-examples python3 pyCLI_sec.py 在命令行终端查看样例代码中的HQL所查询出的结果。例如:
执行以下命令创建目的表t2: create table t2(col1 int,col2 int); 本样例工程中创建的表使用Hive默认的存储格式,暂不支持指定存储格式为ORC的表。 使用Yarn客户端提交任务。 yarn --config $HADOOP_HOME/etc/hadoop jar
loadBalancerHttpsPort=21426 CLICKHOUSE_SECURITY_ENABLED=true user= #密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 password= clusterName=default_cluster
subscribe(java.util.Collection<java.lang.String> topics) Topic订阅接口方法。 ConsumerRecords<K,V> poll(final Duration timeout) 请求获取消息接口方法。 父主题: Kafka常用API介绍
insertRecord(); insertTablet(); insertTablets(); insertRecords(); nonQuery(); query(); queryWithTimeout(); rawDataQuery();
loadBalancerHttpsPort=21426 CLICKHOUSE_SECURITY_ENABLED=true user= #密码明文存储存在安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全 password= clusterName=default_cluster
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 请确保集群允许root登录,并且所有节点的root密码一致。
权限,对此文件的目录有读、执行权限。 文件的owner需要为执行命令的用户。 当前用户需要对该文件有读、写权限。 要求文件的格式与表指定的存储格式相同。如创建表时指定stored as rcfile,但是文件格式为txt,则不符合要求。 文件名不能以下横线(_)或点(.)开头,以这些开头的文件会被忽略。
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。 当“状态”显示为“卸载失败”时,在“失败任务”中查看错误提示信息,查找相应日志来定位处理。
切换MRS集群VPC子网 MRS支持当子网IP不足时,切换子网到当前集群相同VPC下的其他子网,实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 如需对网络ACL出规则进行配置请参考如何配置网络ACL出规则?。 未关联网络ACL时切换子网 登录MRS管理控制台。
提升写数据性能。但是由于提前关闭了文件,可能在读取数据的时候由于块找不到或者NameNode元数据中记录的数据块信息和DataNode中存储的真实副本不一致而失败。因此该特性不适用于写完数据即读的场景,请结合业务场景谨慎使用该特性。 该功能适用于MRS 3.2.0-LTS.1及之后版本。
version 1.1.0 by Apache Hive (可选)通过beeline -help命令查看关于客户端显示的设置。如下: -u <database url> the JDBC URL to connect to -n <username>
mutations system.processes system.metrics system.part_moves_between_shards system.replicas system.replicated_fetches system.replication_queue 一键转储系统表日志
执行以下命令创建目的表t2: create table t2(col1 int,col2 int); 本样例工程中创建的表使用Hive默认的存储格式,暂不支持指定存储格式为ORC的表。 执行以下命令使用Yarn客户端提交任务: yarn --config $HADOOP_HOME/etc/hadoop
执行以下命令创建目的表t2: create table t2(col1 int,col2 int); 本样例工程中创建的表使用Hive默认的存储格式,暂不支持指定存储格式为ORC的表。 执行以下命令使用Yarn客户端提交任务: yarn --config $HADOOP_HOME/etc/hadoop
Hive客户端执行SQL报错连接超时 WebHCat健康状态异常导致启动失败 mapred-default.xml文件解析异常导致WebHCat启动失败 Hive元数据使用RDS时创建视图表中文乱码 MetaStore动态分区数超出阈值导致SQL报错
录的生命周期策略,以定时自动清理相关数据。 配置集群使用存算分离方案后,必须参考本章节内容配置相关目录的生命周期策略,否则会有存储空间被占满以及增加存储资源费用的风险,关于OBS更多计费说明请参考OBS计费概述。 由于回收站目录是以用户维度进行创建,当MRS集群内新创建了用户且该
备份IoTDB业务数据 操作场景 为了确保IoTDB日常数据安全,或者系统管理员需要对IoTDB进行重大操作(如升级或迁移等),需要对IoTDB业务数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。 系统管理员可以通过FusionInsight