检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
选择“集群 > 服务 > Yarn”,单击“ResourceManager Web UI”后的超链接进入Yarn WebUI界面,在任务列表中单击该任务ID,单击“Logs”,报错当前用户无权限创建表,具体报错如下: org.apache.hadoop.hive.ql.security
'[file_versions_retained]'); 参数描述 表1 参数描述 参数 描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 clean_policy 清理老版本数据文件的策略,默认KEEP_LATEST_COMMITS 否 retain_commits
元数据导入MRS集群DBService。 $Sqoop_Home/bin/sqoop export --connect jdbc:postgresql://<ip>:20051/hivemeta --table <table_name> --username hive -password
WebUI”右侧,单击链接,访问Flink的WebUI。 单击“作业管理”进入作业管理页面。 找到待调优的并处于非运行中的作业,在“操作”列单击“开发”进入作业开发界面。 在作业开发界面的“自定义参数”项中,添加如下参数并保存。 开启RocksDB监测 表1 RocksDB监测配置
session.timeout.ms之间。 以上参数可以根据实际情况进行适当的调整,特别是max.poll.records,这个参数是为了控制每次poll数据的records量,保证每次的处理时长尽量保持稳定。目的是为了保证poll数据以后的处理时间不要超过session.timeout
进入解压文件夹,即“MRS_HDFS_ClientConfig”,执行下列命令安装客户端。 sh install.sh /opt/client 其中“/opt/client”为用户自定义路径,此处仅为举例。 进入客户端安装目录“/opt/client”,执行下列命令初始化环境变量。 source bigdata_env
time的详细内容。 命令格式 查看某个表生效的time line列表: call show_active_instant_list(table => '[table_name]'); 查看某个表某个时间戳后的生效的time line列表: call show_active_instant_list(table
命周期策略,以定时自动清理相关数据。 配置集群使用存算分离方案后,必须参考本章节内容配置相关目录的生命周期策略,否则会有存储空间被占满以及增加存储资源费用的风险,关于OBS更多计费说明请参考OBS计费概述。 由于回收站目录是以用户维度进行创建,当MRS集群内新创建了用户且该用户具
xml。 262144 Client 数据节点从HDFS客户端接收数据包,然后将数据包里的数据单线程写入磁盘。当磁盘处于并发写入状态时,增加数据包的大小可以减少磁盘寻道时间,从而提升IO性能。 dfs.client-write-packet-size = 262144 父主题:
encode.classname'='encode_classname')]...; 创建一个hive表,并指定表的加密列和加密算法。详细说明请参见使用Hive列加密功能。 create table encode_test(id INT, name STRING, phone STRING
创建CarbonData table之后,可以从CSV文件加载数据到所创建的表中。 用所要求的参数运行以下命令从CSV文件加载数据。该表的列名需要与CSV文件的列名匹配。 LOAD DATA inpath 'hdfs://hacluster/data/test.csv' into table
创建CarbonData table之后,可以从CSV文件加载数据到所创建的表中。 用所要求的参数运行以下命令从CSV文件加载数据。该表的列名需要与CSV文件的列名匹配。 LOAD DATA inpath 'hdfs://hacluster/data/test.csv' into table
int hiveValue = table1List.get(i).getInt(1); // 根据列簇和列,获取hbase值 String hbaseValue = Bytes.toString(resultData.getValue(columnFamily
数据实时写入HBase,用于点查业务,数据每隔一段时间批量同步到CarbonData表中,用于分析型查询业务。 数据规划 创建HBase表,构造数据,列需要包含key,modify_time,valid。其中每条数据key值全表唯一,modify_time代表修改时间,valid代表是否为有
件可能丢失了hivemeta的配置。 org.postgresql.util.PSQLException: FATAL: no pg_hba.conf entry for host "192.168.0.146", database "HIVEMETA"。 编辑“/srv/Big
(JDBCServer2x)”阈值的比值。若参数值调整后,仍偶现告警,可以按0.5倍速率调大。若频繁出现告警,可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。 在FusionInsight Manager首页,选择“运维 > 告警 > 阈值设置 > Spark2x > 内存 > JDBCServer2x堆内存使用率统计
5倍速率调大。若频繁出现告警,可以按1倍速率调大。建议不要超过“SPARK_DRIVER_MEMORY”的参数值。多业务量、高并发的情况可以考虑增加实例。 在FusionInsight Manager首页,选择“运维 > 告警 > 阈值设置 > Spark2x > 内存 > JDBCServer2x直接内存使用率统计
SELECT name FROM MY_TABLE; CREATE SEQUENCE 创建序列。 CREATE SEQUENCE MY_SEQUENCE; DROP SEQUENCE 删除序列。 DROP SEQUENCE MY_SEQUENCE; CREATE VIEW 创建视图。
Client主要包括三种方式:Java API、Shell、HTTP REST API。 Java API 提供Alluxio文件系统的应用接口,本开发指南主要介绍如何使用Java API进行Alluxio客户端的开发。 Shell 提供shell命令完成Alluxio文件系统的基本操作。 HTTP REST
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {