检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive表的Location信息 如果当前数据库Location已指向HDFS,那么在当前数据库下建表(不指定Location)默认也指向当前HDFS。如需修改默认建表策略可以修改数据库的Location重新指向OBS。操作如下: 执行以下命令查看数据库Location。 show create
使用Impala Impala客户端使用实践 访问Impala WebUI界面 使用Impala操作Kudu表 Impala对接外部LDAP Impala启用并配置动态资源池 使用Impala查询管理界面 Impala常见配置参数 Impala常见问题
Reduce input records=6 Reduce output records=2 Spilled Records=12 Shuffled Maps
Reduce input records=6 Reduce output records=2 Spilled Records=12 Shuffled Maps
DESC查询表结构 本章节主要介绍ClickHouse查询表结构的SQL基本语法和使用说明。 基本语法 DESC|DESCRIBE TABLE [database_name.]table [INTO OUTFILE filename] [FORMAT format] 使用示例 查询表t1的表结构:
数据同步参数说明 表1 数据状态同步参数说明 参数 参数说明 数据表 Replicated*MergeTree系列引擎表表名。 所属数据库 数据表所在的数据库。 分片信息 数据表所在的ClickHouse分片。 同步状态 分为以下几种状态。 无数据:当前分片节点上该表没有数据。 已同步
配置好Flink客户端,具体配置参考从零开始使用Flink的步骤1至步骤4。 启动session。 普通集群(未开启Kerberos认证) yarn-session.sh -nm "session-name" -d 安全集群(开启Kerberos认证) “flink.keystore”和“flink.truststore”文件路径为相对路径时:
HBase运维管理 HBase日志介绍 配置Region Transition恢复线程 启用集群间拷贝功能备份集群数据 配置HBase主备集群数据自动备份 HBase集群容灾高可用 父主题: 使用HBase
Linux客户端环境。 数据库配置—Derby数据库配置过程 首先应下载一个数据库,可根据具体场景选择最适合的数据库。 该任务以Derby数据库为例。Derby是一个小型的,java编写的,易于使用却适合大多数应用程序的开放源码数据库。 Derby数据库的获取。在官网下载最新版的Derby数据库(本示例使用10
“组名”由数字、字母、或下划线、中划线(-)或空格组成,不区分大小写,长度为1~64位,不能与系统中已有的用户组名相同。 在“角色”,单击“添加”选择指定的角色并添加。 对于已启用Ranger授权的组件(HDFS与Yarn除外),Manager上非系统默认角色的权限将无法生效,需要通过配置Ranger策略为用户组赋权。
启动健康检查。 直接启动健康检查: 单击“启动检查”,根据界面提示单击“确定”启动健康检查。 设置定期自动健康检查: 单击“配置”,勾选“启用”,启用后根据运维需要选择检查周期为“每天”、“每周”或“每月”,单击“确定”保存配置。 MRS 2.x及之前版本: 登录MRS Manager。
表1 Flume角色服务端所需修改的参数列表 参数名称 参数值填写规则 参数样例 ssl 是否启用SSL认证(基于安全要求,建议启用此功能)。 true表示启用。 false表示不启用。 true keystore 服务端证书。 ${BIGDATA_HOME}/FusionInsight_Porter_8
resourcemanager.scheduler.monitor.policies”中的策略,启用新的scheduler监控。设置为“true”表示启用监控,并根据scheduler的信息,启动抢占的功能。设置为“false”表示不启用。 false yarn.resourcemanager.scheduler
secret。所有Master/Workers和应用程序都将使用该密钥。 表25 参数说明 参数 描述 默认值 spark.acls.enable 是否开启Spark acls。如果开启,它将检查用户是否有访问和修改job的权限。请注意这要求用户可以被识别。如果用户被识别为无效,检查将不被执行。UI可以使用过滤器认证和设置用户。
source HBase/component_env 如果集群已启用Kerberos认证(安全模式),执行以下命令以HBase内置用户进行认证,如果是首次认证,需要输入默认密码,并修改密码: kinit hbase 如果集群未启用Kerberos认证(普通模式),则执行以下命令设置Hadoop用户名:
设置或取消自己的私有(Independent)属性。 开启私有属性开关后,需要业务用户登录后设置Independent属性,完成用户私有属性配置。 本章节仅适用于MRS 3.x及之后版本。 配置MRS集群用户私有属性限制约束 管理员不能设置或取消业务用户的Independent属性。
配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数 父主题: 使用Spark/Spark2x
使用Impala Impala客户端使用实践 访问Impala WebUI界面 使用Impala操作Kudu表 Impala对接外部LDAP Impala启用并配置动态资源池 使用Impala查询管理界面 Impala常见配置参数 Impala常见问题
Hive数据文件权限,即HDFS文件权限。 Hive的数据库、表对应的文件保存在HDFS中。默认创建的数据库或表保存在HDFS目录“/user/hive/warehouse”。系统自动以数据库名称和数据库中表的名称创建子目录。访问数据库或者表,需要在HDFS中拥有对应文件的权限,包含“读”、“写”和“执行”权限。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]