检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
体操作可参考添加Hive的Ranger访问权限策略。 前提条件 已完成Hive客户端的安装,例如安装目录为“/opt/client”。 已获取一个拥有管理员权限的用户,例如“admin”。 操作步骤 Hive关联Yarn 用户如果执行insert,count,distinct,group
其设置的非常高,将线性增加每个数据文件的大小(每50000个条目大约4KB)。 60000 hoodie.index.bloom.fpp 根据条目数允许的错误率。 用于计算应为布隆过滤器分配多少位以及哈希函数的数量。通常将此值设置的很低(默认值0.000000001),在磁盘空间上进行权衡以降低误报率。
以Hive客户端安装用户登录源端集群安装客户端的节点。 执行以下命令,切换到客户端安装目录,例如安装目录为“/opt/client”,请用户根据实际情况修改。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群开启了Kerber
显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称,长度为3~50个字符,可包含数字、字母或下划线(_)。 根据业务需求规划子租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。 租户类型 指定租户是否是一个叶子租户: 选择“叶
自行消费Topic中的数据并写入到某个特定Hudi表作数据判齐使用。心跳判齐数据不仅可以用来判断心跳时间之前的数据已经同步到数据湖,还可以根据事务时间,写Kafka的时间,数据开始入湖时间和数据入湖结束时间来判断数据时延问题。 同时对于PgSQL任务,配置心跳表可以定期向前推进P
登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群基本信息页,单击“引导操作”。 单击“添加”,根据界面信息填写对应参数。 图1 添加引导操作 表2 参数描述 参数 示例 说明 名称 bootstrap_0 引导操作脚本的名称。 只能由数
待操作集群的名称 > 服务 > Yarn > 配置 > 全部配置 > ResourceManager > 系统”。将“GC_OPTS”参数根据实际情况调大,并单击“保存”,保存完成后重启角色实例。 重启主ResourceManager实例,会发生ResourceManager实例
keytab 该参数为客户端参数,keytab路径。 根据实际业务配置 是 security.kerberos.login.principal 该参数为客户端参数,如果keytab和principal都设置,默认会使用keytab认证。 根据实际业务配置 否 security.kerberos
void setState(long count) { this.count = count; } // 获取用户自定义状态 public long geState() { return this.count; } }
HBase应用程序运行完成后,可通过如下方式查看运行情况。 通过IntelliJ IDEA运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase
配置HetuEngine物化视图推荐能力 配置物化视图缓存能力 可将多次执行并改写后的SQL保存到缓存中,再次执行这条SQL时会直接从缓存中获取改写后的SQL,而不是重新对SQL进行改写,提高查询效率 配置HetuEngine物化视图缓存能力 配置物化视图有效期与数据刷新 设置物化
HetuEngine > 实例”。 单击“HSBroker”行的“主机名称”,记录“基本信息”下的“管理IP”的地址。 以omm用户通过25获取的IP地址登录HSBroker所在的主机。 执行ping命令,查看HSBroker所在主机与ZooKeeper、HDFS、Yarn、DBS
<kafkaService> <kafkaDomain> <topic> <checkpointLocation>,其中<brokers>指获取元数据的Kafka地址(需使用21007端口),<subscribe-type> 指定kakfa的消费方式,<kafkaProtocol>
<kafkaService> <kafkaDomain> <topic> <checkpointLocation>,其中<brokers>指获取元数据的Kafka地址(需使用21007端口),<subscribe-type> 指定kakfa的消费方式,<kafkaProtocol>
FE的查询连接端口,可以通过登录Manager,单击“集群 > 服务 > Doris > 配置”,查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。
HBase应用程序运行完成后,可通过如下方式查看运行情况。 通过IntelliJ IDEA运行结果查看应用程序运行情况。 通过HBase日志获取应用程序运行情况。 登录HBase WebUI查看应用程序运行情况。可参见“更多信息 > 对外接口 > Web UI ”。 通过HBase
Manager,选择“集群 > 服务 > Kafka”,查看当前Kafka状态,发现状态为良好,且监控指标内容显示正确。 在Kafka概览页面获取Controller节点信息。 登录Controller所在节点,通过cd /var/log/Bigdata/kafka/broker命令
个Cell的最大值,超过此阈值时,将不允许写入。默认值为10MB。 单个Cell过大会影响读写性能,同时过大也意味着可能存在异常数据,可以根据写入的数据评估数据范围,设置上限,如果无法评估,建议保持默认值。 hbase.rpc.rows.size.threshold.reject
描述信息并不是Hive表中的字段注释信息(comment)。 单击“样本”可浏览数据。 管理Hive元数据表 单击左侧列表中的可在数据库中根据上传的文件创建一个新表,也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高危管
show materialized views from mvschema; mvschema是schema的名称,catalog固定为“mv” 根据子句“LIKE”筛选视图名满足规则运算表达式的物化视图 show MATERIALIZED VIEWs in mvschema tables