检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
\resources”目录下。 若要在Windows或Linux中未安装客户端时提交拓扑,则需要将“streaming-site.xml”和“storm.yaml”都放入样例工程的“storm-examples\src\main\resources”目录下。 若要在Linux安装
directory为本地安装的Maven版本。 然后根据实际情况设置好“User settings file”和“Local repository”参数。 图10 选择本地Maven安装目录 然后单击“Apply”和“OK”,完成配置。 父主题: 准备IoTDB应用开发环境
isMachineUser false 使用机机用户认证时,参数值修改为true。 如果配置为true,则user和password参数为机机用户的用户名和密码。 说明: 该参数仅适用于MRS 3.1.5及之后版本。 isSupportMachineUser true 是否支持机机用户认证的功能。
isMachineUser false 使用机机用户认证时,参数值修改为true。 如果配置为true,则user和password参数为机机用户的用户名和密码。 说明: 该参数仅适用于MRS 3.1.5及之后版本。 isSupportMachineUser true 是否支持机机用户认证的功能。
eytab文件“user.keytab”和“krb5.conf”文件以及准备运行环境配置文件时获取的所有配置文件放置在样例工程的“kafka-examples\src\main\resources”目录下。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。
File Encodings”,分别在右侧的“Global Encoding”和“Project Encoding”的下拉框中,选择“UTF-8”。 图15 File Encodings 然后单击“Apply”和“OK”,完成编码配置。 父主题: 准备HBase应用开发环境
ReduceExample、OozieSparkHBaseExample和OozieSparkHiveExample三个样例工程。 将准备MRS应用开发用户时得到的keytab文件“user.keytab”和“krb5.conf”用户认证凭据文件复制到OozieMapReduce
File Encodings”,分别在右侧的“Global Encoding”和“Project Encoding”的下拉框中,选择“UTF-8”。 图15 File Encodings 然后单击“Apply”和“OK”,完成编码配置。 父主题: 准备HBase应用开发环境
eytab文件“user.keytab”和“krb5.conf”文件以及准备运行环境配置文件时获取的所有配置文件放置在样例工程的“kafka-examples\src\main\resources”目录下。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。
与提速。 该能力可以极大降低用户使用物化视图功能的使用难度,带来业务无感知的分析加速效果。HetuEngine管理员通过付出少量的计算资源和存储空间,可实现对高频SQL业务的智能加速。同时,该能力可以降低数据平台的整体负载(CPU、内存、IO等),有助于提升系统稳定性。 智能物化视图包括以下几个功能:
xml”、“hbase-site.xml”和“hdfs-site.xml”。 还需确保该目录下已存在HBase访问多个ZooKeeper样例程序所需的“zoo.cfg”和“jaas.conf”文件。 安装IntelliJ IDEA和JDK工具后,需要在IntelliJ IDEA配置JDK。
配置文件为准备运行环境配置文件获取的“core-site.xml”、“hbase-site.xml”和“hdfs-site.xml”。 认证文件为准备集群认证用户信息获取的keytab认证文件“user.keytab”和“krb5.conf”。 hbase-examples/hbase-example(多集群互信场景)
频访问的SQL查询和有高耗时的算子(连接, 聚合等算子)的SQL通过建立物化视图进行预计算,然后在查询的SQL中将能匹配到物化视图的查询或者子查询转换为物化视图,避免了数据的重复计算,这种情况下往往能较大地提高查询的响应效率。 物化视图通常基于对数据表进行聚合和连接的查询结果创建。
否则补丁会安装失败。 新特性和优化 新特性和优化: Impala默认参数优化、监控指标、告警增强 Impala data stream sender日志优化 支持Impala亚健康检查,以及服务不可用告警优化 支持Kudu tablet数量监控和告警特性 解决的问题 解决的问题:
MRS安全认证原理和认证机制 功能 开启了Kerberos认证的安全模式集群,进行应用开发时需要进行安全认证。 使用Kerberos的系统在设计上采用“客户端/服务器”结构与AES等加密技术,并且能够进行相互认证(即客户端和服务器端均可对对方进行身份认证)。可以用于防止窃听、防止
给集群,由集群中的主控节点(master node)分发代码,将任务分配给工作节点(worker node)执行。一个拓扑中包括spout和bolt两种角色,其中spout发送消息,负责将数据流以tuple元组的形式发送出去;而bolt则负责转换这些数据流,在bolt中可以完成计
务或者作业。 应用程序在提交任务或者作业前,需要向Kerberos服务申请TGT(Ticket-Granting Ticket),用于建立和Kerberos服务器的安全会话。 Kerberos服务在收到TGT请求后,会解析其中的参数来生成对应的TGT,使用客户端指定的用户名的密钥进行加密响应消息。
于提交SQL语句和SQL脚本文件查询和分析数据,包括SQL语句和Script脚本两种形式,如果SQL语句涉及敏感信息,请使用Script提交。 提交Hive作业 提交Spark作业 Spark基于内存进行计算的分布式计算框架。Spark支持提交Spark Jar和Spark python程序,执行Spark