检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/opt/knox/bin/restart-knox.sh 重启完成后在浏览器地址栏中,输入并访问FusionInsight Manager的网络地址,验证能否正常打开页面。 企业证书有效时间已过期或安全性加强,MRS更换为新的证书后,请同步更换本地证书。 登录FusionInsight
灵活的数据存储格式,支持JSON、CSV、TEXTFILE、RCFILE、ORCFILE、SEQUENCEFILE等存储格式,并支持自定义扩展。 多种客户端连接方式,支持JDBC接口。 Hive主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。
指定审计日志转储后存放的SFTP服务器,建议使用基于SSH v2的SFTP服务,否则存在安全风险。 SFTP端口 22 指定审计日志转储后存放的SFTP服务器连接端口。 保存路径 /opt/omm/oms/auditLog 指定SFTP服务器上保存审计日志的路径。 SFTP用户名 root 指定登录SFTP服务器的用户名。
nfig/HDFS/hdfs-c-example/hdfs_test.c”文件。 设置HDFS NameNode参数,建立HDFS文件系统连接。 hdfsFS fs = hdfsConnect("default", 0); fprintf(stderr, "hdfsConnect-
选择配置工具 “Agent名”选择“server”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、File Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应
指定每个执行程序进程使用的内存。 spark.sql.crossJoin.enabled true 如果查询包含交叉连接,请启用此属性,以便不会发生错误,此时使用交叉连接而不是连接,可实现更好的性能。 在Spark Driver端的“spark-defaults.conf”文件中配置以下参数。
3.2.0-LTS.1。 组件选择:请根据业务需求合理选择需要的组件,部分类型集群创建后不支持添加服务。 元数据:选择“本地元数据”。 网络配置: 可用区:默认即可。 虚拟私有云:默认即可。 子网:默认即可。 安全组:默认即可。 弹性公网IP:默认即可。 节点配置: CPU架构:默认即可。MRS
指定每个执行程序进程使用的内存。 spark.sql.crossJoin.enabled true 如果查询包含交叉连接,请启用此属性,以便不会发生错误,此时使用交叉连接而不是连接,可实现更好的性能。 在Spark Driver端的“spark-defaults.conf”文件中配置以下参数。
Server的会话过程中定义使用。 在Hive Server中执行以下命令使用该函数: SELECT addDoubles(1,2,3); 若重新连接客户端再使用函数出现[Error 10011]的错误,可执行reload function;命令后再使用该函数。 在Hive Server中执行以下命令删除该函数:
impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置 解决Hive绑定权限卡顿问题 解决数据连接失败问题 MRS 2.1.0.3 修复问题列表: MRS Manager Manager executor高并发提交作业问题 MRS大数据组件
topic-test --bootstrap.servers xxx.xxx.xxx.xxx:9092 在集群内任一节点启动netcat命令,等待应用程序连接。 netcat -l -p 9000 启动程序接受Socket数据,并执行联合查询。 bin/flink run --class com
的本地副本,单表查询或者多表join后查询的结果的行或列、行和列的子集,也可以是使用聚合函数的汇总表。 物化视图通常基于对数据表进行聚合和连接的查询结果创建。物化视图支持“查询重写”,这是一种优化技术,它将以原始表编写的用户查询转换为包括一个或多个物化视图的等效请求。 语法支持的属性包括:
有视图。匹配的视图会按字母顺序排列。 目前规则运算表达式支持“*”或“%”用于匹配任何字符,下划线“_”用于匹配一个字符,或“|”用于条件连接两个或多个条件。 示例 SHOW MATERIALIZED VIEWS; hetuengine:tpcds_2gb> SHOW MATERIALIZED
Server的会话过程中定义使用。 在Hive Server中执行以下命令使用该函数: SELECT addDoubles(1,2,3); 若重新连接客户端再使用函数出现[Error 10011]的错误,可执行reload function;命令后再使用该函数。 在Hive Server中执行以下命令删除该函数:
默认取值: 不涉及 network_read String 参数解释: 网络读取速度。单位Byte/s。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 network_write String 参数解释: 网络写入速度。单位Byte/s。 约束限制: 不涉及 取值范围: 不涉及
中需要写入安全认证代码,确保Spark程序能够正常运行。 安全认证有三种方式: 命令认证: 提交Spark应用程序运行前,或者在使用CLI连接SparkSQL前,在Spark客户端执行如下命令获得认证。 kinit组件业务用户 配置认证: 可以通过以下3种方式的任意一种指定安全认证信息。
中需要写入安全认证代码,确保Spark程序能够正常运行。 安全认证有三种方式: 命令认证: 提交Spark应用程序运行前,或者在使用CLI连接SparkSQL前,在Spark客户端执行如下命令获得认证。 kinit 组件业务用户 配置认证: 可以通过以下3种方式的任意一种指定安全认证信息。
主机名 执行./ij命令,输入connect 'jdbc:derby://主机名:1527/example;create=true';,建立连接。 数据库建立好后,可以执行sql语句进行操作,需要建立两张表ORIGINAL和GOAL,并向ORIGINAL中插入一组数据,命令如下:(表名仅供参考,可自行设定)
个拷贝件主要用于系统的可用性和容错。 NodeManager 负责执行应用程序的容器,同时监控应用程序的资源使用情况(CPU、内存、硬盘、网络)并且向ResourceManager汇报。 ResourceManager 集群的资源管理器,基于应用程序对资源的需求进行调度。资源管理
主机名 执行./ij命令,输入connect 'jdbc:derby://主机名:1527/example;create=true';,建立连接。 数据库建立好后,可以执行sql语句进行操作,需要建立两张表ORIGINAL和GOAL,并向ORIGINAL中插入一组数据,命令如下:(表名仅供参考,可自行设定)