检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tchTime>指Streaming分批的处理间隔。 由于Spark Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同,如其他依赖包路径为“$SPARK_HOME/jars”,而Spark Streaming Kafka依赖包路径为“$SPARK_HOME
导入某个数据库下的所有表到HDFS中 job 生成一个sqoop任务 list-databases 列举数据库名 list-tables 列举表名 merge 将HDFS不同目录下的数据合在一起并存放到指定目录 metastore 启动元数据库,记录sqoop job的元数据 help 打印帮助信息 version
选择一个时间范围获取监控数据,例如“1周”。 默认为实时数据,无法导出。单击可以自定义监控数据时间范围。 单击“导出”。 历史报表根据所自定义的时间长度不同,图表横轴中每个时间间隔也会不同,具体监控数据的规则如下: 如果FusionInsight Manager存储所用的GaussDB所在分区的磁盘使用率超过
配置通过ELB访问ClickHouse 当前ClickHouse不管是多分片还是多副本都是以集群方式部署,如果对外直接提供服务,将暴露多个节点服务,没有统一的访问入口。ClickHouse官方虽然提供了BalancedClickhouseDataSource的驱动方案,可以支持多
典型场景:从关系型数据库导入数据到HDFS/OBS 操作场景 该任务指导用户使用Loader将数据从关系型数据库导入到HDFS/OBS。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。 获取关系型数据库使用的用户和密码。
通过ELB访问ClickHouse 当前ClickHouse不管是多分片还是多副本都是以集群方式部署,如果对外直接提供服务,将暴露多个节点服务,没有统一的访问入口。ClickHouse官方虽然提供了BalancedClickhouseDataSource的驱动方案,可以支持多节点
从FTP服务器导入数据到Hive表。 从同一集群内HDFS/OBS导入数据到HBase。 MRS与外部数据源交换数据和文件时需要连接数据源。系统提供以下连接器,用于配置不同类型数据源的连接参数: generic-jdbc-connector:关系型数据库连接器。 ftp-connector:FTP数据源连接器。
者用户组的资源访问策略。 例如在本章节样例中,在安全区内配置一条允许“test”用户访问“/testzone/test”目录的策略: 其他不同组件的完整访问策略配置样例参考: 添加HDFS的Ranger访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略
cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 连接Presto Server。根据客户端的不同,提供如下两种客户端的链接方式。 使用MRS提供的客户端。 未启用Kerberos认证的集群,执行以下命令连接本集群的Presto Server。
路径,本地或者HDFS路径下。 由于Spark Structured Streaming Kafka的依赖包在客户端的存放路径与其他依赖包不同,如其他依赖包路径为“$SPARK_HOME/jars”,而Spark Structured Streaming Kafka依赖包路径为“
er在启动的时候,会启动一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器,等待JDBC客户端的连接和提交查询。所以,在配置JDBCServer
的窗口中单击“确定”。 查看过期配置: 单击“过期配置”,界面将显示当前集群内配置过期的配置项。 可通过界面上方的服务过滤框进行筛选,查看不同服务的过期配置,或者在搜索框中直接搜索关键字。 处于过期状态的配置项并未完全生效,在不影响业务情况下,请及时重启配置过期的服务或实例。 查看历史配置记录:
集日志”、“主机”、“服务”、“多租户”和“用户管理”九种场景,其中“用户管理”仅在启用了Kerberos认证的集群中支持。每个场景中包含不同操作类型,例如“告警”中包含“导出告警”,“集群”中包含“启动集群”,“多租户”包含“增加租户”等。 “安全级别”:表示每条审计日志的安全
S中的数据并且提供更快的访问。 Impala与Hive间的关系 Impala使用Hive的元数据、ODBC驱动程序和SQL语法。与Hive不同,Impala不基于MapReduce算法,它实现了一个基于守护进程的分布式架构,它负责在同一台机器上运行的查询执行的所有方面。因此,它减
ZooKeeper中该表相关数据的存储路径。 该路径必须在/clickhouse目录下,否则后续可能因为ZooKeeper配额不够导致数据插入失败。 为了避免不同表在ZooKeeper上数据冲突,目录格式必须按照如下规范填写: /clickhouse/tables/{shard}/default/t
装客户端(MRS 3.3.1及之后版本)。 操作视频 本视频将以MRS 3.1.0版本集群为例为您介绍手动安装及使用客户端的操作方法。 因不同版本操作界面可能存在差异,相关视频供参考,具体以实际环境为准。 客户端安装前提条件 待安装客户端节点为集群外节点时,该节点必须能够与MRS集群内节点网络互通,否则安装会失败。
IDEA中的JDK配置为Oracle JDK。 若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。
er在启动的时候,会启动一个sparkSQL的应用程序,而通过JDBC连接进来的客户端共同分享这个sparkSQL应用程序的资源,也就是说不同的用户之间可以共享数据。JDBCServer启动时还会开启一个侦听器,等待JDBC客户端的连接和提交查询。所以,在配置JDBCServer
信息。 单击每行字段后的按钮可对字段进行上移、下移、下面插入一行以及删除等操作。 单击“文本编辑”,可以直接以文本形式对字段列表进行编辑,不同字段属性直接使用英文逗号“,”进行分隔。 单击“确定”,保存字段信息。 导入操作 登录“Loader WebUI”界面。 登录FusionInsight
ion、predicate、aggregate over inner join、aggregate over union all等。为应对不同应用场景的特殊需求,对所有下推模块设计开关功能,用户可以自行配置是否应用上述查询下推的增强。 表1 跨源查询增加特性对比 模块 增强前 增强后