检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用JDBC接口提交数据分析任务 功能简介 本章节介绍如何使用JDBC样例程序完成数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，该样例程序在“hive-examples/hive-jdbc-example”的“JDBCExample.java”中，实现该功能的模块如下：
Flink提供了HA和作业的异常恢复，并且提供版本升级时作业的暂停恢复。对于作业状态的存储，Flink依赖于state backend，作业的重启依赖于重启策略，用户可以对这两部分进行配置。配置项包括state backend类型，存储路径，重启策略等。 Kerberos-based Security：
DBService 数据库连接数使用率 27005 数据库连接数使用率超过阈值 可能导致上层服务无法连接DBService的数据库，影响正常业务。 90% 数据目录磁盘空间使用率 27006 数据目录磁盘空间使用率超过阈值 业务进程不可用。 当数据目录磁盘空间使用率超过90%时，数据库进入只读
ClickHouse长时间并发满，导致不可服务，如何快速恢复 问题描述 ClickHouse并发满，新的请求无法执行，影响服务的可用性，报错信息如下： DB::Exception: Too many simultaneous queries. Maximum: 100 处理步骤
使用Keytab文件进行JDBC安全认证 功能简介 使用keytab文件进行JDBC认证。 准备操作 登录FusionInsight Manager，选择“系统 > 权限 > 用户”，下载参考准备MRS应用开发用户准备的开发用户的认证凭据。 代码样例 以下代码片段仅为演示，具体代码参见“com
手动导出IoTDB数据 操作场景 该任务指导用户使用“export-csv.sh”将数据从IoTDB导出为CSV格式的文件。 导出CSV格式的数据文件，可能存在注入风险，请谨慎使用。 前提条件 已安装客户端，请参见。例如安装目录为“/opt/client”，以下操作的客户端目录只是举例，请根据实际安装目录修改。
开发Spark应用 Spark Core程序 Spark SQL程序 Spark Streaming程序 通过JDBC访问Spark SQL的程序 Spark on HBase程序 从HBase读取数据再写入HBase 从Hive读取数据再写入HBase Streaming从Kafka读取数据再写入HBase
分析Hive数据 功能介绍 本小节介绍了如何使用样例程序完成分析任务。样例程序主要有以下方式。 使用JDBC接口提交数据分析任务。 使用HCatalog接口提交数据分析任务。 样例代码 使用Hive JDBC接口提交数据分析任务，参考样例程序中的JDBCExample.java。
使用Hudi Hudi表概述 使用Spark Shell创建Hudi表 使用spark-sql操作Hudi表 使用Hudi-Cli.sh操作Hudi表 Hudi写操作 Hudi读操作 Hudi数据管理维护 Hudi SQL语法参考 Hudi Schema演进 配置Hudi数据列默认值
使用HetuEngine HetuEngine交互查询引擎概述 HetuEngine用户权限管理 快速使用HetuEngine访问Hive数据源 创建HetuEngine计算实例 添加HetuEngine数据源 配置HetuEngine物化视图 配置HetuEngine SQL诊断功能
任务时，系统则不需要再加载其索引数据。 在CarbonData中执行查询时，查询任务会被分成几个扫描任务。即，基于CarbonData数据存储的HDFS block对扫描任务进行分割。扫描任务由集群中的执行器执行。扫描任务可以并行、部分并行，或顺序处理，具体采用的方式取决于执行器的数量以及配置的执行器核数。
skmgt服务监控的磁盘)容量是否增加，如果有增加将则会进行该磁盘下分区(单个分区独占磁盘容量)容量和文件系统的扩容，达到自动扩充磁盘分区存储容量的能力。 安装完成后必须的手动操作 MRS 3.1.5.0.1版本的补丁安装/卸载完成后需要在FusionInsight Manager
任务时，系统则不需要再加载其索引数据。 在CarbonData中执行查询时，查询任务会被分成几个扫描任务。即，基于CarbonData数据存储的HDFS block对扫描任务进行分割。扫描任务由集群中的执行器执行。扫描任务可以并行、部分并行，或顺序处理，具体采用的方式取决于执行器的数量以及配置的执行器核数。
在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse Scope”，勾选对应数据库的创建权限。单击对应的数据库名称，根据不同任务场景，勾选对应表的“读”、“写”权限，单击“确定”保存。 Flink 在“配置资源权限”的表格中选择“待操作集群的名称
使用Spark执行Hudi样例程序（Scala） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据： def insertData(spark: SparkSession
向Phoenix表中插入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public
使用Spark/Spark2x Spark使用说明 Spark用户权限管理 Spark客户端使用实践 访问Spark WebUI界面 使用代理用户提交Spark作业 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强
使用Spark小文件合并工具说明 本章节仅适用于MRS 3.3.0及之后版本。 配置场景 小文件自动合并特性开启后，Spark将数据先写入临时目录，再去检测每个分区的平均文件大小是否小于16MB（默认值）。如果发现平均文件大小小于16MB，则认为分区下有小文件，Spark会启动一
0.0.0 , EXCLUDE localhost" --user-data-dir=c:/tmppath --proxy-bypass-list="*google*com,*gstatic.com,*gvt*.com,*:80" 8157为10中配置的本地代理端口。 若本地操作系统为Windows
Flink应用开发规范 Flink开发规范概述 FlinkSQL Connector开发规范 Flink on Hudi开发规范 Flink任务开发规范 Flink SQL逻辑开发规范 Flink性能调优开发规范 Flink开发样例
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
