检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Structure”页面。 在“Project Structure”页面，选择“Artifacts”，单击“+”并选择“JAR > Empty”。 图3 添加Artifacts 根据实际情况设置Jar包的名称、类型以及输出路径。 图4 设置基本信息 选中“storm-examples”，右键选择“Put
Scala样例代码 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase。
操作步骤 准备一个具有对应组件操作权限的用户。 例如：使用admin用户登录FusionInsight Manager，选择“系统 > 用户 > 添加用户”，创建一个“人机”用户“hueuser”，并加入“hive”、“hadoop”、“supergroup”组和“System_admi
操作步骤 准备一个具有对应组件操作权限的用户。 例如：使用admin用户登录FusionInsight Manager，选择“系统 > 用户 > 添加用户”，创建一个“人机”用户“hueuser”，并加入“hive”、“hadoop”、“supergroup”组和“System_admi
在客户端的“spark-defaults.conf”配置文件中配置如下参数。“spark.yarn.max.executor.failures”如果不存在，则手动添加该参数项。 表1 参数说明 参数 描述 默认值 spark.task.maxFailures task retry次数。 4 spark.yarn
“CPU”表示节点中服务可使用的最大CPU。 “Memory”表示节点中服务可使用的最大内存。 在图表区域，查看集群服务资源使用状态指标数据图表。 可通过“为图表添加服务”，将特定服务的静态服务资源数据添至图表，最多可选择12个服务。 管理单个图表的操作，可参见查看MRS集群资源监控指标。 查看静态资源（2
配置”，单击“全部配置”。在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 spark.scheduler.listenerbus.eventqueue.capacity 事件队列的大小，可以根据Driver的内存做适当的配置。 1000000 当Driver日志中出现如下的日志时，表示队列溢出了。 普通应用：
使用，在这边添加一个配置项，用户可以根据Driver的内存大小设置合适的值。 配置描述 参数入口： 在执行应用之前，在Spark服务配置中修改。在Manager系统中，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”。在搜索框中输入参数名称。 表1 参数说明
Ranger权限策略配置示例 添加HDFS的Ranger访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Impala的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略
String[] words = line.toLowerCase(Locale.getDefault()).split(REGEX_STRING); for (String word : words) {
确保集群安装完成，包括HDFS、Yarn、Spark2x和Kafka。 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中编包并运行Spark程序章节中导出jar包的操作步骤。 命令举例： java
if.no.acl.found”的值修改为“true”。 启动Kafka的Producer，向Kafka发送数据。 {ClassPath}表示工程jar包的存放路径，详细路径由用户指定，可参考在Linux环境中调测Spark应用章节中导出jar包的操作步骤。 命令举例： java
待操作的集群名称 > 服务 > HetuEngine > 实例”。 查看是否缺少HSBroker实例。 是，单击“添加实例”，添加缺少的实例。 否，执行23。 在告警列表中，查看“ALM-45000 HetuEngine服务不可用”告警是否清除。 是，处理完毕。 否，执行23。 检
Scala样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples
本章节介绍插入ClickHouse数据样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类中。 创建ClickHouse表创建的表具有三个字段，分别是String、UInt8和Date类型。 String insertSql = "insert into " + databaseName
本章节介绍插入ClickHouse数据样例代码。 以下代码片段在com.huawei.clickhouse.examples包的“Demo”类中。 创建ClickHouse表创建的表具有三个字段，分别是String、UInt8和Date类型。 String insertSql = "insert into " + databaseName
据存储到表counter_daily_agg中，数据源来自counter。 聚合表在明细表名后加上_{type}_agg后缀；物化视图添加 _{type}_mv后缀。 物化视图、聚合表保持与明细表同样的分区类型及ttl时间。 物化视图中的group by字段名称与明细表对应字段名
当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），此时执行该语句会报如下所示的错误日志，该错误表明某个方法的代码超出了64KB。 java.util.concurrent.ExecutionException: java.lang.Exception:
anager.web.access-control-allow-origin”中添加访问主机的IP地址，可使用逗号分隔。 Flink支持的所有REST API的URL中的Path信息如表1所示。 表1 Path介绍 Path 说明 /config 有关监控API和服务器设置的一些信息。
（可选）在bin目录下调用spark-sql或spark-beeline脚本后便可直接输入SQL语句执行查询等操作。 如创建一个表，插入一条数据再对表进行查询。 spark-sql> CREATE TABLE TEST(NAME STRING, AGE INT); Time taken:
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
