正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
编译并运行Flink应用 在程序代码完成开发后,建议您上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Flink客户端的运行步骤是一样的。 基于YARN集群的Flink应用程序不支持在Windows环境下运行,只支持在Linux环境下运行。 操作步骤
MapReduce访问多组件样例代码 功能介绍 主要分为三个部分: 从HDFS原文件中抽取name信息,查询HBase、Hive相关数据,并进行数据拼接,通过类MultiComponentMapper继承Mapper抽象类实现。 获取拼接后的数据取最后一条输出到HBase、HDF
childopts则服务端参数worker.gc.childopts会被替换。 解决办法 如果想要修改拓扑的JVM参数,可以在命令中直接修改topology.worker.gc.childopts这个参数或者在服务端修改该参数,当topology.worker.gc.childopts为 "-Xms4096m
min.insync.replicas=2 其中192.168.1.205为ZooKeeper业务IP地址。 如果修改服务级配置需要重启Kafka,建议在变更窗口做服务级配置修改。 父主题: 使用Kafka
自行搭建的客户端全量安装方法,请参见安装客户端(3.x之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若用户根据业务场景修改过客户端配置,请在重装客户端后再次修改客户端配置。 父主题: MRS集群补丁说明
创建Maven项目,“groupId”配置“com.test.udf”,“artifactId”配置“udf-test”。这个两个值可根据实际情况自定义。 修改“pom.xml”文件如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www
@password=用户密码 - 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数。 该参数的修改仅适用于本次执行的作业,如需对集群永久生效,请参考修改MRS集群组件配置参数进行集群组件配置参数的修改。 如需添加多个参数,请单击右侧增加。 例如作业需要通过AK/SK方式访问OBS,增加以下服务配置参数:
SparkSQL建表参数规范 规则 建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力,该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力,不指定preCombineField会导致主键重复。
、Spark2x和Kafka服务。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息,格式为IP:port。 $KAFKA_HOME/bin/kafka-topics
、Spark2x和Kafka服务。 将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息,格式为IP:port。 $KAFKA_HOME/bin/kafka-topics
设置密码。 如果登录报错“认证信息无效”,可能是用户密码输入错误或者密码过期,请检查并输入正确密码,或参考如何重置或修改Manager(admin)密码?章节修改密码。 检查浏览器是否配置了内部网络代理、是否添加了会拦截用户Token的安全设置。 如果多次刷新均无法显示Manag
conf文件为安全模式下的认证文件,需要在FusionInsight Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
产生告警的主机名。 对系统的影响 无。 可能原因 Hive SQL语法有问题,导致Hive SQL执行失败。 处理步骤 查看运行失败的Hive SQL,修改为正确语法后再执行。 参考信息 无。 父主题: MRS集群告警处理参考
Manager,选择“集群 > 服务 > IoTDB > 配置”,在搜索框中搜索“SSL”,修改“SSL_ENABLE”参数值为“false”;保存配置后需重启IoTDB服务使配置生效。并修改客户端“客户端安装目录/IoTDB/iotdb/conf”目录下的“iotdb-client
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。
segments属性,则UPDATE操作失败。要解决该问题,在查询前执行以下语句。 语法: SET carbon.input.segments. <database_name>. <table_name>=*; 示例 示例1: update carbonTable1 d set (d.column3
segments属性,则UPDATE操作失败。要解决该问题,在查询前执行以下语句。 语法: SET carbon.input.segments. <database_name>. <table_name>=*; 示例 示例1: update carbonTable1 d set (d.column3
Spark从HBase读取数据再写入HBase样例程序(Python) 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表,然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 由于pyspark不提供Hbase相关ap
Spark SQL ROLLUP和CUBE使用的注意事项 问题 假设有表src(d1, d2, m),其数据如下: 1 a 1 1 b 1 2 b 2 对于语句select d1, sum(d1) from src group by d1, d2 with rollup其结果如下:
--secure --port 9440 创建与CSV备份数据文件格式对应的表。 CREATE TABLE [IF NOT EXISTS] [database_name.]table_name [ON CLUSTER Cluster名] ( name1 [type1] [DEFAULT|materialized|ALIAS