检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 更多 > 下载客户端” ,下载客户端压缩文件到本地机器。如图3所示: 图3 客户端配置 使用客户端根目录中的“ca.crt”证书文件生成客户端的“truststore”。 执行命令如下: keytool -noprompt -import
将运行程序的依赖Jar包上传至需要运行此应用的节点中,例如“$SPARK_HOME/jars”路径。 用户需要将SparkLauncher类的运行依赖包和应用程序运行依赖包上传至客户端的jars路径。文档中提供的示例代码,其运行依赖包在客户端jars中已存在。 Spark Launch
inputFormat, String filePath) 获取用户定义的某路径下的文件数据,作为输入流数据。 filePath是指文件的路径。 inputFormat是指文件的格式。 watchType指的是文件的处理模式“PROCESS_ONCE”或者“PROCESS_CONTINUOUSLY”。
解决compaction任务失败残留了异常文件没有被清理,导致Spark读Hudi时报“xx is not a Parquet file”异常的问题。 解决Spark作业读上游读库表,excutor报错找不到该表OBS .schema目录下的文件的问题。 Hudi compaction
令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>,启动一个简易的文本服务器。 启动应用程序连接netcat监听的port成功后,向netcat终端输入数据信息。 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink
令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>,启动一个简易的文本服务器。 启动应用程序连接netcat监测的port成功后,向netcat终端输入数据信息。 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink
令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>,启动一个简易的文本服务器。 启动应用程序连接netcat监测的port成功后,向netcat终端输入数据信息。 开发思路 启动Flink Kafka Producer应用向Kafka发送数据。 启动Flink
inputFormat, String filePath) 获取用户定义的某路径下的文件数据,作为输入流数据。 filePath是指文件的路径。 inputFormat是指文件的格式。 watchType指的是文件的处理模式“PROCESS_ONCE”或者“PROCESS_CONTINUOUSLY”。
inputFormat, String filePath) 获取用户定义的某路径下的文件数据,作为输入流数据。 filePath是指文件的路径。 inputFormat是指文件的格式。 watchType指的是文件的处理模式“PROCESS_ONCE”或者“PROCESS_CONTINUOUSLY”。
inputFormat, String filePath) 获取用户定义的某路径下的文件数据,作为输入流数据。 filePath是指文件的路径。 inputFormat是指文件的格式。 watchType指的是文件的处理模式“PROCESS_ONCE”或者“PROCESS_CONTINUOUSLY”。
加入黑名单中的Executor会残留。 MRS集群Spark2x的“listing.ldb”文件夹不自动清理,导致根目录写满。 Spark数据保护黑名单中防止创建表Location指定路径到库后,导致删除表之后库数据丢失。 Spark启用Ranger鉴权场景中的show tables性能增强。
在Linux环境下可以使用storm命令行完成拓扑的提交。 前提条件 已安装Storm客户端。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 已执行打包Storm业务步骤,打出source.jar。 操作步骤 安全模式下,请先进行安全认证。
Location”单击,在HDFS中选择一个用于创建Hive表文件。此文件将存储Hive表的新数据。 如果文件未在HDFS中保存,可以单击“Upload a file”从本地选择文件并上传。支持同时上传多个文件,文件不可为空。 如果需要将文件中的数据导入Hive表,选择“Import data”作为“Load
特征 默认值 描述 Language clause - 定义函数的语言。目前支持JAVA语言。 JAVA函数:需要提供函数实现的JAR文件,并将JAR文件放入HetuEngine可以读取的HDFS中。 Deterministic characteristic NOT DETERMINISTIC
kerberos认证时keytab文件路径,在安全版本下必须填写。安全集群需要配置此项,普通模式集群无需配置。 /opt/test/conf/user.keytab 说明: user.keytab文件从下载用户flume_hdfs的kerberos证书文件中获取,另外,确保用于安装和运行Flume客户端的用户对user
<tablename>:表示要操作的表名。 <inputdir>:表示要批量导入的数据目录。 -Dindexspecs.to.add=<indexspecs>:表示索引名与列的映射,例如-Dindexspecs.to.add='index_bulk=>info:[age->String]'。 其构成如下所示:
Manager系统,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 更多 > 下载客户端” ,下载客户端压缩文件到本地机器。如图3所示: 图3 客户端配置 使用客户端根目录中的“ca.crt”证书文件生成客户端的“truststore”。 执行命令如下: keytool -noprompt -import
在“客户端安装路径/HBase/hbase/conf/hbase-site.xml”配置文件中配置如下参数。 表1 HBase客户端操作重试超时相关配置 配置参数 描述 默认值 hbase.client.operation.timeout 客户端操作超时时间。需在配置文件中手动添加。
在“客户端安装路径/HBase/hbase/conf/hbase-site.xml”配置文件中配置如下参数。 表1 HBase客户端操作重试超时相关配置 配置参数 描述 默认值 hbase.client.operation.timeout 客户端操作超时时间。需在配置文件中手动添加。
FIX、DIFF、FAST_DIFF和ROW_INDEX_V1,其中NONE表示不使用编码。另外,HBase还支持使用压缩算法对HFile文件进行压缩,默认支持的压缩算法有:NONE、GZ、SNAPPY和ZSTD,其中NONE表示HFile不压缩。 这两种方式都是作用在HBase