检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。 安装Maven 开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。 华为提供开源镜像站,各服务样例工程依赖的Jar包通过华为开源镜像站下载,剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载,详情请参考配置华为开源镜像仓。
9.0.5补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
在“服务”中勾选待操作集群的“DBService”和OMS下的“OS”、“OS Statistics”、“OS Performance”,单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。
在其中执行更新操作的CarbonData表的名称。 column_name 待更新的目标列。 sourceColumn 需在目标表中更新的源表的列值。 sourceTable 将其记录更新到目标CarbonData表中的表。 注意事项 以下是使用UPDATE命令的条件: 如果源表中的多个输入
在其中执行更新操作的CarbonData表的名称。 column_name 待更新的目标列。 sourceColumn 需在目标表中更新的源表的列值。 sourceTable 将其记录更新到目标CarbonData表中的表。 注意事项 以下是使用UPDATE命令的条件: 如果源表中的多个输入
可自动清除 27001 致命 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 数据库服务不可用,无法对上层服务提供数据入库、查询等功能,使部分服务异常。 可能原因
ts组成的有向无环图。 应用程序是通过storm jar的方式提交,则需要在main函数中调用创建Topology的函数,并在storm jar参数中指定main函数所在类。 代码样例 下面代码片段在com.huawei.storm.example.wordcount包的“Wor
Spark从Hive读取数据再写入HBase样例程序(Java) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata.spark.examples
r close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群故障后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置: 在“hbase-dual
Spark Streaming中常见的类有: JavaStreamingContext:是Spark Streaming功能的主入口,负责提供创建DStreams的方法,入参中需要设置批次的时间间隔。 JavaDStream:是一种代表RDDs连续序列的数据类型,代表连续数据流。 JavaPairDStream:KV
策略,可配置项为单个文件最大值、日志归档的最大保留数目,具体规则如下: 当单个文件超过默认单个文件最大值时,就会生成一个新的归档压缩文件,归档后的日志压缩文件命名规则为<原有日志名>.[编号].log.gz。 日志删除规则: 运行日志中的HetuEngine计算实例运行日志压缩文
库文件夹同级的目录“src/main/resources”下,具体步骤请参考在Linux调测程序。 使用root用户登录安装了集群客户端的节点。 cd /opt/client source bigdata_env 创建输入Topic和输出Topic,与样例代码中指定的Topic名
kinit 组件操作用户(例如developuser) 创建输入Topic和输出Topic,与样例代码中指定的Topic名称保持一致,输出Topic的清理策略设置为compact。 kafka-topics.sh --create --zookeeper quorumpeer实例I
r close之前的请求会固定访问第一次RPC时使用的集群。 HBase Admin接口、实时写入接口只会访问主集群。所以主集群故障后,不能提供Admin接口功能和实时写入接口功能,只能提供Get、Scan查询服务。 HBase双读支持以下两种方式设置主备集群的相关配置: 在“hbase-dual
Manager中下载principal用户的认证凭证,样例代码中使用的用户为:super,需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录(例如“$SPARK_HOME”
从元组中选择了一部分字段子集。 fieldIndexes指的是需要选择的元组中的某几个序列。 说明: 只支持Tuple数据类型的project投影。 提供设置eventtime属性的能力 表7 提供设置eventtime属性的能力的相关接口 API 说明 public SingleOutputStreamOperator<T>
从元组中选择了一部分字段子集。 fieldIndexes指的是需要选择的元组中的某几个序列。 说明: 只支持Tuple数据类型的project投影。 提供设置eventtime属性的能力 表7 提供设置eventtime属性的能力的相关接口 API 说明 public SingleOutputStreamOperator<T>
从元组中选择了一部分字段子集。 fieldIndexes指的是需要选择的元组中的某几个序列。 说明: 只支持Tuple数据类型的project投影。 提供设置eventtime属性的能力 表7 提供设置eventtime属性的能力的相关接口 API 说明 public SingleOutputStreamOperator<T>
创建RDD。 以数据源的方式操作HBase,将上面生成的RDD写入HBase表中。 读取HBase表中的数据,并且对其进行简单的操作。 打包项目 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到
* from KafkaSource; Kafka端口号: 集群的“认证模式”为“安全模式”时为“sasl.port”的值,默认为“21007”。 集群的“认证模式”为“普通模式”时为“port”的值,默认为“9092”。如果配置端口号为9092,则需要配置“allow.everyone