检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
bin/flink run --class com.huawei.bigdata.flink.examples.FlinkProcessingTimeAPIMain /opt/hadoopclient/FlinkCheckpointJavaExample.jar --chkPath hdfs:
iotdb-examples/iotdb-jdbc-example IoTDB JDBC处理数据Java示例程序。 本示例演示了如何使用JDBC接口连接IoTDB,并执行IoTDB SQL语句。 iotdb-examples/iotdb-kafka-example 通过Kafka访问IoTDB数据的示例程序。
系则保存在组件侧。 MRS使用Kerberos进行统一认证。 用户权限校验流程大致如下: 客户端(用户终端或MRS组件服务)调用MRS认证接口。 MRS使用登录用户名和密码,到Kerberos进行认证。 如果认证成功,客户端会发起访问服务端(MRS组件服务)的请求。 服务端会根据登录的用户,找到其属于的用户组和角色。
on '/tmp/hudi/h1'; run compaction on '/tmp/hudi/h1'; 注意事项 使用hudi-cli或API方式对SQL创建的Hudi表触发Compaction时需要添加参数hoodie.payload.ordering.field为preCombineField的值。
同步MRS集群配置 某个新的配置需要同时下发到集群所有服务,或修改某项配置后导致多个不同服务的“配置状态”为“配置过期”或“失败”时,表示这些服务的配置参数值未同步且未生效,集群管理员可以对集群执行同步配置功能,并在同步配置后重启相关服务实例,使所有服务启用新的配置参数。 前提条件
ionMaster启动失败问题。适用于所有ApplicationMaster的全局设置。每个ApplicationMaster都可以使用API设置一个单独的最大尝试次数,但这个次数不能大于全局的最大次数。如果大于,ResourceManager将会覆写这个单独的最大尝试次数。以允许至少一次重试。取值范围大于等于1。
--consumer.config <config file> 业务代码排查: 查看客户端里有没有提交offerset的报错。 如果没有报错把消费的API里加上打印消息,打印少量数据(只打印key即可),查看丢失的数据。 父主题: 使用Kafka
资源不足导致的AM启动失败问题。适用于所有ApplicationMaster的全局设置。每个ApplicationMaster都可以使用API设置一个单独的最大尝试次数,但这个次数不能大于全局的最大次数。如果大于了,那ResourceManager将会覆写这个单独的最大尝试次数。
搭建样例运行环境。 获取运行样例程序时python依赖,请从https://pypi.org/地址中搜索下载decorator、gssapi、kerberos、krbcontext、pure-sasl、thrift包(未开启Kerberos认证的普通集群仅需安装thrift包)
CarbonData表用户权限说明 下表提供了对CarbonData Table执行相应操作所需的Hive ACL特权的详细信息。 前提条件 已经设置了表5或表6中Carbon相关参数。 Hive ACL权限 表1 CarbonData表级操作所需的Hive ACL权限 场景 所需权限
CarbonData表用户权限说明 下表提供了对CarbonData Table执行相应操作所需的Hive ACL特权的详细信息。 前提条件 已经设置了表5或表6中Carbon相关参数。 Hive ACL权限 表1 CarbonData表级操作所需的Hive ACL权限 场景 所需权限
iotdb-examples/iotdb-jdbc-example IoTDB JDBC处理数据Java示例程序。 本示例演示了如何使用JDBC接口连接IoTDB,并执行IoTDB SQL语句,相关样例介绍请参见IoTDB JDBC样例程序。 iotdb-examples/iotdb-kafka-example
),它的原理是在CPU寄存器层面实现数据的并行操作。 关系模型与SQL查询 ClickHouse完全使用SQL作为查询语言,提供了标准协议的SQL查询接口,使得现有的第三方分析可视化系统可以轻松与它集成对接。 同时ClickHouse使用了关系模型,所以将构建在传统关系型数据库或数据仓库之上
了数据结构和数据内容,Time就是该数据的逻辑时间。 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在MRS产品中进行API方式认证。 父主题: Storm应用开发概述
MapReduce是运行在Yarn之上的一个批处理的计算框架。MRv1是Hadoop 1.0中的MapReduce实现,它由编程模型(新旧编程接口)、运行时环境(由JobTracker和TaskTracker组成)和数据处理引擎(MapTask和ReduceTask)三部分组成。该框
8 发布时间 2020-08-04 解决的问题 MRS 2.1.0.8 修复问题列表: MRS Manager 解决委托访问OBS,ECS接口限流问题 MRS Manager支持多人登录 支持全链路监控 MRS大数据组件 carbon2.0升级 解决HBASE-18484问题 MRS
包含了数据结构和数据内容,Time就是该数据的逻辑时间。 keytab文件 存放用户信息的密钥文件。应用程序采用此密钥文件在组件中进行API方式认证。 父主题: Storm应用开发概述
bin/flink run --class com.huawei.flink.example.checkpoint.FlinkProcessingTimeAPIChkMain /opt/Flink_test/flink-examples-1.0.jar --chkPath hdfs://haclu
管理Kafka Topic中的消息 操作场景 用户可以根据业务需要,使用MRS集群客户端,在Kafka主题中产生消息,或消费消息。 前提条件 已安装集群客户端。 启用Kerberos认证的集群,需要提前在Manager中创建业务用户,用户拥有在Kafka主题中执行相应操作的权限。
ALM-50230 Doris BE连接OBS不可用 告警解释 系统每30秒周期性检查Doris BE实例节点对OBS的连接是否可用,当检查到连接状态码非零时,产生该告警。 当检测到连接状态码为零时,告警恢复。 该告警仅适用于MRS 3.3.1及之后版本。 告警属性 告警ID 告警级别