检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
KafkaUI进程启动信息。 审计日志 audit.log KafkaUI服务审计日志。 鉴权日志 kafka-authorizer.log Kafka开源自带鉴权插件运行日志。 此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 ranger-authorizer
oker会向ZooKeeper注册,而Producer及Consumer会及时从ZooKeeper感知到这些变化,并做出调整。 Kafka开源特性 可靠性 提供At-Least Once,At-Most Once,Exactly Once消息可靠传递。消息被处理的状态是在Cons
成功后,可在DBeaver中查看HetuEngine已对接的数据源信息。 Hive对接外置自建关系型数据库 本实践介绍如何使用Hive对接开源MySQL和Postgres数据库。 在已有Hive数据的集群上外置元数据库后,之前的元数据表不会自动同步。因此在安装Hive之初就要确认
es.port:外部访问Elasticsearch集群端口,默认为9200。 es.resource:1创建的索引名称。 更多参数配置可参考开源社区文档https://www.elastic.co/guide/en/elasticsearch/hadoop/6.1/hive.html。
9440 --secure MRS 3.2.0-LTS及之前版本:普通模式的用户为默认的default用户,或者使用ClickHouse社区开源能力添加管理用户。不能使用在FusionInsight Manager页面创建的用户。 MRS 3.3.0-LTS及之后版本:普通模式可以使用在FusionInsight
进行控制。 Flink不涉及如客户端存储、WebWorker、WebRTC、WebSocket等安全风险。 安全声明 Flink的安全都为开源社区提供和自身研发。有些是需要用户自行配置的安全特性,如认证、SSL传输加密等,这些特性可能对性能和使用方便性造成一定影响。 Flink作
配额和存储空间配额来管理存储资源。 调度器介绍 多租户根据调度器类型分为开源的Capacity调度器和增强型Superior调度器,MRS集群默认即启用了Superior调度器。 Capacity调度器为开源的容量调节器。 Superior调度器为增强型,Superior取名源自
进行控制。 Flink不涉及如客户端存储、WebWorker、WebRTC、WebSocket等安全风险。 安全声明 Flink的安全都为开源社区提供和自身研发。有些是需要用户自行配置的安全特性,如认证、SSL传输加密等,这些特性可能对性能和使用方便性造成一定影响。 Flink作
配置”,搜索“SSL_NONESSL_BOTH_ENABLE”配置,将该配置修改为“true”并重启所有ClickHouse服务实例即可。 说明: 以上所使用的端口为开源端口,如果在创建集群时使用了定制端口策略,则请参考常见问题进行替换。 可执行clickhouse -h命令,查看ClickHouse组件命令帮助。
同时会启动应用程序DAG调度、Stage划分、Task生成。 然后Spark会把应用的代码(传递给SparkContext的JAR或者Python定义的代码)发送到Executor上。 所有的Task执行完成后,用户的应用程序运行结束。 图1 Spark应用运行架构 约束与限制 本章节仅适用于MRS
connect="192.168.234.231:2181" MRS中Kafka在ZooKeeper存储的ZNode是以/kafka为根路径,有别于开源。Kafka对应的ZooKeeper连接配置为192.168.234.231:2181/kafka。 Consumer中配置为ZooKeeper连接配置为192
--password --port 9440 --secure 输入用户密码 普通模式的用户为默认的default用户,或者使用 ClickHouse社区开源能力添加管理用户。不能使用在FusionInsight Manager页面创建的用户。 异常场景下登录客户端操作赋权 ClickHouse
导入结束,单击“Finish”,IDEA主页显示导入的样例工程。 图17 导入结束 图18 已导入工程 导入样例工程依赖的Jar包。 如果通过开源镜像站方式获取的样例工程代码,在配置好Maven后, 相关依赖jar包将自动下载,不需手动添加。 当样例代码使用其他FusionInsig
Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。
OWS\system32\drivers\etc\hosts”。 获取样例工程 通过开源镜像站获取样例工程。 下载样例工程的Maven工程源码和配置文件,并在本地配置好相关开发工具,可参考通过开源镜像站获取样例工程。 根据集群版本选择对应的分支,下载并获取MRS相关样例工程。 例
2-LTS.3", "MRS 3.1.5", "MRS 3.2.0-LTS.1" ] } SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
1/{project_id}/clusters/{cluster_id} 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
1/{project_id}/clusters/{cluster_id}/tags/{key} 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
个字符。 默认取值: 不涉及 请求参数 无 响应参数 无 请求示例 无 响应示例 无 SDK代码示例 SDK代码示例如下。 Java Python Go 更多 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
要给TM分配大的内存空间,否则容易导致作业异常。 外置维度表:将维度数据存在高速的K-V数据库中,通过远程的K-V查询实现点查关联,常用的开源K-V库有HBase。 状态维度表:将维度表数据当做流表,实时读入到流式作业当中,通过数据的回撤流能力实现维度更新和数据不对齐场景下的数据