检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
API代码样例及Low level KafkaStreams API代码样例，通过Kafka Streams读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出，完成单词统计功能。 High level KafkaStreams
运行程序参数选择“--class”，值填写“org.apache.spark.examples.SparkPi”。 执行程序参数中填写的参数为： 10。 服务配置参数无需填写。 只有集群处于“运行中”状态时才能提交作业。 作业提交成功后默认为“已接受”状态，不需要用户手动执行作业。 查看作业执行结果。
Impala应用开发简介 Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据、SQL语法（Hive SQL）、ODBC驱动程序和
Impala应用开发简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序
配置参数 开源默认端口 定制默认端口 端口说明 port 9092 21005 Broker提供数据接收、获取服务 ssl.port 9093 21008 Broker提供数据接收、获取服务的SSL端口 sasl.port 21007 21007 Broker提供SASL安全认证端口，提供安全Kafka服务
登录华为云管理控制台。 在服务列表中选择“管理与监管 > 统一身份认证服务 IAM”。 选择“委托 > 创建委托”。 设置“委托名称”，例如：mrs_ecs_obs。 “委托类型”选择“云服务”，在“云服务”中选择“弹性云服务器ECS 裸金属服务器BMS”，授权ECS或BMS调用OBS服务，如图1所示。
eader分配给更优先的副本。 acks 1 需要Leader确认消息是否已经接收并认为已经处理完成。该参数会影响消息的可靠性和性能。 acks=0 ：如果设置为0，Producer将不会等待服务端任何响应。消息将会被认为成功。 acks=1 ：如果设置为1，当副本所在Leade
本章节内容适用于MRS 3.x及后续版本。 Flink从0.10.0版本开始提供了一套API可以将使用Storm API编写的业务平滑迁移到Flink平台上，只需要极少的改动即可完成。通过这项转换可以覆盖大部分的业务场景。 Flink支持两种方式的业务迁移： 完整迁移Storm业务：转换并运行完整的由Storm
业务1的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录，可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>，启动一个简易的文本服务器。
业务1的数据存储在Kafka组件中。向Kafka组件发送数据（需要有Kafka权限用户），并从Kafka组件接收数据。Kafka配置参见样例数据规划章节。 业务2的数据通过socket接收消息记录，可使用netcat命令用户输入模拟数据源。 使用Linux命令netcat -l -p <port>，启动一个简易的文本服务器。
kServer和客户端三种方式对接AOM服务，将Flink监控指标上传至AOM服务。 Flink对接AOM服务前提条件 已开通应用运维管理AOM服务。 MRS集群中已安装HDFS、Yarn、Kafka和Flink服务。 包含Flink服务的客户端已安装，例如安装路径为：/opt/client
setParallelism(2) //设置Zookeeper作为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler //添加NettySource算子，接收来自发布者的数据 env.addSource(new
Kudu应用开发简介 Kudu简介 Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： 能够快速处理OLAP工作负载。 支持与MapRe
csv”。 获取AK/SK信息。 将鼠标移到右上角登录用户名处，在下拉列表中选择“我的凭证”。 单击“访问密钥”页签，单击“新增访问密钥”，输入验证码或密码。单击“确定”，生成并下载访问密钥，在.csv文件中获取AK/SK信息。 导入OBS数据至Doris表中 登录安装了MySQL的节点，执行以下命令，连接Doris数据库。
其他社区开源jar包可从各Maven公共仓库下载。 开发者能力要求 您已经对大数据领域各组件具备一定的认识。 您已经对弹性云服务器的使用方式和MRS服务开发组件有一定的了解。 您已经对Maven构建方式具备一定的认识和使用方法有一定了解。 您已经对Java语法具备一定的认识。 MRS组件应用开发流程说明
Kafka与其他组件的关系 Kafka作为一个消息发布-订阅系统，为整个大数据平台多个子系统之间数据的传递提供了高速数据流转方式。 Kafka可以实时接受来自外部的消息，并提供给在线以及离线业务进行处理。 Kafka与其他组件的具体的关系如下图所示： 图1 与其他组件关系 父主题：
MRS集群用户认证策略 大数据平台用户需要对用户进行身份认证，防止不合法用户访问集群。安全模式或者普通模式的集群均提供认证能力。 安全模式 安全模式的集群统一使用Kerberos认证协议进行安全认证。Kerberos协议支持客户端与服务端进行相互认证，提高了安全性，可有效消除使用
图4 主页底部任务栏 服务状态预览区： 主页界面的左侧展示集群已安装服务组件列表信息，可查看当前集群已安装各服务的状态和告警情况。 每个服务名称左侧的表示当前该服务运行状态良好，表示当前服务启动失败，表示当前服务未启动。 同时服务名称右侧可查看当前该服务是否产生了告警，如果存在
么将会导致业务写入失败。 参数配置项为服务级配置需要重启Kafka，建议在变更窗口做服务级配置修改。 参数描述 如果业务需要保证高可用和高性能。 参考修改集群服务配置参数进入Kafka服务全部配置页面，在服务端配置如表1中参数。 表1 服务端高可用性和高性能参数说明 参数 默认值
createWordCountStream(final StreamsBuilder builder) { // 从 input-topic 接收输入记录 final KStream<String, String> source = builder.stream(INPUT_TOPIC_NAME);
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
