检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
brokers); // 通过brokers和topics直接创建kafka stream // 1.接收Kafka中数据，生成相应DStream JavaDStream<String> lines = KafkaUtils.c
实现。 本实践基于华为云MapReduce服务，用于指导您创建MRS集群后，使用Hive对原始数据进行导入、分析等操作，展示了如何构建弹性、低成本的离线大数据分析。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进
nk集群性能做优化。 操作步骤 配置JobManager内存。 JobManager负责任务的调度，以及TaskManager、RM之间的消息通信。当任务数变多，任务平行度增大时，JobManager内存都需要相应增大。 您可以根据实际任务数量的多少，为JobManager设置一个合适的内存。
隔离主机、启动所有角色、停止所有角色 支持 支持 下载客户端、启动服务、停止服务、滚动重启服务 支持 支持 查看服务实例状态、参数配置、同步配置 支持 支持 查看清除告警、查看事件 支持 支持 查看告警帮助 支持 支持 阈值类告警的阈值设置 不支持 支持 添加消息订阅规格 支持 不支持 文件管理 支持 不支持
为Kafka服务端端口。 说明业务层作为客户端连接Kafka获取消息，业务端口分配通过OS的随机端口分配范围来确定。 通过cat /proc/sys/net/ipv4/ip_local_port_range命令查看随机端口范围。 发现随机端口范围过大，和MRS的服务端口范围存在冲突。
sumer消费的partition列表等，同时也用来发现broker列表，并和partition leader建立socket连接，并获取消息。 父主题： ZooKeeper
Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组（无穷）元素的集合，流上的每个元素都属于同一个schema；每个元素都和逻辑时间有关；即流包含了元
已准备具有创建MRS集群权限的IAM用户，详细操作请参见创建IAM用户并授权使用MRS。 步骤一：创建MRS集群 进入购买MRS集群页面。 在服务列表中搜索“MapReduce服务 MRS”，进入MRS服务管理控制台。 单击“购买集群”，进入“购买集群”页面，选择“快速购买”页签。 根据实际业务规划情况填写集群配
3.0及之后版本集群请在“主页”右上方单击“下载客户端”），“选择客户端类型”设置为“完整客户端”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
3.0及之后版本集群请在“主页”右上方单击“下载客户端”），“选择客户端类型”设置为“完整客户端”，根据待安装客户端节点的节点类型选择正确的平台类型后（x86选择x86_64，ARM选择aarch64）单击“确定”，等待客户端文件包生成后根据浏览器提示下载客户端到本地并解压。 例如
MRS服务普通用户权限，拥有该权限的用户可以拥有MRS服务使用权限，无新增、删除资源权限。 细粒度策略 MRS ReadOnlyAccess MRS服务只读权限，拥有该权限的用户仅能查看MRS的资源。 细粒度策略 MRS Administrator 操作权限： 对MRS服务的所有执行权限。
Bolt 在一个Topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。 Tuple 一次消息传递的基本单元。 Stream 流是一组（无穷）元素的集合，流上的每个元素都属于同一个schema；每个元素都和逻辑时间有关；即流包含了元
操作步骤 登录Kafka服务所在Manager页面，选择“系统 > 权限 > 用户 > 添加用户”，创建一个具有Kafka权限的人机用户，例如创建人机用户ck_user1，首次使用需要修改初始密码。Kafka用户权限介绍请参考Kafka用户权限说明。 选择“集群 > 服务 > Kafka
参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 磁盘名 产生告警的磁盘名。 对系统的影响 磁盘慢盘故障，导致业务性能下降，阻塞业务的处理能力，严重时可能会导致服务不可用。 可能原因 磁盘老化或者磁盘坏道。
conf”文件。将“user.keytab”文件重命名为“clickhouse_to_kafka.keytab”。 登录ClickHouse服务所在集群的Manager页面，选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer（角色） > 引擎”，修改如下参数：
产生告警的主机名。 对系统的影响 告警长期存在时，会导致Manager频繁主备倒换，用户无法正常登录FusionInsight Manager平台，无法进行正常运维操作。 httpd进程持续重启，可能引起无法访问服务原生UI界面。 可能原因 httpd进程异常。 处理步骤 检查httpd进程是否异常。
taskmanager.network.netty.sendReceiveBufferSize: 0 # netty的传输方式，默认方式会根据运行的平台选择合适的方式 taskmanager.network.netty.transport：auto 内存总体调优 Flink内部对内存进行了
productNameIndexTable”的二级表并加载所提供列的索引信息。 系统响应 将创建二级索引表，加载与所提供的列相关的索引信息到二级索引表中，并将成功消息记录在系统日志中。 父主题： DML
DateTime DECIMAL Decimal 前提条件 集群中已安装ClickHouse、HDFS、Yarn、Flink和Kafka等服务。 客户端已安装，例如安装路径为：/opt/client。 创建作业步骤 使用root用户登录安装客户端的节点。 执行以下命令，切换到客户端安装目录。
parquet_mngd; 注意事项 为了更好的加载数据性能，CTAS使用bulk insert作为写入方式。 系统响应 Table创建成功，创建成功的消息将被记录在系统日志中。 父主题： Hudi DDL语法说明
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
