检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZooKeeper 升级到3.6.3版本。 管理控制台 支持补丁在线推送及更新。 支持包周期集群中的部分节点退订。 作业提交API新增支持FlinkSQL作业类型。 支持指定资源池的弹性伸缩能力。 Master主机规格升级功能支持多Master节点集群。 Bootstrap脚本支持以root用户身份执行。
fileInputStream = null; } } 获取ZooKeeper的IP列表和端口、集群的认证模式、HiveServer的SASL配置、HiveServer在ZooKeeper中节点名称、客户端对服务端的发现模式、以及服务端进程认证的principal。这些配置样例代码会自动从“hiveclient
name; 图2 执行结果 可在Yarn上查看执行的任务。 登录FusionInsight Manager页面，选择“集群 > 服务 > Yarn > 概览”，单击“ResourceManager WebUI”后面对应的链接，进入Yarn的WebUI页面，查看对应任务。 图3 作业任务
在“KafkaManager WebUI”右侧，单击URL链接，访问KafkaUI的页面。 单击“Topics”，进入Topic管理页面。可在当前页面进行如下操作： 在“Topic List”栏可查看当前集群已创建的Topic的名称、状态、分区数量、创建时间和副本个数等信息。 单击Topic名称
SQL防御概述 当前大数据领域的SQL引擎层出不穷，在带给解决方案多样性的同时，也暴露出一定的问题，例如SQL输入语句质量良莠不齐、SQL问题难定位、大SQL语句消耗资源过多等。 低质量的SQL会对数据分析平台系统带来不可预料的冲击，影响系统的性能或者平台稳定性。 SQL防御功能仅MRS
句柄使用率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 可自动清除 12053 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger
名称。进入ClickHouseServer“概览”页面，单击“配置文件”中的users.xml文件，查看ClickHouse用户密码。 命令中如果携带认证密码信息可能存在安全风险，在执行命令前建议关闭系统的history命令记录功能，避免信息泄露。 创建指定数据库只读权限角色，有如下两种方案：
参考获取MRS应用开发样例工程，获取样例代码解压目录中“src”目录下的样例工程文件夹“mapreduce-example-security”。 将在准备MRS应用开发用户时得到的user.keytab和krb5.conf文件以及准备运行环境时获取的集群配置文件复制到样例工程的“conf”目录下。 导入样例工程到IntelliJ
Streams完成单词统计功能，通过读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出。 创建MRS集群 购买一个包含有Kafka组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例，组件包含Hadoo
检查集群是否有非标修改组件配置的操作 询问客户是否有做过相关操作。 查看该客户档案，是否有记录相关非标操作。 是，需要详细评估补丁跟非标配置的兼容性。 否，检查结束。 检查集群是否有安装紧急补丁 登录客户集群的主备节点，进入“/home/omm”目录。 查看是否存在紧急补丁的目录，例如MRSxxx或者xxxpatch。
'test')); 描述 向表中插入新的数据行。 如果指定了列名列表，那么这些列名列表必须与query语句产生列表名完全匹配。表中不在列名列表中的每一列，其值会设置为null。 如果没有指定列名列表，则query语句产生的列必须与将要插入的列完全匹配。 使用insert into
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 TaskName 任务名称。 对系统的影响 周期备份任务失败，可能会导致长时间没有可用的备份包，在系统出现异常时，无法恢复。 可能原因 该告警产生原因依赖于该任务的详细情况，直接获取日志和任务详情来处理该告警。
同权限的角色将会用“|”合并。查询ACL权限时，将显示合并后的结果，与开启该功能前的显示会有区别。此操作不可逆，请充分考虑实际应用场景，再决定是否做出调整。 如果当前组件使用了Ranger进行权限控制，需基于Ranger配置相关策略进行权限管理，具体操作可参考添加Hive的Ranger访问权限策略。
数据。 原理：每次poll的数据处理完后才提交offset，如果poll数据后的处理时长超出了session.timeout.ms的设置时长，此时发生rebalance导致本次消费失败，已经消费数据的offset无法正常提交，所以下次重新消费时还是在旧的offset消费数据，从而导致消费数据重复。
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 产生告警的Flume Agent实例无法提供正常功能，定义在该实例下的数据传输任务暂时中断，对于实时数据传输，会丢失实时数据。
解决认证出现如下关键字：clock skew too great的问题 检查集群时间。 检查开发环境所在机器的时间，与集群时间的偏差应小于5分钟。 解决认证出现如下关键字：(Receive time out) can not connect to kdc server的问题 要检查“krb5.conf”文件
Kafka的Topic读写用户组。添加入本组的用户，拥有所有Topic的读写权限。 cdladmin CDL的管理员用户组，只有此组中的用户才可以访问CDL的API。 cdl CDL的普通用户组，属于该组的用户可以执行CDL的创建和查询操作。 storm Storm的普通用户组，
temTableDump”。 在“主机”中勾选需要获取的主机信息，单击“确定”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”。 收集异常故障日志时间长短可以咨询技术支持人员。 单击“下载”，实时转储的系统表会被保存在本地。 收集一键转储系统表日志 使用ro
Kakfa消费者读取单条记录过长问题 问题背景与现象 和“Kafka生产者写入单条记录过长问题”相对应的，在写入数据后，用户开发一个应用，以消费者调用新接口（org.apache.kafka.clients.consumer.*）到Kafka上读取数据，但读取失败，报异常大致如下：
迟网络环境中的可靠性，主要体现在以下方面： 降低读取延迟：通过同时从多个数据节点读取相同的数据块来降低总体读取时间。 适应网络变化：在网络条件不稳定或部分节点出现性能问题时，提高客户端的读取效率。 对系统的影响 多路读会增加网络流量和CPU使用率，由于需要处理更多的连接和请求，需
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
