检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用，但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
建议使用新的API createDirectStream代替旧的API createStream进行应用程序开发。旧的API仍然可以使用，但新的API性能和稳定性更好。 /** * 参数解析: * <groupId>为客户的组编号。 * <brokers>为获取元数据的Kafka地址。
上述打包命令中的{maven_setting_path}为本地Maven的“settings.xml”文件路径。 打包成功之后，在工程根目录的target子目录下获取打好的jar包。 将导出的Jar包上传至Linux运行环境的任意目录下，例如“/optclient”。 将工程中的“lib
rest.UserManager.main(UserManager.java:120) 从日志信息中可以看到：执行UserManager类中的main方法时，依次调用loginAndAccess、sendHttpPostRequest、sendHttpGetRequest、send
第一次采集的数据中，第4列的数字是“rd_ios_old”，第8列的数字是“wr_ios_old”，第13列的数字是“tot_ticks_old”。 第二次采集的数据中，第4列的数字是“rd_ios_new”，第8列的数字是“wr_ios_new”，第13列的数字是“tot_ticks_new”。 则上图中svctm值为：
<batchTime>为Streaming分批的处理间隔。 // <windowTime>为统计数据的时间跨度,时间单位都是秒。 // <topics>为Kafka中订阅的主题，多以逗号分隔。 // <brokers>为获取元数据的kafka地址。 public class
数据。 原理：每次poll的数据处理完后才提交offset，如果poll数据后的处理时长超出了session.timeout.ms的设置时长，此时发生rebalance导致本次消费失败，已经消费数据的offset无法正常提交，所以下次重新消费时还是在旧的offset消费数据，从而导致消费数据重复。
SELECT操作可以进行一定的调优操作。 查询的数据是大量的小文件。 查询的数据是较多的大文件。 在Beeline/JDBCServer模式下使用非Spark用户操作。 操作步骤 可对INSERT...SELECT操作做如下的调优操作。 如果建的是Hive表，将存储类型设为Parquet，从而减少执行INSERT
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 TaskName 任务名称。 对系统的影响 周期备份任务失败，可能会导致长时间没有可用的备份包，在系统出现异常时，无法恢复。 可能原因 该告警产生原因依赖于该任务的详细情况，直接获取日志和任务详情来处理该告警。
Hudi/component_env kinit 创建的用户 新创建的用户需要修改密码，更改密码后重新kinit登录。 普通模式（未开启kerberos认证）无需执行kinit命令。 多服务场景下，在source bigdata_env之后，请先source Spark服务的component_env，再去source
ZooKeeper 升级到3.6.3版本。 管理控制台 支持补丁在线推送及更新。 支持包周期集群中的部分节点退订。 作业提交API新增支持FlinkSQL作业类型。 支持指定资源池的弹性伸缩能力。 Master主机规格升级功能支持多Master节点集群。 Bootstrap脚本支持以root用户身份执行。
9.3对接时存在Jetty兼容性问题如何处理？ 出于安全考虑，MRS对部分存在严重安全漏洞的开源三方组件进行了版本升级，导致开源Kylin与MRS 1.9.3版本进行对接时存在Jetty版本的兼容性问题。 按以下步骤进行操作可以完成部署和对接。 在一个ECS节点进行MRS Clie
打开FusionInsight Manager页面，看到Yarn服务的业务IP地址为192网段。 从Yarn的日志看到，Yarn读取的Spark Web UI地址为http://10.10.169.53:23011，是10网段的IP地址。由于192网段的IP和10网段的IP不能互通，所以导致访问Spark Web
打开FusionInsight Manager页面，看到Yarn服务的业务IP地址为192网段。 从Yarn的日志看到，Yarn读取的Spark Web UI地址为http://10.120.169.53:23011，是10网段的IP地址。由于192网段的IP和10网段的IP不能互通，所以导致访问Spark Web
Kafka的Topic读写用户组。添加入本组的用户，拥有所有Topic的读写权限。 cdladmin CDL的管理员用户组，只有此组中的用户才可以访问CDL的API。 cdl CDL的普通用户组，属于该组的用户可以执行CDL的创建和查询操作。 storm Storm的普通用户组，
Flink应用开发简介 简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi
Flink应用开发简介 组件介绍 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pi
以实际安装的补丁号为准。 例如： cd /opt/Bigdata/patches/MRS_3.1.0.0.16/client/ 安全集群需要认证对HDFS有权限的用户，普通集群无需执行： kinit {用户} 执行以下命令升级HDFS上的zip包： sh update_hdfs_file
temTableDump”。 在“主机”中勾选需要获取的主机信息，单击“确定”。 单击右上角的时间编辑按钮，设置日志收集的“开始时间”和“结束时间”。 收集异常故障日志时间长短可以咨询技术支持人员。 单击“下载”，实时转储的系统表会被保存在本地。 收集一键转储系统表日志 使用ro
当合并SummingMergeTree表的数据片段时，ClickHouse会把所有具有相同主键的行进行汇总，将同一主键的行替换为包含sum后的一行记录。 如果主键的组合方式使得单个键值对应于大量的行，则可以显著地减少存储空间并加快数据查询的速度。 AggregatingMergeTree
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
