检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
中 - 大数据量的维度表建议采用HBase 数据量比较大，而且不要数据高一致的场景，可以采用HBase类的KV库提供维度表点查关联能力。 由于K-V库的数据需由另外的作业写入，与当前的Flink作业会存在一定的时差，容易导致当前Flink作业查询K-V库时不是最新的数据，且由于lo
会刷新最近一次全量备份的备份数据，所以不会产生新的恢复点。 在“备份配置”，勾选“元数据和其它数据”下的“HBase”。 在“HBase”的“路径类型”，选择一个备份目录的类型。 备份目录支持以下类型： “LocalDir”：表示将备份文件保存在主管理节点的本地磁盘上，备管理节点将自动同步备份文件。
复时刻之间的DBService数据。 MRS集群中默认使用DBService保存Hive、Hue、Loader、Spark、Oozie、CDL的元数据。恢复DBService的数据将恢复全部相关组件的元数据。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据
PyFlink样例程序代码说明 通过Python API的方式提交Flink读写Kafka作业到Yarn上代码样例 下面列出pyflink-kafka.py的主要逻辑代码作为演示，在提交之前需要确保“file_path” 为要运行的SQL的路径，建议写全路径。 完整代码参见“flink-
SQL中的行，位置比名称更重要。 支持从BOOLEAN、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、DOUBLE或VARCHAR进行转换。当数组的元素类型为支持的类型之一、Map的键类型是VARCHAR且Map的值类型是支持的类型之一或行的每个字段类
Storm业务拓扑配置GC参数不生效 问题背景与现象 业务拓扑代码中配置参数topology.worker.childopts不生效，关键日志如下： [main] INFO b.s.StormSubmitter - Uploading topology jar /opt/jar/example
告警级别 是否自动清除 19000 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 无法进行数据读写和创建表等操作。 可能原因 ZooKeeper服务异常。 HDFS服务异常。
slideInterval) 返回流中滑动窗口元素的个数。 reduceByWindow(func, windowLength, slideInterval) 当调用在DStream的KV对上，返回一个新的DStream的KV对，其中每个Key的Value根据滑动窗口中批次的reduce函数聚合得到。 join(otherStream
slideInterval) 返回流中滑动窗口元素的个数。 reduceByWindow(func, windowLength, slideInterval) 当调用在DStream的KV对上，返回一个新的DStream的KV对，其中每个Key的Value根据滑动窗口中批次的reduce函数聚合得到。 join(otherStream
>hive”，勾选“warehouse”的“读”、“写”和“执行”，单击“确定”保存。 编辑角色，在“配置资源权限”的表格中选择“待操作集群的名称 > Hive > Hive读写权限”，勾选“default”的“建表”，单击“确定”保存。 编辑角色，在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn
在“屏蔽设置”区域，选择指定的服务或模块。 单击待操作告警对应“操作”列的“屏蔽”，在弹出的对话框中单击“确定”，修改告警的屏蔽状态为“屏蔽”。 图3 屏蔽告警 可以在屏蔽列表上方筛选指定的告警。 如果需要取消屏蔽，可以单击指定告警后的“取消屏蔽”，在弹出的对话框中单击“确定”，修改告警的屏蔽状态为“显示”。
客户端默认使用安装目录下文件Version中的“wsom=xxx”所配置的浮动IP刷新客户端配置，如需刷新为其他集群的配置文件，请执行本步骤前修改Version文件中“wsom=xxx”的值为对应集群的浮动IP地址。 全量更新主Master节点的原始客户端 场景描述 用户创建集群时，默认在集群所有节点的“/opt
在“主页”选择所需要操作的集群的图表区的右上角，选择一个时间范围获取监控数据，例如“1周”。 默认为实时数据，无法导出。单击可以自定义监控数据时间范围。 在图表区的右上角，单击，在弹出菜单中选择“导出” 导出指定监控项数据 在“主页”选择所需要操作的集群的图表区任意一个监控报表窗格的右上角，单击。
要重启的服务，进入服务页面。在“服务状态”页签单击“更多”，选择“重启服务”或“滚动重启服务”。 在FusionInsight Manager界面，选择“集群 > 服务 > 待操作的服务名称”，单击右上角的“更多”，选择“重启服务”或“滚动重启服务”。 升级路径不一样重启的服务不一样，详情见如下表格。
可选参数，为本次执行的作业配置相关优化参数（例如线程、内存、CPU核数等），用于优化资源使用效率，提升作业的执行性能。 Spark作业常用的运行程序参数如表2所示，可根据执行程序及集群资源情况进行配置。 - 执行程序参数 可选参数，程序执行的关键参数，该参数由用户程序内的函数指定，MRS只负责参数的传入。
查询历史”，打开备份任务执行历史记录。 在弹出的窗口中，在指定一次执行成功记录的“备份路径”列，单击“查看”，打开此次任务执行的备份路径信息，查找以下信息： “备份对象”表示备份的数据源。 “备份路径”表示备份文件保存的完整路径。 选择正确的项目，在“备份路径”手工选中备份文件的完整路径并复制。 在FusionInsight
nkServer的jobs/action时报错。 解决Flink jar包写ClickHouse作业无法提交的问题。 解决Flink Join状态剔除的hint参数功能不生效的问题。 解决Flink作业报错信息不准确，日志显示的错误行数与作业SQL错误行数不一致的问题。 解决Fl
仅压缩单个检查点中的文件，即生成的文件数量至少与检查点数量相同。合并前的文件是不可见的，因此文件的可见性是：检查点间隔+压缩时间之后。如果压缩时间太长，将延长检查点的时间段。 表2 分区目录的文件合并 配置项 默认值 类型 描述 auto-compaction false Boolean 是否启用自动压缩。
Coordinator 资源使用 选取的队列中的coordinator资源使用情况。 Coordinator 资源使用率 选取的队列中的coordinator资源使用率。 Worker 资源使用 选取的队列中的worker资源使用情况。 Worker 资源使用率 选取的队列中的worker资源使用率。
Streams完成单词统计功能，通过读取输入Topic中的消息，统计每条消息中的单词个数，从输出Topic消费数据，将统计结果以Key-Value的形式输出。 创建MRS集群 购买一个包含有Kafka组件的MRS集群，详情请参见购买自定义集群。 本文以购买的MRS 3.1.0版本的集群为例，组件包含Hadoo
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
