检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建FlinkServer作业写入数据至Kafka消息队列 本章节适用于MRS 3.1.2及之后的版本。 操作场景 本章节介绍Kafka作为source表或者sink表的DDL定义，以及创建表时使用的WITH参数和代码示例，并指导如何在FlinkServer作业管理页面操作。 本示例以安全模式Kafka为例。
DataStream[String] 获取用户定义的Socket数据，作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter和maxRetry两个参数scala接口暂时不支持设置。 def addSource[T:
DataStream[String] 获取用户定义的Socket数据，作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter和maxRetry两个参数scala接口暂时不支持设置。 def addSource[T:
DataStream[String] 获取用户定义的Socket数据，作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter和maxRetry两个参数scala接口暂时不支持设置。 def addSource[T:
并实现毫秒级数据查询。 分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到MRS的流式集群中进行实时告警。
KerberosServer所有请求数”，查看告警的平滑次数和告警阈值是否设置合理。 是，执行7。 否，执行5。 根据实际请求数情况修改平滑次数和告警阈值，并应用修改后的规则。 等待2分钟，查看告警是否自动恢复。 是，处理完毕。 否，执行7。 收集故障信息 在FusionInsight Manager界面，选择“运维
DataStream[String] 获取用户定义的Socket数据，作为输入流数据。 hostname是指Socket的服务器端的主机名称。 port指的是服务器的监测端口。 delimiter和maxRetry两个参数scala接口暂时不支持设置。 def addSource[T:
60 内存参数设置 以下相关参数可以参考修改集群服务配置参数进入HDFS服务全部配置页面，搜索对应参数查看。 NameNode JVM参数配置规则 NameNode JVM参数“GC_OPTS”默认值为： -Xms2G -Xmx4G -XX:NewSize=128M -XX:MaxNewSize=256M
Manager增加大数据服务滚动重启能力。 MRS Manager新增文件句柄数量监控功能。 MRS Manager新增大数据组件发生重启事件上报功能。 MRS镜像 解决ECS VNC登录不停打印输出问题。 解决操作系统日志转储配置问题。 补丁兼容关系 包含1.7.1.5及之前发布的所有补丁解决的问题。 注意事项
解决ZK脏数据导致Yarn服务不可用问题 OBS包升级 JDK版本升级 解决Yarn的ResourceManager内存泄漏问题 增加对调用ECS getSecuritykey接口异常的监控 优化刷新临时AK/Sk流程 解决ResourceManager内存泄露问题 解决Hive union语句合并小文件报错问题
dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，如driver进程未正常退出，比如被kill -9命令结束进程，或者Java虚拟机直接崩溃等场景，导致driver的退出流程未正常执行，则可能导致该部分目录无法被正常清理，残留在系统中。 当前只有yarn-client模
dir被设置为/tmp，因此默认使用系统/tmp目录。 但存在一些特殊情况，如driver进程未正常退出，比如被kill -9命令结束进程，或者Java虚拟机直接崩溃等场景，导致driver的退出流程未正常执行，则可能导致该部分目录无法被正常清理，残留在系统中。 当前只有yarn-client模
regionserver.replication.handler.count 6 RegionServer上的replication RPC服务器实例数。 配置主集群Bulkload批量写数据容灾参数。 是否启用Bulkload批量写数据容灾功能？ 是，执行5。 否，执行8。 选择“集群
单击“Row Level Filter”，填写数据过滤规则。 例如过滤表A中“name”列“zhangsan”行的数据，过滤规则为：name <> 'zhangsan'。更多信息可参考Ranger官方文档。 如需添加更多规则，可单击按钮添加。 单击“Add”，在策略列表可查看策略的基本信息。
dataPattern="form"> <!-- 参数名：文件名 --> <!--校验规则：userName_13位数字_keytab.tar；区分大小写--> <parameter name="file_name"
使用子句[IN/FROM schema_name] 通过可选子句“LIKE”，筛选视图名满足规则运算表达式的视图，如果不使用这个子句，会列举所有视图。匹配的视图会按字母顺序排列。 目前规则运算表达式支持“*”或“%”用于匹配任何字符，下划线“_”用于匹配一个字符，或“|”用于条件连接两个或多个条件。
单击“Row Level Filter”，填写数据过滤规则。 例如过滤表A中“name”列“zhangsan”行的数据，过滤规则为：name <> 'zhangsan'。更多信息可参考Ranger官方文档。 如需添加更多规则，可单击按钮添加。 单击“Add”，在策略列表可查看策略的基本信息。
CarbonData常见配置参数 本章节介绍CarbonData所有常用参数配置的详细信息。 carbon.properties相关参数 根据用户实际使用场景在服务端或者客户端配置CarbonData相关参数。 服务端：登录FusionInsight Manager页面，选择“集群
准备本地应用开发环境 准备开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，推荐Windows 7以上版本。 运行环境：Windows或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
准备连接Kafka集群配置文件 准备集群认证用户信息 对于开启Kerberos认证的MRS集群，需提前准备具有相关组件操作权限的用户用于程序认证。 以下Kafka权限配置示例供参考，在实际业务场景中可根据业务需求灵活调整。 登录FusionInsight Manager。 选择“集群
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
