检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Storm Bolt 功能介绍 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能：过滤、聚合等。
由于有安全攻击的隐患，所以默认是无法提交SSH作业的，如果想使用SSH功能，需要手动开启。
创建Storm Bolt 功能介绍 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能：过滤、聚合等等。
流程分解 根据上述的业务场景进行功能分解，需要开发的功能点如表1所示。 表1 在Manager中开发的功能 序号 步骤 代码实现 1 添加用户 请参见添加Manager用户。 2 查找用户 请参见查找Manager用户。 3 修改用户 请参见修改Manager用户。
对系统的影响 HetuEngine服务异常，无法通过FusionInsight Manager对HetuEngine集群进行操作，无法使用HetuEngine服务功能。
由于有安全攻击的隐患，所以默认是无法提交SSH作业的，如果想使用SSH功能，需要手动开启。
配置Hive目录旧数据自动移除至回收站 开启Hive目录旧数据自动移除至回收站功能，执行写目录insert overwrite directory "/path1" ...命令成功之后，会将旧数据移除到回收站，并且同时限制该目录不能为Hive元数据库中已经存在的数据库路径。
创建Strom Bolt 功能介绍 所有的消息处理逻辑都被封装在各个Bolt中。Bolt包含多种功能：过滤、聚合等等。
Producer偶现发送数据失败，日志提示“Too many open files in system” 问题背景与现象 在使用Producer向Kafka发送数据功能时，发现客户端发送失败。 图1 Producer发送数据失败 可能原因 Kafka服务异常。 网络异常。
表1 HDFS文件系统目录结构 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark2x/sparkhive-scratch 固定目录 存放Spark2x JDBCServer中metastore session临时文件 否 任务运行失败 /tmp/sparkhive-scratch
HIndexImportTsv继承了HBase批量加载数据工具ImportTsv的所有功能。此外，若在执行HIndexImportTsv工具之前未建表，直接运行该工具，将会在创建表时创建索引，并在生成用户数据的同时生成索引数据。
回答 JDBCServer方式使用了ShuffleService功能，Reduce阶段所有的Executor会从NodeManager中获取数据，当数据量达到一个级别（10T级别），会出现NodeManager单点瓶颈（ShuffleService服务在NodeManager进程中
日志介绍 日志描述 日志存储路径：“/var/log/Bigdata/zookeeper/quorumpeer”（运行日志），“/var/log/Bigdata/audit/zookeeper/quorumpeer”（审计日志） 日志归档规则：ZooKeeper的日志启动了自动压缩归档功能
日志归档规则：Hue的日志启动了自动压缩归档功能，默认情况下，当“access.log”、“error.log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候，会自动压缩。
日志归档规则：Tez的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。
DataArts Studio是数据全生命周期一站式开发运营平台，提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能。
日志归档规则：Hue的日志启动了自动压缩归档功能，默认情况下，当“access.log”、“error.log”、“runcpserver.log”和“hue-audits.log”大小超过5MB的时候，会自动压缩。
HIndexImportTsv继承了HBase批量加载数据工具ImportTsv的所有功能。此外，如果在执行HIndexImportTsv工具之前未建表，直接运行该工具，将会在创建表时创建索引，并在生成用户数据的同时生成索引数据。
日志介绍 日志描述 日志存储路径：“/var/log/Bigdata/zookeeper/quorumpeer”（运行日志），“/var/log/Bigdata/audit/zookeeper/quorumpeer”（审计日志） 日志归档规则：ZooKeeper的日志启动了自动压缩归档功能
配置MRS集群作业消息通知 MRS联合消息通知服务（SMN），采用主题订阅模型，提供一对多的消息订阅以及通知功能，能够实现一站式集成多种推送通知方式（短信和邮件通知）。通过配置作业消息通知可以实现您在作业执行成功或作业执行失败时能立即接收到通知。 登录管理控制台。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
