检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成客户端的安装和配置。 准备MapReduce开发和运行环境 准备工程 MapReduce提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个MapReduce工程。 导入并配置MapReduce样例工程 （可选）创建MapReduce样例工程
NameNode启动慢。 当出现这种现象时，您可以通过如下方式提升NameNode的启动速度。 删除大量文件时，不要立刻重启NameNode，待DataNode删除了对应的Block后重启NameNode，即不会存在这种情况。 您可以通过hdfs dfsadmin -report
应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 准备Spark连接集群配置文件 配置并导入样例工程 Spark提供了不同场景下的多种样例程序，用户可以可获取样例工程并
192.168.20.36”。 Kafka集群端口号安全模式下是21007，普通模式下是9092。 客户端ID：可以在登录Kafka客户端后执行以下命令，查看返回结果中“CLIENT-ID”参数值进行获取。例如获取到的客户端ID为“clientA”。 bin/kafka-consumer-groups
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上您可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路
样例：通过Loader将数据从OBS导入HDFS 操作场景 用户需要将大量数据从集群外导入集群内的时候，可以选择从OBS导入到HDFS的方式。 前提条件 已准备业务数据。 已创建分析集群。 操作步骤 将业务数据上传到用户的OBS文件系统。 获取用户的AK/SK信息，然后创建一个OBS连接和一个HDFS连接。
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外，还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路
Kafka样例程序开发思路 场景说明 Kafka是一个分布式消息系统，在此系统上用户可以做一些消息的发布和订阅操作，假定用户要开发一个Producer，让其每秒向Kafka集群某Topic发送一条消息，另外还需要实现一个Consumer，订阅该Topic，实时消费该类消息。 开发思路
锁定MRS集群用户 由于业务变化，用户可能长期暂停使用，为了保证安全，管理员可以锁定用户。锁定用户的方法包含以下两种方式： 自动锁定：通过设置密码策略中的“密码连续错误次数”，将超过登录失败次数的用户自动锁定。具体操作请参见配置MRS集群用户密码策略。 手动锁定：由管理员通过手动的方式将用户锁定。
通过“CSV文件输入”算子，生成两个字段A和B。 源文件如下图： 配置“随机值转换”算子，生成C、D、E三个字段： 转换后，按顺序输入这五个字段： 可以发现，每次生成的随机值都不一样。 父主题： Loader转换类算子
调整Hudi数据源性能 本章节适用于MRS 3.3.1及以后版本。 HetuEngine具备高速访问Hive、Hudi等数据源的能力。对于Hudi数据源调优，可以分为对Hudi表本身和对集群环境的调优。 Hudi表调优 可参考如下建议优化表和数据设计： 建表时尽量按照频繁使用的过滤条件字段进行分区。
7 修改密码有效期 “机机”用户密码随机生成，密码默认永不过期。 “人机”用户密码的有效期可以在Manager页面通过修改密码策略进行修改。 具体操作如下： “人机”用户密码有效期可以参考修改密码策略章节修改。 父主题： 用户认证及权限类
printStackTrace(); } } } } } 上述代码中各参数说明如表1所示： 表1 参数及参数说明 参数名称 参数说明 url jdbc:xxx://HSBroker1_IP:HSBroker1_Port
是，处理完毕。 否，执行6。 收集故障信息。 在主集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“OMS”，单击“确定”。 设置“主机”为告警所在节点和主OMS节点。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后30分钟，单击“下载”。
00尝试一次，直至MRS集群到期或者续费成功。 开通自动续费后，还可以手动续费该MRS集群。手动续费后，自动续费仍然有效，在新的到期时间前的第7天开始扣款。 自动续费的到期前7日自动扣款属于系统默认配置，您也可以根据需要修改此扣款日，如到期前6日、到期前5日等。 本章节主要介绍如
问题 解决Ranger界面无法正常搜索问题 解决Ranger界面登出后未重定向到登录页面的问题 补丁兼容关系 MRS 3.0.5.1补丁包中包含所有MRS 3.0.5单点问题修复补丁。 安装补丁的影响 MRS 3.0.5.1补丁安装过程中会自动重启Executor、Control
配置Flink任务进程参数 操作场景 Flink on YARN模式下，有JobManager和TaskManager两种进程。在任务调度和运行的过程中，JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对Flink应用
以下代码片段在com.huawei.bigdata.opentsdb.examples包的“OpentsdbExample”类的deleteData方法中。 样例代码获取方式请参考获取MRS应用开发样例工程。 代码样例： public void deleteData(String dataPoint)
操作场景 当打开一个HDFS文件时，句柄数限制导出，出现如下错误： IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员增加各用户的句柄数。该配置为操作系统的配
在Linux环境中调测JDBC或Session应用 操作场景 IoTDB应用程序支持在安装IoTDB客户端的Linux环境中运行。在程序代码完成开发后，您可以上传Jar包至准备好的Linux运行环境中运行。操作以Session程序为例，JDBC程序操作与Session程序一样。 前提条件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
