检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修改该端口为9092(Kafka普通模式端口)。 检查网络是否正常,确保当前机器能够正常访问Kafka集群。 父主题: Kafka应用开发常见问题
登录FusionInsight Manager。 单击“主机”,查看主机列表信息。 在主机列表单击指定的主机名称,查看主机概览信息。 在主机详情页面,主要包含基本信息区、磁盘状态区、实例列表区和监控图表等。 单击“图表”页签,可直接查看该主机的全量监控图表信息。 图表页面可直接查看该主机的全量监控图表信息
/opt/client/Kafka/kafka/config/producer.properties 输入消息内容: 1,clw,33 输入完成后按回车发送消息。 WITH主要参数说明 配置项 是否必选 类型 描述 connector 必选 String 指定要使用的连接器,Kafka使用“kafka” topic
INTO TABLE person;。 执行命令!q退出。 由于Hive加载数据将HDFS对应数据目录清空,所以需再次执行1。 功能介绍 该样例主要分为三个部分。 从HDFS原文件中抽取name信息,查询HBase、Hive相关数据,并进行数据拼接,通过类MultiComponentMapper继承Mapper抽象类实现。
ger和集群的认证功能。 可能原因 LdapServer进程所在的节点网络故障。 LdapServer进程异常。 OS重启导致的LdapServer数据损坏。 处理步骤 检查LdapServer所在的节点网络是否故障。 登录MRS集群详情页面,选择“告警管理”。 记录该告警定位信
public class JDBCExampleFabric { private static Properties properties = new Properties(); private static void init() throws ClassNotFoundException
MemArtsCC会将热点数据存储在计算侧集群,可以起到降低OBS服务端带宽的作用。 提升存算分离架构访问数据的性能 利用MemArtsCC的本地存储,访问热点数据不必跨网络,可以提升Hadoop-OBS上层应用数据读取效率。 MemArtsCC与Spark的关系 Spark从OBS读取数据,OBSA会从Mem
所示。 表1 开发和运行环境 准备项 说明 操作系统 Windows系统,支持Windows 7以上版本。 本地开发环境需要和集群业务平面网络互通。 安装JDK 开发和运行环境的基本配置,版本要求如下: JDK版本号应该与用户要访问的FusionInsight Manager使用
代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。 private static void init() throws IOException { // Default load from conf
= "insert into " + dbName + "." + tableName + " values(?, ?, ?)"; private static void insert(Connection connection, String sql) throws Exception
角色名 产生告警的角色名称。 任务名 产生告警的作业名称。 对系统的影响 Flink作业RocksDB持续发生is-write-stopped,主要反应的是Flink作业的CheckPoint的性能,对FlinkServer本身没有影响。 可能原因 Flink作业RocksDB持续发生
重启服务完成后,等待2分钟查看告警是否自动恢复。 是,处理完毕。 否,执行7。 检查告警阈值配置或者平滑次数配置是否合理 登录FusionInsight Manager,基于实际数据库连接数使用率的情况,修改告警阈值和平滑次数配置项。选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > DBService
了Yarn或者HBase的配置来开启权限管理,则修改后也需要配置Yarn和HBase权限。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 前提条件 已完成Hive客户端的安装,例如安装目录为“/opt/client”。
把该值设置为false比true在写入性能上会更优。 true GC_OPTS HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。GC_OPTS主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议将Xms和Xmx设置成相同的值,这样可以避免JV
性能上会更优。 true GC_OPTS HBase利用内存完成读写操作。提高HBase内存可以有效提高HBase性能。“GC_OPTS”主要需要调整HeapSize的大小和NewSize的大小。调整HeapSize大小的时候,建议将Xms和Xmx设置成相同的值,这样可以避免JV
* @throws com.huawei.bigdata.hdfs.examples.ParameterException */ private void write() throws IOException { final String content = "hi, I
* @throws com.huawei.bigdata.hdfs.examples.ParameterException */ private void write() throws IOException { final String content = "hi, I
cluster语句在集群中创建表1中tableName参数值为表名的ReplicatedMerge表和Distributed表。 示例代片段参考如下: private void createTable(String databaseName, String tableName, String clusterName)
examples中的HdfsExample类。 /** * 追加文件内容 * * @throws java.io.IOException */ private void append() throws IOException { final String content = "I append
ogs/application_${appid}/container_{$contid}” 运行中的任务日志存储在以上路径中,运行结束后会基于YARN的配置是否汇聚到HDFS目录中,详情请参见Yarn常用配置参数。 日志归档规则: MapReduce的日志启动了自动压缩归档功能,