检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
deManager节点上有MySQL的mysqldump和mysqlimport命令,并且此两个命令所属MySQL客户端版本与MySQL服务器版本兼容,如果没有这两个命令或版本不兼容,请参考http://dev.mysql.com/doc/refman/5.7/en/linux-installation-rpm
topic是否正常写入数据。 sh kafka-console-consumer.sh --topic 主题名称 --bootstrap-server Kafka的Broker实例业务IP:Kafka端口号 --consumer.config 客户端目录/Kafka/kafka/config/consumer
M是在同一个进程下。 表1 安全认证方式 安全认证方式 说明 配置方法 Kerberos认证 当前只支持keytab认证方式。 从KDC服务器上下载用户keytab,并将keytab放到Flink客户端所在主机的某个文件夹下(例如/home/flinkuser/keytab)。
例如安装目录为“/opt/Flumeclient”。以下操作的客户端目录只是举例,请根据实际安装目录修改。 将Master1节点上的认证服务器配置文件,复制到安装Flume客户端的节点,保存到Flume客户端中“Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf”目录下。
Manager页面,具体请参见访问集群Manager,然后选择“服务管理”。 单击“下载客户端”。 “客户端类型”选择“仅配置文件”,“下载路径”选择“服务器端”,单击“确定”开始生成客户端配置文件,文件生成后默认保存在主管理节点“/tmp/MRS-client”。文件保存路径支持自定义。 图1
carbon.sort.size 500000 内存排序的数据大小。 carbon.enableXXHash true 用于hashkey计算的hashmap算法。 carbon.number.of.cores.block.sort 7 数据加载时块排序所使用的核数。 carbon
carbon.sort.size 500000 内存排序的数据大小。 carbon.enableXXHash true 用于hashkey计算的hashmap算法。 carbon.number.of.cores.block.sort 7 数据加载时块排序所使用的核数。 carbon
Manager,选择“集群 > 待操作集群的名称 > 服务 > Flume > 配置工具”。 图2 选择配置工具 “Agent名”选择“server”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、File
进入Spark客户端目录,调用bin/spark-submit脚本运行代码。 在运行样例程序时需要指定<zkQuorum>,<zkQuorum>指ZooKeeper服务器ip地址。 bin/spark-submit --class com.huawei.bigdata.spark.examples.SparkHivetoHbase
态枚举。 示例: status job -j 1 status job -j 1 -s create命令扩展属性 针对HDFS与SFTP服务器或RDB进行数据交换场景,MRS在开源sqoop-shell工具的基础上对create命令属性进行扩展,以达到在创建作业时指定行、列分隔符及转换步骤的目的。
regionserver.replication.handler.count 6 RegionServer上的replication RPC服务器实例数。 配置主集群Bulkload批量写数据容灾参数。 是否启用Bulkload批量写数据容灾功能? 是,执行5。 否,执行8。 选择“集群
过多的session连接意味着过多的查询和MR任务跑在HBase上,这会导致HBase性能下降以至于导致HBase拒绝服务。通过配置参数来限制客户端连接到HBase服务器端的session数目,来实现HBase过载保护。 HBase开源增强特性:容灾增强 主备集群之间的容灾能力可以增强HBase数据的高可用
IoTDB特指其中的时间序列数据库组件。 图3 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地或者远程的IoTDB中。用户还
<系统域名> 系统随机生成 ZooKeeper系统启动用户。 zkcli/hadoop.<系统域名> 系统随机生成 登录Zookeeper服务器用户。 oozie 系统随机生成 Oozie系统启动与Kerberos认证用户。 kafka/hadoop.<系统域名> 系统随机生成 用于Kafka安全认证。
IoTDB特指其中的时间序列数据库组件。 图2 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和服务器负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地或者远程的IoTDB中。用户还