检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'f1:c1','myvalue1'。 get 获取行的值或者行的指定cell的值。例如get 'test','r1'。 scan 查询表数据,参数中需指定表名和scanner,例如scan 'test'。 父主题: 使用HBase
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kafka-console-consumer.sh --topic
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kafka-console-consumer.sh --topic
Mapper<Object, Text, Text, IntWritable> { /** * map的输入,key为原文件位置偏移量,value为原文件的一行字符数据。 * 其map的输入key,value为文件分割方法InputFormat提供,用户不设置,默认 * 使用TextInputFormat。
检查HDFS上表目录下所有文件目录的权限,发现有一个目录权限为700(只有文件属主能够访问),确认存在异常目录。 解决办法 确认该文件是否为手动异常导入,如不是数据文件或目录,删除该文件或目录。 当无法删除时,建议修改文件或目录权限为770。 父主题: 使用Hive
list子命令显示provider中所有的密钥名,这个provider由用户在core-site.xml中配置或者由-provider参数指定。-metadata参数显示的是元数据。 表2 Colocation客户端Shell命令 操作 命令 描述 创建组 hdfs colocationadmin -createGroup
参考配置MRS集群通过IAM委托对接OBS完成存算分离集群配置后,Flume即可运行OBS作业。 本章节适用于MRS 3.x及之后的版本。 Flume对接OBS 创建用于存放数据的OBS文件夹。 登录OBS控制台。 单击“并行文件系统”进入并行文件系统页面。 在OBS控制台并行文件系统列表中,单击已新建的文件系统名称进入详情页面。
> 告警 > 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“磁盘IO利用率”的实时数据5分钟左右,若磁盘IO利用率多次超过设置的阈值,请联系MRS集群管理员提升磁盘配置。 如果无“磁盘IO利用率”图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。
> 告警 > 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“主机CPU使用率”实时数据5分钟左右,若CPU使用率多次超过设置的阈值,请联系MRS集群管理员提升CPU。 如果无对应图表,可单击右侧下拉三角,选择“定制”并勾选对应项,单击“确定”。
当监控的租户目录下的文件对象使用率超过用户自定义设置的阈值时触发该告警,但不影响对该目录继续写入文件。一旦超过该目录分配的最大文件对象个数,则HDFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的文件目录数上限不合理 处理步骤 查看阈值设置是否合理 查看告警定位信息,获取上报告警的租户名称,租户目录。
HetuEngine计算实例的queryInfo日志,SQL运行的统计信息。 清理日志 cleanup.log 清理脚本日志。 初始化日志 hetupg.log 元数据初始化日志。 ranger-trino-plugin-enable.log Ranger插件集成到HetuEngine内核的操作日志。 客户端日志
近似值聚合函数 在实际情况下,对大量数据进行统计时,有时只关心一个近似值,而非具体值,比如统计某产品的销量,这种时候,近似值聚合函数就很有用,它使用较少的内存和CPU资源,以便可以获取数据结果而不会出现任何问题,例如溢出到磁盘或CPU峰值。这对于数十亿行数据运算的需求很有用。 approx_median(x)
client命令连接,host参数为ELB的私有IP地址。 HTTP 8123 发送http请求到ELB连接ClickHouse场景时配置。 本章节演示如何实现客户端通过ELB访问ClickHouse。具体操作分为以下几个步骤: 步骤一:购买ELB并获取其私有IP地址。 步骤二:添加ELB监听器,配置协议端口。
此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。 说明: 为了保证数据的可靠性,HDFS中每保存一个文件则自动生成1个备份文件,即默认共2个副本。HDFS存储空间表示所有副本文件在HDFS中占用的磁盘空间大小
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kafka-console-consumer.sh --topic
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser)
Manager页面,在告警列表中,单击此告警所在行的,查看该告警的节点地址。 进入“主机”界面,单击告警的所在节点。 在界面观察“主机CPU使用率”实时数据5分钟左右,若CPU使用率多次超过设置的阈值,请联系MRS集群管理员提升CPU。 排查当前业务量是否处于高峰阶段。若处于高峰阶段导致该告警
> 告警”,在告警列表中展开此告警的详细信息,在定位信息中单击产生该告警的主机名称。 在主机的概览界面观察“每个读操作平均所需时间”的实时数据5分钟左右,若磁盘IO利用率多次超过设置的阈值,请联系MRS集群管理员提升磁盘配置。 如果无“每个读操作平均所需时间”图表,可单击右侧下拉
”,查看ZooKeeper实际使用的堆内存大小。 根据堆内存实际使用量,修改GC_OPTS参数中的-Xmx值,该值一般为Zookeeper数据容量的2倍。例如当前ZooKeeper堆内存使用达到2G,则GC_OPTS建议配置为“-Xms4G -Xmx4G -XX:NewSize=512M
在Flink的客户端或者服务端安装路径的lib目录下获取。 异步Checkpoint机制程序样例工程(Java/Scala) 向Kafka生产并消费数据程序样例工程(Java/Scala) kafka-clients-*.jar 由Kafka组件发布提供,可在Kafka组件客户端或者服务端安装路径下的lib目录下获取。