检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
支持结构化数据模型 通过结合所有以上属性,Kudu的目标是支持在当前Hadoop存储技术上难以实现或无法实现的应用。 Kudu的应用场景有: 需要最终用户立即使用新到达数据的报告型应用 同时支持大量历史数据查询和细粒度查询的时序应用 使用预测模型并基于所有历史数据定期刷新预测模型来做出实时决策的应用
约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 arguments String 参数解释: 程序执行的关键参数。 约束限制: 该参数由用户程序内的函数指定,MRS只负责参数的传入。 取值范围: 该参数可为空。 默认取值: 不涉及 hql String 参数解释: HQL脚本语句。
Topic每秒输入的消息条数 Topic每秒的fetch请求数 Topic每秒的produce请求数 支持查询Broker ID与节点IP的对应关系。在Linux客户端下,使用kafka-broker-info.sh查询Broker ID与节点IP的对应关系。 父主题: Kafka
/opt/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS集群用户 例如:kinit opentsdbuser 执行tsdb命令。例如执行tsdb可以打印出当前
变换成为电信号或其他所需形式的信息输出并发送给IoTDB。在IoTDB当中,存储的所有的数据及路径,都是以传感器为单位进行组织。 存储组 用户可以将任意前缀路径设置成存储组。如果有4条时间序列,如“root.vehicle.d1.s1”、“root.vehicle.d1.s2”、“root
、 脚本日志和审计日志。运行日志每个文件最大20M,最多20个。审计日志每个文件最大20M,最多20个。 “oozie.log”日志每小时生成一个日志压缩文件,默认保留720个(一个月的日志)。 表1 Oozie日志列表 日志类型 日志文件名 描述 运行日志 jetty.log
、 脚本日志和审计日志。运行日志每个文件最大20M,最多20个。审计日志每个文件最大20M,最多20个。 “oozie.log”日志每小时生成一个日志压缩文件,默认保留720个(一个月的日志)。 表1 Oozie日志列表 日志类型 日志文件名 描述 运行日志 jetty.log
7及以上版本。 安装JDK 开发环境的基本配置。版本要求:1.8及以上。 安装和配置Eclipse 用于开发OpenTSDB应用程序的工具。 网络 确保客户端与OpenTSDB服务主机在网络上互通。 父主题: 准备OpenTSDB应用开发环境
rquet文件完成。 优点:读取时,只读取对应分区的一个数据文件即可,较为高效。 缺点:数据写入的时候,需要复制一个先前的副本再在其基础上生成新的数据文件,这个过程比较耗时。且由于耗时,读请求读取到的数据相对就会滞后。 Merge On Read 读时合并表也简称mor表,使用列
/opt/FI-Client/Spark2x/spark/examples/jars/spark-examples_2.12-3.1.1-xxx.jar 用户调试时需要把--class和jar包换成自己的程序,-Xdebug -Xrunjdwp:transport=dt_socket,server=y
sg.d1.s2)” 和“ example(root.sg.d1.s2, root.sg.d1.s2)”的结果。 带自定义输入参数的查询 用户可以在进行UDF查询的时候,向UDF传入任意数量的键值对参数。键值对中的键和值都需要被单引号或者双引号引起来。 键值对参数只能在时间序列后传入。
本操作以安装MySQL 8.0.22客户端连接Doris为例进行演示。 前提条件 待安装MySQL客户端的节点与MRS集群网络互通。 操作步骤 以root用户登录待安装MySQL客户端的节点。 执行以下命令查看MySQL客户端依赖库ncurses-libs的版本: rpm -qa | grep ncurses
”。 收集异常故障日志时间长短可以咨询技术支持人员。 单击“下载”,实时转储的系统表会被保存在本地。 收集一键转储系统表日志 使用root用户后台登录任一ClickHouseServer节点,进入到sbin目录下。 cd ${BIGDATA_HOME}/FusionInsight
通过Hue创建Sqoop任务将数据从HBase导入HDFS时报错 用户问题 利用Hue的Sqoop操作把HBase中的数据导入HDFS时报错: Caused by: java.lang.ClassNotFoundException: org.apache.htrace.Trace
OVERWRITE:如果使用了这个关键字,目标表(或分区)的数据将被删除,并使用文件中读取的数据来替代。 限制 如果要加载数据到指定分区,用户必须在partition子句中列出表的所有字段。 不支持复杂类型数据,比如Array,Map等。 不支持外部表(external)。 数据文件的格式应当与目标表的文件格式一样。
置。 调整元数据缓存配置可参考调整HetuEngine元数据缓存。 调整动态过滤配置可参考调整HetuEngine动态过滤。 调优案例 某用户使用Hudi MOR表存储其设备的订单出借信息,可通过订单号查询订单详细信息,每天订单量相对稳定,部分节假日可能存在小高峰,该场景存在以下特点:
SparkPi,opt/client/Spark/spark/examples/jars/spark-examples-<version>.jar:用户调试时需要换成自己的主类和jar包路径。 -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y
perm=null proto=rpc | FSNamesystem.java:8189 如上日志说明:192.168.1.22 节点的appUser用户删除了/user/sparkhive/warehouse/daas/dsp/output/_temporary。 可以使用zgrep "文件名"
对于不同类型的应用,希望以不同方式处理AM重启的事件。MapReduce类应用的目标是不丢失任务,但允许丢失当前运行的Container。但是对于长周期的YARN服务而言,用户可能并不希望由于AM的故障而导致整个服务停止运行。 YARN支持在新的ApplicationAttempt启动时,保留之前Containe
8或以上、Maven 3.3.9或以上 安装和配置Eclipse或IntelliJ IDEA 用于开发Alluxio应用程序的工具。 网络 确保客户端与Alluxio服务主机在网络上互通。 父主题: 准备Alluxio应用开发环境