检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
IDEA代码生成的jar包与工程依赖的jar包,合并导出可提交的source.jar。 打包Storm业务 提交拓扑 指导用户将开发好的程序提交运行。 提交Storm拓扑 查看程序运行结果 指导用户提交拓扑后查看程序运行结果。 查看Storm应用调测结果 父主题: Storm应用开发概述
total-timeout-ms 1800000(30分钟) 提交的总重试超时时间,单位为毫秒。 commit.status-check.num-retries 3 在连接丢失后检查提交是否成功的次数,在未知提交状态下失败。 commit.status-check.min-wait-ms 1000(1秒) 重
Scala开发环境的基本配置。版本要求:2.11.12。 安装Scala插件 Scala开发环境的基本配置。版本要求:1.5.4。 准备开发用户 参考准备Flink应用开发用户章节配置。 安装客户端 参考安装Flink客户端章节配置。 父主题: 准备Flink应用开发环境
IDEA代码生成的jar包与工程依赖的jar包,合并导出可提交的source.jar。 打包Strom应用业务 提交拓扑 指导用户将开发好的程序提交运行。 提交Storm拓扑 查看程序运行结果 指导用户提交拓扑后查看程序运行结果。 查看Storm应用调测结果 父主题: Storm应用开发概述
提供了Producer和Consumer相关API的使用样例,包含了新旧API和多线程的使用场景,帮助用户快速熟悉Kafka接口。 Kafka样例程序开发思路 编译并运行程序 指导用户将开发好的程序编译并打包,上传到VPC的Linux节点运行。 调测Kafka应用 查看程序运行结果
flag is false. (main) 审计日志 [<yyyy-MM-dd HH:mm:ss,SSS>] UserName:<用户名称> UserIP:<用户IP> Operation:<操作内容> Result:<操作结果> Detail:<具体信息> [2020-05-26 22:00:23]
文件“hive-site.xml”中,查看Hive的数据库路径的配置,默认为“/user/hive/warehouse”。Spark服务多实例默认数据库路径为“/user/hive/warehouse”,例如“/user/hive1/warehouse”。 <property>
} if (connection != null) { try { // 关闭Hbase连接. connection.close(); } catch (IOException e) {
MR分布式缓存功能无法使用 /user/hive 固定目录 Hive相关数据存储的默认路径,包含依赖的spark lib包和用户默认表数据存储位置等 否 用户数据丢失 /user/omm-bulkload 临时目录 HBase批量导入工具临时目录 否 HBase批量导入任务失败 /user/hbase
支持结构化数据模型。 通过结合所有以上属性,Kudu的目标是支持在当前Hadoop存储技术上难以实现或无法实现的应用。 Kudu的应用场景有: 需要最终用户立即使用新到达数据的报告型应用。 同时支持大量历史数据查询和细粒度查询的时序应用。 使用预测模型并基于所有历史数据定期刷新预测模型来做出实时决策的应用。
hetu.job.hdfs.monitor.dir 监控HetuEngine作业的大目录监控路径,不允许监控根目录。 如果需要监控的目录包含用户目录等可变目录使用/*/代替。 hdfs://hacluster/hetuserverhistory/*/coordinator/ hetu
支持结构化数据模型。 通过结合所有以上属性,Kudu的目标是支持在当前Hadoop存储技术上难以实现或无法实现的应用。 Kudu的应用场景有: 需要最终用户立即使用新到达数据的报告型应用。 同时支持大量历史数据查询和细粒度查询的时序应用。 使用预测模型并基于所有历史数据定期刷新预测模型来做出实时决策的应用。
HDFS分布式并行计算框架。Hive进行数据分析时,会将用户提交的HQL语句解析成相应的MapReduce任务并提交MapReduce执行。 Hive与Tez的关系 Tez是Apache的开源项目,它是一个支持有向无环图的分布式计算框架,Hive使用Tez引擎进行数据分析时,会将用户提交的HQL语句解析成相应的Tez任务并提交Tez执行。
进入IoTDB客户端,将1生成的Jar包导入到IoTDB客户端的lib目录下,如“/opt/client/IoTDB/iotdb/lib”。 上传准备集群认证用户信息获取到的用户认证文件“user.keytab”和“krb5.conf”到“客户端安装目录/IoTDB/iotdb/conf”目录下。 在IoT
heck.log Yarn resourcemanager的周期检查日志 hadoop.log Hadoop的客户端日志 env.log 实例启停前的环境信息日志。 审计日志 yarn-audit-<process_name>.log ranger-plugin-audit.log
工。 数据入库 建议使用CDL(增量实时同步)和Loader(批量同步)工具进行数据同步,也可选择HDFS外表(CK集群只支持X86平台)用户自己写调度程序进行数据导入。 父主题: ClickHouse数据库开发
通过API提交Spark作业后作业状态为error 用户问题 使用API提交Spark作业后,作业状态显示为error。 问题现象 修改“/opt/client/Spark/spark/conf/log4j.properties”中的日志级别,使用API V1.1接口作业提交后,状态显示为error。
异常。 解决这个问题的办法是使用所有schema演进版本来创建uber schema,并使用该schema作为target schema。用户可以从hive metastore中获取schema并将其与当前schema合并。 父主题: 数据写入
seconds(5))).sum)仅会保留中间结果;当用户使用自定义窗口时(window(SlidingEventTimeWindows.of(Time.seconds(20), Time.seconds(5))).apply(new UDF))保存所有的原始数据。 用户使用自定义SlidingEven
count(column_name) from table_name”。 JDBC超时限制 Hive提供的JDBC实现有超时限制,默认是5分钟,用户可以通过java.sql.DriverManager.setLoginTimeout(int seconds)设置,seconds的单位为秒。