检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建一个新表orders,使用子句with指定创建表的存储格式、存储位置、以及是否为外表。 通过“auto.purge”参数可以指定涉及到数据移除操作(如DROP、DELETE、INSERT OVERWRITE、TRUNCATE TABLE)时是否清除相关数据: "auto.purge"='true'时,清除元数据和数据文件。
Scala和Java语言)。 为了丰富样例代码,Java版本使用了Processing Time作为数据流的时间戳,而Scala版本使用Event Time作为数据流的时间戳。具体执行命令参考如下: 将Checkpoint的快照信息保存到HDFS。 Java bin/flink run
Hue常见问题 使用Hive输入use database语句失效 使用Hue WebUI访问HDFS文件失败 在Hue页面上传大文件失败 Hue WebUI中Oozie编辑器的时区设置问题 访问Hue原生页面时间长,文件浏览器报错Read timed out 父主题: 使用Hue(MRS
MRS集群节点类型包括Master节点、Core节点和Task节点。 Master节点:集群中的管理节点。分布式系统的Master进程和Manager以及数据库均部署在该节点;该类型节点不可扩容。该类型节点的处理能力决定了整个集群的管理上限,MRS服务支持将Master节点规格提高,以支持更大集群的管理。
保持写入的性能。使用该索引无法支持Flink和Spark交叉混写。 对于数据总量持续上涨的表,采用Bucket索引时,须使用时间分区,分区键采用数据创建时间。 参照Flink状态索引的特点,Hudi表超过一定数据量后,Flink作业状态后端压力很大,需要优化状态后端参数才能维持性
场景二:准备Linux环境运行程序所需配置文件。 在节点中安装客户端。 例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 获取配置文件: 登录FusionInsight Manager,选择“集群 > 概览 > 更多 > 下载客户
1版本为例,讲解如何使用永洪BI访问安全模式集群的HetuEngine。 方案架构 出于管理和信息收集的需要,企业内部会存储海量数据,包括数目众多的各种数据库、数据仓库等,此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。 HetuE
登录MRS控制台或FusionInsight Manager界面。 重启相关组件,可以采用重启集群或者重启组件方式。 方式一(推荐):重启集群,建议在业务空闲时间重启。 在FusionInsight Manager界面,选择“集群 > 概览 > 更多”,重启集群或者滚动重启集群,具体操作请参考重启MRS集群。
retain-seconds 汇聚日志的保存时间。单位:秒。 设置为-1时,表示HDFS上面的Container聚合日志将永久保留。 设置为0或正数时,表示HDFS上面的Container聚合日志将保留这段时间,超时将被删除。 说明: 当时间设置太短时,有可能会增加NameNode的
Scala和Java语言)。 为了丰富样例代码,Java版本使用了Processing Time作为数据流的时间戳,而Scala版本使用Event Time作为数据流的时间戳。具体执行命令参考如下: 将Checkpoint的快照信息保存到HDFS。 Java bin/flink run
导入”,将该文件导入后再修改非加密传输的相关配置项即可。 导入配置文件时,建议配置source/channel/sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。 表1 Flume角色客户端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一。 test spoolDir
导入”,将该文件导入后再修改非加密传输的相关配置项即可。 导入配置文件时,建议配置source/channel/sink的各自的个数都不要超过40个,否则可能导致界面响应时间过长。 表1 Flume角色客户端所需修改的参数列表 参数名称 参数值填写规则 参数样例 名称 不能为空,必须唯一。 test spoolDir
IoTDB进程启动日志。 prestart.log IoTDB进程启动异常日志。 service-healthcheck.log IoTDB数据库初始化日志。 start.log IoTDBServer服务启动日志。 stop.log IoTDBServer服务停止日志。 IoTDB
Scala和Java语言)。 为了丰富样例代码,Java版本使用了Processing Time作为数据流的时间戳,而Scala版本使用Event Time作为数据流的时间戳。具体执行命令参考如下: 将Checkpoint的快照信息保存到HDFS。 Java bin/flink run
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
小文件来减少输出文件数及执行重命名文件操作的时间,从而减少执行INSERT...SELECT语句的时间。 上述优化操作并不能解决全部的性能问题,对于以下场景仍然需要较多时间: 对于动态分区表,如果其分区数非常多,那么也需要执行较长的时间。 父主题: Spark SQL性能调优
TBLPROPERTIES ("hbase.table.name" = "thh"); 创建好的Hive表和HBase表分别保存在Hive的数据库“default”和HBase的命名空间“default”。 在MRS Manager角色管理界面创建一个角色,例如“hive_hbase
xml”文件,且根据实际集群情况配置所需要的参数。JDBCServer相关参数详情,请参见Spark JDBCServer接口介绍。 开发思路 在default数据库下创建child表。 把“/home/data”的数据加载进child表中。 查询child表中的数据。 删除child表。 运行前置操作
准备Linux环境运行程序所需配置文件。 在节点中安装客户端,例如客户端安装目录为“/opt/client”。 客户端机器的时间与集群的时间要保持一致,时间差小于5分钟。 下载客户端配置文件至集群主OMS节点。 MRS 3.3.0之前版本,登录FusionInsight Manager页面,选择“集群
参数 描述 是否必填 table 需要查询表的表名,支持database.tablename格式 是 log_file_path_pattern log file的路径,支持正则匹配 否 merge 执行show_logfile_records时,通过merge控制是否将多个log