检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
务的详细信息,包括每个SQL的执行情况。 查看HetuEngine实例监控步骤 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页
x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > HBase”。 如果集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 MRS 3.x及后续版本,登录FusionInsight
Payload及EmptyHoodieRecordPayload。 useCache 是否在Spark中缓存表的relation,无需用户配置。为支持SparkSQL中对COW表增量视图查询,默认将COW表中该值置为false。 示例 创建非分区表 create table if
从控制台获取项目ID 在调用接口的时候,部分URL中需要填入项目编号(project_id),所以需要获取到项目编号。项目编号获取步骤如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 在“API凭证”页面的项目列表中查看项目ID。 多项目时,展开“所属区域”,从“项目ID”列获取子项目ID。
是,处理完毕。 否,执行2.a。 检查备集群HBase服务状态。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中单击该告警,从“告警详情”的“定位信息”处获得“HostName”。 登录主集群HBase客户端所在节点。执行以下命令切换用户: sudo su - root su
字符串函数和运算符 字符串运算符 ||表示字符连接 SELECT 'he'||'llo'; –hello 字符串函数 这些函数假定输入字符串包含有效的UTF-8编码的Unicode代码点。不会显式检查UTF-8数据是否有效,对于无效的UTF-8数据,函数可能会返回错误的结果。可以
为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表,在Spark SQL中执行插入数据的操作后,如果分区信息未改变,会出现Spark
为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表,在Spark SQL中执行插入数据的操作后,如果分区信息未改变,会出现Spark
afka集群某Topic发送一条消息,另外还需要实现一个Consumer,订阅该Topic,实时消费该类消息。 开发思路 使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 性能调优建议 建
为什么通过Spark SQL无法查询到存储类型为ORC的Hive表的新插入数据?主要有以下两种场景存在这个问题: 对于分区表和非分区表,在Hive客户端中执行插入数据的操作后,会出现Spark SQL无法查询到最新插入的数据的问题。 对于分区表,在Spark SQL中执行插入数据的操作后,如果分区信息未改变,会出现Spark
在IAM控制台创建用户组,并授予MRS服务对应权限。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择MRS服务,进入MRS主界面,单击右上角“购买集群”,尝试购买MRS
HBase常见问题 结束BulkLoad客户端程序,导致作业执行失败 如何修复长时间处于RIT状态的Region HMaster等待NameSpace表上线时超时退出 客户端查询HBase出现SocketTimeoutException异常 在启动HBase shell时报错“java.lang
的MRS CommonOperations策略权限在同步到Manager中后没有Hive相关权限,处理方法如下: 添加Hive服务完成。 登录IAM服务控制台,创建一个用户组,该用户组所绑定策略和提交作业用户所在用户组权限相同。 将提交作业的用户添加到新用户组中。 刷新MRS控制
public void init(ProcessorContext context) { // 在本地保留processor context,因为在punctuate()和commit()时会用到 this.context
database的语句切换数据库,重新在输入框内输入其他语句,为什么数据库没有切换过去? 回答 在Hue上使用Hive有区别于用Hive客户端使用Hive,Hue界面上有选择数据库的按钮,当前SQL执行的数据库以界面上显示的数据库为准。 与此相关的还有设置参数等session级别
32354 1575428400000,120.165421,30.314834 导入数据 GeoHash默认实现类扩展自定义索引抽象类。如果没有配置handler属性为自定义的实现类,则使用默认的实现类。用户可以通过扩展默认实现类来挂载geohash的自定义实现类。自定义索引抽象类方法包括:
GET/v2/{project_id}/autoscaling-policy/{cluster_id} mrs:cluster:policy √ √ 配置弹性伸缩规则 POST /v1.1/{project_id}/autoscaling-policy/{cluster_id} √ √ 更新用户代理信息
balance 普通版本 执行HDFS的balance命令前,需要在客户端执行su - hdfs命令。 问题2:执行balance失败,/system/balancer.id文件异常 问题详细: 在HDFS客户端启动一个Balance进程,该进程被异常停止后,再次执行Balance操作,操作会失败。
public void init(ProcessorContext context) { // 在本地保留processor context,因为在punctuate()和commit()时会用到 this.context
灵活的数据存储格式,支持JSON、CSV、TEXTFILE、RCFILE、ORCFILE、SEQUENCEFILE等存储格式,并支持自定义扩展。 多种客户端连接方式,支持JDBC接口。 Hive主要应用于海量数据的离线分析(如日志分析,集群状态分析)、大规模的数据挖掘(用户行为分析,兴趣分区,区域展示)等场景下。