检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
kafkaSessionization。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 object kafkaSessionization { def main(args: Array[String]):
在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse > Clickhouse Scope”,勾选对应数据库的创建权限。单击对应的数据库名称,根据不同任务场景,勾选对应表的“读”、“写”权限,单击“确定”保存。 单击“系统 > 权限 > 用户组 > 添加用户
kafkaSessionization。 当Streaming DataFrame/Dataset中有新的可用数据时,outputMode用于配置写入Streaming接收器的数据。 object kafkaSessionization { def main(args: Array[String]):
-Dmapreduce.job.hdfs-servers=hdfs://hacluster -fs obs://bucketname 1 1 执行以下命令写入数据到OBS: yarn jar 客户端安装目录/HDFS/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*
] ) CUBE ( column [, ...] ) ROLLUP ( column [, ...] ) 描述 从零个或多个表中检索行数据。 查询stu表的内容。 SELECT id,name FROM stu; 父主题: HetuEngine DQL SQL语法说明
TBLPROPERTIES ("hbase.table.name" = "thh"); 创建好的Hive表和HBase表分别保存在Hive的数据库“default”和HBase的命名空间“default”。 在MRS Manager角色管理界面创建一个角色,例如“hive_hbas
默认取值: 不涉及 offset 否 Integer 参数解释: 索引位置,从offset指定的下一条数据开始查询。查询第一页数据时,不需要传入此参数,查询后续页码数据时,将查询前一页数据时响应体中的值带入此参数。 约束限制: action为count时无此参数。如果action为filter默认为0。
false:单独提交作业 默认取值: 不涉及 file_action 否 String 参数解释: 数据导入导出。 约束限制: 不涉及 取值范围: import:导入数据 export:导出数据 默认取值: 不涉及 表15 ComponentConfig 参数 是否必选 参数类型 描述 component_name
界面报错或部分功能不可用。 例如: 使用当前用户登录Flink WebUI后,部分内容不能正常显示,且没有权限创建应用、创建集群连接、创建数据连接等: 使用当前用户访问HDFS WebUI报错:Failed to retrieve data from /jmx?qry=java.lang:type=Memory
默认值 mapreduce.reduce.shuffle.max-host-failures MR任务在reduce过程中读取远端shuffle数据允许失败的次数。当设置次数大于5时,可以降低客户端应用的失败率。该参数适用于MRS 3.x版本。 5 mapreduce.client.submit
Engine遵循该规范,并删除该子句的冗余用法,以避免对性能造成负面影响。 例如在执行INSERT语句时,ORDER BY子句不会对插入的数据产生影响,是个冗余的操作,会对整个INSERT语句的整体性能产生负面影响,因此HetuEngine会跳过ORDER BY操作。 ORDER
execute(QueryExecutorImpl.java:346) 回答 带有分区条件的查询,Hiveserver会对分区进行优化。 避免全表扫描,需要查询元数据符合条件的所有分区。 而gaussDB中提供的接口sendOneQuery,调用的sendParse方法中对参数的限制为32767。 如果分区条件数超过32767就异常。
是否开启CheckPoint。开启后,需配置以下内容: 时间间隔(ms):必填; 模式:必填; EXACTLY_ONCE:数据或事件仅会被算子处理一次; AT_LEAST_ONCE:数据或事件会被算子至少处理一次; 最小间隔(ms):输入值最小为10; 超时时间:输入值最小为10; 最大并发量:正整数,且不能超过64个字符;
态正常。 如集群已启用Kerberos认证,需提前创建HetuEngine的用户并授予相关权限,且需要通过Ranger为该用户配置操作数据源的数据库、表、列的管理权限。 配置HetuEngine SQL防御使用约束 防御规则默认动态生效时间为5分钟。 拦截和熔断规则会中断SQL查询,请根据实际业务配置合理的值。
产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 HBase存在损坏的StoreFile文件,可能会导致位于该文件上的数据丢失,业务查询数据可能出现不一致。 可能原因 StoreFile文件内容损坏。 处理步骤 在FusionInsight Manager首页,选择“运维
batchid=012345678901 如果运行的SQL脚本依赖数据的失效性,建议不启用断点重连机制,或者每次运行时使用新的batchid。因为重复执行时,可能由于某些SQL语句已经执行过了不再重新执行,导致获取到过期的数据。 如果SQL脚本中使用了一些内置时间函数,建议不启用断点重
batchid=012345678901 如果运行的SQL脚本依赖数据的失效性,建议不启用断点重连机制,或者每次运行时使用新的batchid。因为重复执行时,可能由于某些SQL语句已经执行过了不再重新执行,导致获取到过期的数据。 如果SQL脚本中使用了一些内置时间函数,建议不启用断点重
0.1 修复问题列表: MRS Manager 优化V2作业提交hive sql返回结果、解决委托token提交V2作业失败问题。 MRS大数据组件 MRS Hive解决hive server内存泄露问题:HIVE-10970、HIVE-22275。 补丁兼容关系 无 安装补丁的影响
等于未绑定的前导和未绑定的后续之间的范围。 例如:下面的查询将salary表中的信息按照每个部门员工工资的大小进行排序。 --创建数据表并插入数据 create table salary (dept varchar, userid varchar, sal double); insert
1048576 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。 用户尽量将数据做好存储规划,可以按时间、业务类型等分类,不要单个目录下直属的文件过多,建议使用默认值,单个目录下约100万条。 父主题: 使用HDFS