检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包（例如自定义udf包）区分x86和TaiShan版本，如何让Spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端Spark2x
HetuEngine基本原理 HetuEngine简介 HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine结构 HetuEngine包含不同模块，整体结构如图1所示。
由于HBase的可扩展性，在查询表的时候，默认情况下会匹配被查询列的所有版本的值，即使被删除或被修改的值也可以查询出来。对于命中列失败的行（即在某一行中不存在该列），HBase会将该行查询出来。 如果用户仅需查询该表的最新值和命中列成功的行，可使用如下查询语句： scan '<table_name>'
维成本。为了解决上述问题，HetuEngine提供了自适应查询执行的功能，该功能会自适应地调度执行查询。 本章节介绍如何开启自适应查询执行功能。 开启HetuEngine自适应查询执行步骤 使用HetuEngine管理员用户登录Manager，选择“集群 > 服务 > HetuE
由于HBase的可扩展性，在查询表的时候，默认情况下会匹配被查询列的所有版本的值，即使被删除或被修改的值也可以查询出来。对于命中列失败的行（即在某一行中不存在该列），HBase会将该行查询出来。 如果用户仅需查询该表的最新值和命中列成功的行，可使用如下查询语句： scan '<table_name>'
资产识别与管理 通信安全授权 MRS服务通过管理控制台为用户发放、管理和使用大数据组件，大数据组件部署在用户的VPC内部，MRS管理控制台需要直接访问部署在用户VPC内的大数据组件时需要开通相应的安全组规则，而开通相应的安全组规则需要获取用户授权，此授权过程称为通信安全授权。 通
查询指定集群的标签 功能介绍 查询指定集群的标签信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v1.1/{project_id}/clusters/{cluster_id}/tags 表1 路径参数 参数 是否必选 参数类型 描述 cluster_id
使用UDF进行查询 支持的基础SQL语法 SLIMIT / SOFFSET LIMIT / OFFSET NON ALIGN 支持值过滤 支持时间过滤 UDF查询目前不支持对对齐时间序列“(Aligned Timeseries)”进行查询，若在SELECT子句中选择的序列中包含对齐时间序列时，会提示错误。
查询作业列表信息 功能介绍 在MRS指定集群中查询作业管理里提交的作业列表信息。 接口约束 无 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/clusters/{cluster_id}/job-executions 表1 路径参数 参数 是否必选
使用UDF进行查询 支持的基础SQL语法 SLIMIT / SOFFSET LIMIT / OFFSET NON ALIGN 支持值过滤 支持时间过滤 UDF查询目前不支持对对齐时间序列“(Aligned Timeseries)”进行查询，若在SELECT子句中选择的序列中包含对齐时间序列时，会提示错误。
Hue上执行Impala SQL查询中文报错 问题现象 Hue上执行Impala SQL，查询SQL结果中包含中文字符，出现报错“UnicodeDecodeError: 'utf-8' codec can't decode byte in position 0: unexpected
的数据处理模型类似于数据块处理模型，可以把静态数据库表的一些查询操作应用在流式计算中，Spark执行标准的SQL查询，从不断增加的无边界表中获取数据。 图8 Structured Streaming无边界表 每一条查询的操作都会产生一个结果集Result Table。每一个触发间
MRS集群用户鉴权策略 安全模式 大数据平台用户完成身份认证后，系统还需要根据实际权限管理配置，选择是否对用户进行鉴权，确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足，需要由系统管理员为用户授予各个组件对应的权限后，才能访问资源。安全模式或者普通模式集群均提供鉴权能力，组件的具体权限项在两种模式中相同。
交互式SQL查询。除了使用相同的统一存储平台之外，Impala还使用与Apache Hive相同的元数据，SQL语法（Hive SQL），ODBC驱动程序和用户界面（Hue中的Impala查询UI）。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补充
executor内存不足导致查询性能下降 现象描述 在不同的查询周期内运行查询功能，查询性能会有起伏。 可能原因 在处理数据加载时，为每个executor程序实例配置的内存不足，可能会产生更多的Java GC（垃圾收集）。当GC发生时，会发现查询性能下降。 定位思路 在Spark
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包(比如自定义udf包)区分x86和TaiShan版本，如何让spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端spark2x
通过数据应用，进行以下分析： 查看薪水支付币种为美元的雇员联系方式。 查询入职时间为2014年的雇员编号、姓名等字段，并将查询结果加载到新表中。 统计雇员信息共有多少条记录。 查询使用以“cn”结尾的邮箱的员工信息。 方案架构 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能
查询或者删除HDFS文件失败 问题背景与现象 使用HDFS的shell客户端查询或者删除文件失败，父目录可以看见此文件（不可见字符）。 图1 父目录文件列表 原因分析 可能是该文件写入时有异常，写入了不可见字符。可以将该文件名重定向写入本地文本中，使用vi命令打开。 hdfs dfs
第三方jar包跨平台（x86、TaiShan）支持 问题 用户自己写的jar包（例如自定义udf包）区分x86和TaiShan版本，如何让Spark2x支持其正常运行。 回答 第三方jar包（例如自定义udf）区分x86和TaiShan版本时，混合使用方案： 进入到服务端Spark2x
使用BulkLoad工具查询HBase表的行统计数 操作场景 HBase BulkLoad工具支持根据rowkey的命名规则、rowkey的范围、字段名以及字段值统计符合条件的行数。 操作步骤 直接执行如下命令统计满足如下条件的行数。rowkey在从“row_start”到“ro
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
