检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Export作业只会导出Base表的数据,不会导出Rollup Index的数据。 Export作业会扫描数据,占用I/O资源,可能会影响系统的查询延迟。 语法介绍 导出Doris数据到HDFS 集群已启用Kerberos认证(安全模式) EXPORT TABLE db1.tbl1 PARTITION
控制应用程序。此外,MRS集群管理员可指定队列管理员和集群系统管理员。 动态更新配置文件。MRS集群管理员可根据需要动态修改配置参数以实现在线集群管理。 Capacity Scheduler中每个队列可以限制资源使用量。队列间的资源分配以使用量作为排列依据,使得容量小的队列有竞争
validate(UDFParameterValidator validator) throws Exception 在初始化方法“beforeStart”调用前执行,用于检测“UDFParameters”中用户输入的参数是否合法。 否 void beforeStart(UDFParameters parameters
ml文件来定义和部署拓扑,并且最终通过storm jar命令来提交拓扑的一种方式,极大地方便了拓扑的部署和提交,缩短了业务开发周期。 基本语法说明 使用Flux定义拓扑分为两种场景,定义新拓扑和定义已有拓扑。 使用Flux定义新拓扑 使用Flux定义拓扑,即使用yaml文件来描述
编程接口,向下兼容多种不同的数据源,例如Parquet、JSON、Hive数据、Database、HBase等,这些数据源都可以使用统一的语法来读取。 Spark Streaming常用概念 Dstream DStream(又称Discretized Stream)是Spark Streaming提供的抽象概念。
ml文件来定义和部署拓扑,并且最终通过storm jar命令来提交拓扑的一种方式,极大地方便了拓扑的部署和提交,缩短了业务开发周期。 基本语法说明 使用Flux定义拓扑分为两种场景,定义新拓扑和定义已有拓扑。 使用Flux定义新拓扑 使用Flux定义拓扑,即使用yaml文件来描述
使用,请在安装时加“-o”参数,即执行./install.sh /opt/client -o命令安装客户端。 由于HBase使用的Ruby语法限制,如果安装的客户端中包含了HBase客户端,建议客户端安装目录路径只包含大写字母、小写字母、数字以及_-?.@+=字符。 使用客户端 在已安装客户端的节点,执行sudo
properties”参数文件中添加自定义参数“enable-dynamic-filtering”,值为“true”,可参考3.e。 添加HBase数据源约束 不支持如下语法:ALTER,VIEW。 父主题: 添加HetuEngine数据源
Name 待连接的数据库名称,名称只能由英文字母、数字、下划线和中划线组成,且必须以英文字母开头。 opengaussdb Schema 待检测数据库的Schema名称。 oprngaussschema Datastore Type 上层源的类型。 MRS 3.2.0版本: opengauss
index_bootstrap.tasks 采用状态索引写数据需要进行主键唯一性检查,分配具体写入文件,提升该算子并行度提升性能。 写算子索引检测算子调整参数:write.bucket_assign.tasks 非状态计算提升性能的资源优化 Flink计算操作分为如下两类: 无状态计
Load主要适用于导入本地文件,或通过程序导入数据流中的数据,支持导入CSV、Parquet、ORC格式的数据,默认支持导入CSV格式数据。 语法介绍 创建Stream Load导入任务 Stream Load通过HTTP协议提交和传输数据。该操作通过curl命令演示如何提交导入,也可以使用其他HTTP
ClickHouse提供多种近似去重算法,通过count_distinct_implementation配置,支持将countDistinct语法转成所配置的近似算法。查询性能有数量级的提升。 近似算法的误差一般在1%以内。在数据准确度要求不高,比如趋势分析等,建议使用近似去重提升用户体验。
MRS服务的Spark组件支持Graph功能,支持图计算作业使用图进行建模。 MRS服务的SparkSQL兼容部分Hive语法(以Hive-Test-benchmark测试集上的64个SQL语句为准)和标准SQL语法(以tpc-ds测试集上的99个SQL语句为准)。 Spark的架构和详细原理介绍,请参见:https://archive
prorary UDF Admin权限,用来控制UDF包的上传。 通过Ranger对Spark SQL进行权限控制时,不支持empower语法。 开启Ranger鉴权后,对视图操作时,默认需要具备相关表的权限,如果需要对视图进行独立鉴权,不依赖相关表的权限,需要将参数spark.ranger
prorary UDF Admin权限,用来控制UDF包的上传。 通过Ranger对Spark SQL进行权限控制时,不支持empower语法。 Ranger策略不支持本地路径以及HDFS上带空格的路径。 开启Ranger鉴权后,对视图操作时,默认需要具备相关表的权限,如果需要对
或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。
的结构必须一致。 若'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 若备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 若主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集群
解决Spark代码中调用fs.delete接口删除表中的数据,需要修改为moveToTrash的问题。 解决Spark针对insert overwrite自读自写语法,提供拦截提示功能的问题。 解决Spark需要把.db库加入数据保护黑名单中防止创建表location指定路径到库后导致删表后库数据丢失的问题。
运行日志 运行日志记录的运行信息描述如表3所示。 表3 运行信息一览表 运行日志 日志描述 服务安装前的准备日志 记录服务安装前的准备工作,如检测、配置和反馈操作的信息。 进程启动日志 记录进程启动过程中执行的命令信息。 进程启动异常日志 记录进程启动失败时产生异常的信息,如依赖服务错误、资源不足等
构必须一致。 如果'表名'设置了加密算法SMS4或AES,则不支持对此HBase表启用将数据从主集群实时同步到备集群的功能。 如果备集群不在线,或备集群中已存在同名但结构不同的表,启用容灾功能将失败。 如果主集群中部分Phoenix表启用容灾功能同步数据,则备集群中不能存在与主集