检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
on Hudi场景的Java/Scala/Python示例程序。 本工程应用程序使用Spark操作Hudi执行插入数据、查询数据、更新数据、增量查询、特定时间点查询、删除数据等操作。 sparksecurity-examples/SparkOnHudiPythonExample s
通过同时利用Flume服务端和客户端，构成Flume的级联任务，采集日志的流程如下所示。 安装Flume客户端。 配置Flume服务端和客户端参数。 查看Flume客户端收集日志。 停止及卸载Flume客户端。 图1 Flume使用流程 Flume模块介绍 Flume客户端/服务端由一个或多
在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在Oracle数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。 观察数据传输是否生效，例如在opengauss数据库中对表进行插入数据操作，查看Hudi导入的文件内容。 父主题： 创建CDL作业
05' '*' in expression specification (state=42000,code=40000) Having不支持子查询。 举例如下： select ps_partkey, sum(ps_supplycost * ps_availqty)
forName(HIVE_DRIVER); 填写正确的用户名，获取JDBC连接，确认Impala SQL的类型（DDL/DML），调用对应的接口执行Impala SQL，输出查询的列名和结果到控制台，关闭JDBC连接。 Connection connection = null; try {
forName(HIVE_DRIVER); 填写正确的用户名，获取JDBC连接，确认Impala SQL的类型（DDL/DML），调用对应的接口执行Impala SQL，输出查询的列名和结果到控制台，关闭JDBC连接。 Connection connection = null; try {
admin.AdminUtils$.writeTopicConfig(AdminUtils.scala:247) 通过客户端命令klist查询当前认证用户： [root@10-10-144-2 client]# klist Ticket cache: FILE:/tmp/krb5cc_0
定义和元数据查询。基于MRS的HCatalog功能，Hive、Mapreduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest API来执行Hive DDL，提交Mapreduce任务，查询Mapreduce任务执行结果等操作。
义和元数据查询。基于Hive的HCatalog功能，Hive、MapReduce开发人员能够共享元数据信息，避免中间转换和调整，能够提升数据处理的效率。 WebHCat WebHCat运行用户通过Rest API来执行Hive DDL，提交MapReduce任务，查询MapReduce任务执行结果等操作。
Bucket表，可以开启桶裁剪提升主键点查效率 示例： 业务经常使用主键id作为查询条件，执行点查；比如select xxx where id = idx ... 。 建表时，可以加入如下属性，提升查询效率。默认配置下属性值等于primaryKey，即主键。 hoodie.bucket
address STRING) -- 一个表可以拥有一个或多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。对分区内数据进行查询，可缩小查询范围，加快数据的检索速度,还可对数据按照一定的条件进行管理。 -- 使用关键字PARTITIONED BY指定分区列名及数据类型 PARTITIONED
forName(HIVE_DRIVER); 填写正确的用户名，获取JDBC连接，确认Impala SQL的类型（DDL/DML），调用对应的接口执行Impala SQL，输出查询的列名和结果到控制台，关闭JDBC连接。 Connection connection = null; try {
常见问题 如何查看当前集群未清除告警？ 登录MRS管理控制台。 单击待操作的集群名称，选择“告警管理”页签。 单击“高级搜索”，将“告警状态”设置为“未清除”，单击“搜索”。 界面将显示当前集群未清除的告警。 集群发生告警后如何清除？ 集群发生告警后，可以查看对应告警的帮助文档进行处理。帮助文档查看入口如下：
BY或HAVING子句之后，在OFFSET、LIMIT或FETCH FIRST子句之前进行计算。 按照SQL规范，ORDER BY子句只影响包含该子句的查询结果的行顺序。HetuEngine遵循该规范，并删除该子句的冗余用法，以避免对性能造成负面影响。 例如在执行INSERT语句时，ORDER
置的第二步“输入设置”中指定，当配置了“表列名”时，就是配置的值；当没配置“表列名”时，默认该表的所有列或者是“SQL语句”配置项里配置的查询条件中指明的列。 配置的输入字段个数不能大于实际指定的列数，否则全部数据成为脏数据。 当字段的值与实际的类型不匹配时，该行数据会成为脏数据。
CarbonData常见问题 为什么对decimal数据类型进行带过滤条件的查询时会出现异常输出？ 如何避免对历史数据进行minor compaction？ 如何在CarbonData数据加载时修改默认的组名？ 为什么INSERT INTO CARBON TABLE失败？ 为什么含转义字符的输入数据记录到Bad
多种视图能力（读优化视图/增量视图/实时视图），支持快速数据分析。 MVCC设计，支持数据版本回溯。 自动管理文件大小和布局，以优化查询性能准实时摄取，为查询提供最新数据。 支持并发读写，基于snapshot的隔离机制实现写入时可读取。 支持原地转表，将存量的历史表转换为Hudi数据集。
执行如下命令重启进程： su - omm ps -ef|grep =acs （查找acs进程PID） kill -9 PID （PID替换为实际的ID，结束acs进程） 等待几分钟后执行命令ps -ef|grep =acs查询进程是否已经自动启动。 替换executor用户的keytab文件。
准备Spark本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
