检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多源数据目录功能在原有的元数据层级上，新增一层Catalog，构成Catalog -> Database -> Table的三层元数据层级。其中，Catalog可以直接对应到外部数据目录。 基础概念 Internal Catalog Doris原有的Database和Table都将归属于Internal Catalog。Internal
开启防误删后为什么Carbon表没有执行drop命令，回收站中也会存在该表的文件？ 问题 开启防误删下，为什么Carbon表没有执行drop table命令，回收站中也会存在该表的文件？ 回答 在Carbon适配防误删后，调用文件删除命令，会将删除的文件放入回收站中。 在insert、load等命令中会有中间文件
Spark SQL无法查询到Parquet类型的Hive表的新插入数据 问题 为什么通过Spark SQL无法查询到存储类型为Parquet的Hive表的新插入数据？主要有以下两种场景存在这个问题： 对于分区表和非分区表，在Hive客户端中执行插入数据的操作后，会出现Spark SQL无法查询到最新插入的数据的问题。
retrieve.max、hive.metastore.batch.retrieve.table.partition.max、dbservice.database.max.connections等参数均未能解决。 怀疑是GaussDB的问题，因为增加字段会遍历每个分区执行getPartitio
MetaStore日志 查看如上错误的上下文，确定是本次执行SQL的报错，在报错信息里面发现如下内容： Caused by: org.postgresql.util.PSQLException: ERROR: value too long for type character varying(4000)
准备Impala应用开发用户 开发用户用于运行样例工程。用户需要有Impala权限，才能运行Impala样例工程。 前提条件 MRS服务集群开启了Kerberos认证时请执行该步骤，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager。 单击“系统设置 > 用户管理 > 添加用户”，为样例工程创建一个用户。
SSL protocols 为 TLSv1.1,TLSv1.2，所以在启用CURL调用 REST 时需判断当前环境支持的 SSL protocols。 使用curl命令 未开启Kerberos认证集群 在未开启Kerberos认证的集群中执行curl命令时增加以下参数。例如， curl
准备Hive应用开发用户 开发用户用于运行样例工程。用户需要有Hive权限，才能运行Hive样例工程。 前提条件 MRS服务集群开启了Kerberos认证需要执行该步骤，没有开启Kerberos认证的集群忽略该步骤。 操作步骤 登录MRS Manager，请参考登录MRS Manager。 在MRS
CDLConnector的实例检查日志。 ModifyDBPasswd.log 重置服务数据库密码的日志。 ranger-cdl-plugin-enable.log 服务启用或停用Ranger鉴权的日志。 postinstallDetail.log 服务安装日志。 cdl_connector_pidxxx_gc
control，基于策略的权限控制）方式进行权限管理，可对HDFS、Hive、HBase等组件进行更加细粒度的数据访问控制。 组件同时只支持一种权限控制机制，当组件启用Ranger权限控制策略后，通过FusionInsight Manager创建的角色中关于该组件的权限将失效（HDFS与Yarn的组件AC
“$BIGDATA_CLIENT_HOME”指的是客户端安装目录。 然后执行： source $BIGDATA_CLIENT_HOME/bigdata_env 启用多实例功能后，为其他HBase服务实例进行应用程序开发时还需执行以下命令，切换指定服务实例的客户端。 例如HBase2：source /o
key进行分桶（clustered by (column)）和排序（sorted by(column)），且两张表的分桶数正好是倍数关系。 通过如下设置，启用Sort Merge Bucket Map Join： set hive.optimize.bucketmapjoin=true; set
Coordinator的端口号，请根据实际情况替换，可使用gs_om -t status --detail查询Coordinator数据路径，在该路径下的“postgresql.conf”文件中查看端口号信息。 创建用于接受数据的空表，如表“customer_t1”： CREATE TABLE customer_t1
通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 功能简介 通过KeyTab文件认证方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。 public class JDBCExampleZk
通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric实现KeyTab文件认证方式连接到HetuEngine，组装对应的SQL发送到HetuEngine执行，完成对Hive数据源的增删改查操作。 import jaydebeapi
FlinkSQL Kafka Connector支持消费drs-json格式数据 本章节适用于MRS 3.3.0及以后版本。 使用场景 FlinkSQL需要消费Kafka中drs-json格式（一种CDC消息格式）的数据。 使用方法 在创建的Kafka Connector Source流表中，设置
限管理插件及权限访问控制策略的内容。 User：普通用户，可以被Ranger管理员赋予具体权限。 登录Ranger管理界面 安全模式（集群开启了Kerberos认证） 使用admin用户登录FusionInsight Manager，具体请参见访问集群Manager。选择“集群 >
已安装Hue组件。 操作步骤 访问Hue WebUI，请参考访问Hue WebUI界面。 在左侧导航栏单击编辑器，然后选择“Hive”。 在“Database”右侧下拉列表选择一个Hive中的数据库，默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字，系统会自动搜索包含此关键字的全部表。
insertTablet（单设备多行同列） > insertRecordsOfOneDevice （单设备多行不同列） > insertRecords(Object value) （多设备多行不同列） > insertRecords(String value) （多设备多行不同列） > insertRecord（单设备一行）
如果IP与Kafka集群部署的业务IP不一致，那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007（开启kerberos认证模式端口），那么修改该端口为9092（没有开启kerberos认证模式端口）。 检查网络是否正常，确保当前机器能够正常访问Kafka集群。 父主题： Kafka应用开发常见问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
