检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
er来指定代理用户。 创建认证用户或代理用户请参考创建HetuEngine权限角色。 启用Ranger鉴权并为代理用户配置操作数据源的数据库、表、列的管理权限,具体操作请参考添加HetuEngine的Ranger访问权限策略。 集群已启用Kerberos认证(安全模式) 使用ki
加的描述信息并不是Hive表中的字段注释信息(comment)。 单击“样本”可浏览数据。 管理Hive元数据表 单击左侧列表中的可在数据库中根据上传的文件创建一个新表,也可手动创建一个新表。 Hue界面主要用于文件、表等数据的查看与分析,禁止通过Hue界面对操作对象进行删除等高
“Flume客户端安装目录/fusionInsight-flume-*/plugins.d/thirdPlugin/native”放置本地库文件。 配置“Flume客户端安装目录/fusionInsight-flume-*/conf/properties.properties”文件。
cleanupDBService.log 卸载日志(需执行DBService卸载日志操作) componentUserManager.log 数据库用户添加删除操作日志 (需添加依赖DBService的服务) install.log 安装日志 preStartDBService.log 预启动日志
在MySQL客户端使用ELB访问Doris 登录安装了MySQL的节点,执行以下命令连接Doris,详细操作请参见快速使用Doris: mysql -u数据库登录用户 -p数据库登录用户密码 -PELB前端端口 -hELB公网IP地址 ELB前端端口即为8.a配置的前端端口号。 ELB公网IP地址为5中查看到的地址。
建议该值设置为true,统一使用hive管理hudi表。 false hoodie.datasource.hive_sync.database 要同步给hive的数据库名。 default hoodie.datasource.hive_sync.table 要同步给hive的表名,建议这个值和hoodie.datasource
个堆空间的1/3,老年代占2/3。 开发Spark应用程序时,优化RDD的数据结构。 使用原始类型数组替代集合类,如可使用fastutil库。 避免嵌套结构。 Key尽量不要使用String。 开发Spark应用程序时,建议序列化RDD。 RDD做cache时默认是不序列化数据的
cleanupDBService.log 卸载日志(需执行DBService卸载日志操作) componentUserManager.log 数据库用户添加删除操作日志 (需添加依赖DBService的服务) install.log 安装日志 preStartDBService.log 预启动日志
个堆空间的1/3,老年代占2/3。 开发Spark应用程序时,优化RDD的数据结构。 使用原始类型数组替代集合类,如可使用fastutil库。 避免嵌套结构。 Key尽量不要使用String。 开发Spark应用程序时,建议序列化RDD。 RDD做cache时默认是不序列化数据的
“Flume客户端安装目录/fusionInsight-flume-*/plugins.d/thirdPlugin/native”放置本地库文件。 配置“Flume客户端安装目录/fusionInsight-flume-*/conf/properties.properties”文件。
0.1/install/FusionInsight-Flume-1.9.0/flume/bin 执行以下命令,生成并得到Flume服务端密钥库密码、信任列表密码和keystore-password加密的私钥信息。连续输入两次密码并确认,该密码是flume_sChat.jks证书库的密码。
Ranger的权限模型由多条权限策略组成,权限策略主要由以下几方面组成: 资源 组件所提供的可由用户访问的对象,例如HDFS的文件或文件夹、Yarn中的队列、Hive中的数据库/表/列等。 用户 系统的访问者,每个用户的权限由该用户关联的策略来获得。LDAP中的用户、用户组、角色信息会周期性的同步至Ranger。 权限
hetu-cli --catalog 数据源名称 --schema 数据库名 例如执行以下命令: hetu-cli --catalog hetuengine_1 --schema default 执行以下命令,可正常查看数据库表信息或不报错即表示连接成功。 show tables; 跨集群HetuEngine数据类型映射
false truststore-type JKS Java信任库类型。填写JKS或其他java支持的truststore类型。 truststore - Java信任库文件。 truststore-password - Java信任库密码。 keystore-type JKS 密钥存储类
解决Spark2x创建UDF的jar包放到OBS路径上会查询UDF报错 解决Alluxio jar包冲突问题 解决Executor日志滚动不释放问题 解决Hive元数据库查询网络阻塞问题 解决MRS对接DCS做缓存,缓存键一天多次被清空问题 解决CBG访问OBS概率性无权限问题 解决长时间使用客户端出现死锁问题
check-serviceDetail.log 服务安装完成之后验证服务状态的。 cdl-db-operation.log 服务启动时初始化数据库的日志。 cdl-app-launcher.log CDL数据同步任务的Spark App启动日志。 cdl-dc-app-launcher
重启实例”,根据界面提示重启FlinkServer实例。 为指定用户配置Hive行级别数据过滤,详情可参考Hive行级别数据过滤。 如为test用户在“default”库中的“datagen”表添加“a<>1”过滤条件。 使用权限配置完成的用户通过FlinkServer提交FlinkSQL作业,详情可参考如何创建FlinkServer作业。
gcc-c++ yum install openssl-devel yum install sqlite-devel -y 如果pandas库需要额外安装如下依赖: yum install -y xz-devel yum install bzip2-devel 下载对应Python版本源码。
扫描功能 命令形式: sh mergetool.sh scan <db.table> <filesize> db.table的形式是“数据库名.表名”,filesize为用户自定义的小文件阈值(单位MB),返回结果为小于该阈值的文件个数,及整个表目录数据文件的平均大小。 例如:sh
当前版本的Spark内核直接依赖于Kafka相关的jar包(结构流使用),因此提交结构流任务时,需要把Kafka相关jar包加入到结构流任务driver端的库目录下,确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作: 将Spark客户端目录下spark-default