检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HetuEngine辅助命令语法 USE SET SESSION RESET SESSION DESCRIBE DESCRIBE FORMATTED COLUMNS DESCRIBE DATABASE| SCHEMA DESCRIBE INPUT DESCRIBE OUTPUT EXPLAIN
//读取原文件数据,每一行记录转成RDD里面的一个元素 JavaRDD<String> data = spark.read() .textFile(args[0]) .javaRDD(); //将每条记录的每列切割出来,生成一个Tuple
// set JDBC fetchSize statement.setFetchSize(10000); try { statement.execute("SET STORAGE GROUP
setAppName("SparkHbasetoHbase") conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") conf.set("spark.kryo.registrator", "com
setAppName("SparkHbasetoHbase"); conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer"); conf.set("spark.kryo.registrator", "com
setAppName("SparkHbasetoHbase"); conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer"); conf.set("spark.kryo.registrator", "com
by(column)),且两张表的分桶数正好是倍数关系。 通过如下设置,启用Sort Merge Bucket Map Join: set hive.optimize.bucketmapjoin=true; set hive.optimize.bucketmapjoin.sortedmerge=true; 这种Map
认值为Null。如果启用了bad records日志记录或者bad records操作重定向,则该路径必须由用户进行配置。 carbon.bad.records.action fail 以下是bad records的四种行为类型: FORCE:通过将bad records存储为NULL来自动更正数据。
删除已输入的HQL语句,请单击后的三角选择“清除”。 查看历史: 单击“查询历史记录”,可查看HQL运行情况,支持显示所有语句或只显示保存的语句的运行情况。历史记录存在多个结果时,可以在输入框使用关键字进行搜索。 查看执行结果 在“Hive”的执行区,默认显示“查询历史记录”。 单击结果查看已执行语句的执行结果。 H
证的安全风险。集群中由KrbServer服务提供Kerberos认证支持。 Kerberos用户对象 Kerberos协议中,每个用户对象即一个principal。一个完整的用户对象包含两个部分信息:用户名和域名。在运维管理或应用开发的场景中,需要在客户端认证用户身份后才能连接到
//读取原文件数据,每一行记录转成RDD里面的一个元素 JavaRDD<String> data = spark.read() .textFile(args[0]) .javaRDD(); //将每条记录的每列切割出来,生成一个Tuple
//读取原文件数据,每一行记录转成RDD里面的一个元素 JavaRDD<String> data = spark.read() .textFile(args[0]) .javaRDD(); //将每条记录的每列切割出来,生成一个Tuple
//读取原文件数据,每一行记录转成RDD里面的一个元素 JavaRDD<String> data = spark.read() .textFile(args[0]) .javaRDD(); //将每条记录的每列切割出来,生成一个Tuple
Manager,选择“系统 > 权限 > 用户”,单击“添加用户”,进入添加用户页面,配置以下参数: 用户名:输入需要创建的用户名称。 用户类型:选择用户类型,包括“人机”和“机机”。 集群已启用Kerberos认证(安全模式)推荐选择“人机”。 集群未启用Kerberos认证(普通模式)推荐选择“机机”。
图4 句柄数 排查业务代码,不停地创建新的Producer对象,未正常关闭。 解决办法 停止当前应用,保证服务端句柄不再疯狂增加影响服务正常运行。 优化应用代码,解决句柄泄露问题。 建议:全局尽量使用一个Producer对象,在使用完成之后主动调用close接口进行句柄关闭。 父主题:
参考表1配置相关参数。 表1 数据连接 参数 示例 说明 类型 - 选择外部源连接的类型。 RDS服务PostgreSQL数据库:安装了Hive组件的集群支持连接该类型数据库。 RDS服务MySQL数据库:安装了Hive或Ranger组件的集群支持连接该类型数据库。 名称 newtest 数据连接的名称。
以被多个调用者执行读操作。 HDFS文件系统中目录结构如下表所示。 表1 HDFS文件系统目录结构(适用于MRS 3.x之前版本) 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark/sparkhive-scratch 固定目录 存放Spark JDBCServer中metastore
指定备集群写数据状态关闭。 kinit hbase hbase shell set_clusterState_standby 界面提示以下信息表示执行成功: hbase(main):001:0> set_clusterState_standby => true 检查当前主备同步是否完成
新用户组信息。操作步骤如下: 在Hive Beeline命令行执行以下命令开启Hive动态分区: set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; 执行以下命
fromCollection(Collection<OUT> data) 获取用户定义的集合数据,作为输入流数据。 type为集合中元素的数据类型。 typeInfo为集合中根据元素数据类型获取的类型信息。 data为集合数据或者可迭代的数据体。 public <OUT> DataStreamSource<OUT>