检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
localTask并发较大时导致本地/opt/Bigdata/tmp文件inode满的问题。 解决Hive对接外部LDAP的时候,客户需要支持域名的方式连接,当前Hive只支持IP的方式进行连接的问题。 解决HiveConction异常未打印,影响问题定位的问题。 解决DGC提交Hi
配置Spark动态脱敏 Spark Distinct聚合优化 配置Spark作业失败时清理残留文件 配置Spark加载第三方jar包,用于注册UDF或者扩展SparkSQL 父主题: 使用Spark/Spark2x
getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler
getExecutionEnvironment // 设置job的并发度为2 env.setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler
timeout.ms Consumer注册时允许的最大会话超时时间。单位:毫秒。 1800000 允许Consumer配置的session.timeout.ms的最大值(不包含此值)。 group.min.session.timeout.ms Consumer注册时允许的最小会话超时时间。单位:毫秒。
添加Oracle数据源 添加GBase数据源 使用跨源协同分析流程 参考快速使用HetuEngine访问Hive数据源登录HetuEngine客户端。 注册Hive、HBase、GaussDB A等数据源。 hetuengine> show catalogs; Catalog ----------
int(dataArr[2])))\ .collect() df = sqlCtx.createDataFrame(inputRDD) # 注册表 df.registerTempTable("FemaleInfoTable") # 执行SQL查询并显示结果
int(dataArr[2])))\ .collect() df = sqlCtx.createDataFrame(inputRDD) # 注册表 df.registerTempTable("FemaleInfoTable") # 执行SQL查询并显示结果
getOrCreate() import spark.implicits._ //通过隐式转换,将RDD转换成DataFrame,然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(",")) .map(p
return femaleInfo; } }); // 注册表。 Dataset<ROW> schemaFemaleInfo = spark.createDataFrame(femaleInfoJavaRDD
getOrCreate() import spark.implicits._ //通过隐式转换,将RDD转换成DataFrame,然后注册表 spark.sparkContext.textFile(args(0)).map(_.split(",")) .map(p
用于ApplicationMaster与ResourceManager之间。ApplicationMaster使用该协议向ResourceManager注册、申请资源、获取各个任务的运行情况等。 表2 ApplicationMasterProtocol常用方法 方法 说明 allocate(AllocateRequest
-Djetty.version=x.y.z -Dzookeeper.server.principal=zookeeper/hadoop.<系统域名> -Djava.security.krb5.conf=/opt/client/KrbClient/kerberos/var/krb5kdc/krb5
-Djetty.version=x.y.z -Dzookeeper.server.principal=zookeeper/hadoop.<系统域名> -Djava.security.krb5.conf=/opt/client/KrbClient/kerberos/var/krb5kdc/krb5
Tuple3<>(word[0], word[1], word[2]); } }); //将Stream1注册为Table1 tableEnv.registerDataStream("Table1", kafkaStream, "name
部KrbClient的配置参数异常,影响业务运行。 修改该参数后,请重启KrbServer服务和其关联的所有服务。 修改Manager系统域名 若没有及时重启KrbServer服务和其关联的所有服务,会导致集群内部KrbClient的配置参数异常,影响业务运行。 修改该参数后,请
RY_AND_DISK)等。 pyspark.sql.SQLContext:是SparkSQL功能的主入口。可用于创建DataFrame,注册DataFrame为一张表,表上执行SQL等。 pyspark.sql.DataFrame:分布式数据集。DataFrame等效于Spar
对于已安装HBase组件的节点组扩容时: 如果集群没有开启节点自动注册DNS,扩容该节点组时需选择不启动组件,之后请参考服务端配置过期后更新MRS集群客户端更新完HBase客户端配置后再启动扩容节点上的HBase组件实例。 以下版本默认开启了集群自动注册DNS,也可以请通过查询对应版本元数据查询返回
终端节点 终端节点即调用API的请求地址,不同服务不同区域的终端节点不同,您可以从地区和终端节点中查询服务的终端节点。 基本概念 账号 用户注册华为云时的账号,账号对其所拥有的资源及服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议
DELETE_STORAGE_GROUP 删除存储组。 IoTDB管理员权限 delete storage group root.ln; CREATE_FUNCTION 注册UDF。 IoTDB管理员权限 create function example AS 'org.apache.iotdb.udf.UDTFExample';