检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
能上比Java UDF更好。 使用示例 以下为复用lower()函数的示例。 [localhost:21000] > create database udfs; [localhost:21000] > use udfs; [localhost:21000] > create function
1/hadoop-project-dist/hadoop-common/SecureMode.html#Data_Encryption_on_RPC 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数说明 参数 描述 默认值 hadoop.rpc.protection
DataNode进程,且“待复制副本的块数”变为“0”后才能停止下一个DataNode进程。 以root用户登录发生该告警的主机IP地址,修改安装目录“${BIGDATA_HOME}/FusionInsight_HD_*/install”下的hadoop目录权限。 chmod 000
Python3样例工程章节,获取样例代码,获取hetu-jdbc-XXX.jar文件,并复制到自定义目录中。 编辑样例代码,根据集群实际情况修改url、user等信息,并根据实际路径修改“jdbc_location”。 Windows系统路径填写示例:"D:\\hetu-examples-python3\\hetu-jdbc-XXX
选择引导操作脚本执行的时间。 组件首次启动前 组件首次启动后 说明: 为已运行的集群添加引导操作时,只能通过手动方式在节点上执行第三方组件的安装脚本进行安装。 失败操作 继续 该脚本执行失败后,是否继续执行后续脚本和创建集群。 说明: 建议您设置为“继续”,无论此引导操作是否执行成功,则集群都能继续创建。
channel = c1 参数“server.sources.r1.spooldir”的值为3新建的txt文件所在目录。 参数“server.sinks.obs_sink.hdfs.path”中的值为1中新建的OBS文件系统。 将“客户端安装目录/Hive/Beeline/lib”目录
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。
域和互信”,查看“本端域”参数,即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。例如“本端域”参数为“9427068F-6EFA-4833-B43E-60CB641E5B6C.COM”,用户名为“zookeeper/hadoop
ooKeeper实际使用的堆内存大小。 根据堆内存实际使用量,修改GC_OPTS参数中的-Xmx值,该值一般为Zookeeper数据容量的2倍。例如当前ZooKeeper堆内存使用达到2G,则GC_OPTS建议配置为“-Xms4G -Xmx4G -XX:NewSize=512M -XX:MaxNewSize=512M
直接内存使用率”,调整“GC_OPTS”参数中“-XX:MaxDirectMemorySize”的值为“TokenServer使用的直接内存大小”的两倍(可根据实际业务场景进行修改)。 重新启动受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。 否,执行6。 在重启服务或
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。
SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例,您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序,您可以参考如下示例,编写SparkLauncher类。 public static
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。
Spark从Hive读取数据再写入HBase样例程序(Python) 功能介绍 在Spark应用中,通过使用Spark调用Hive接口来操作hive表,然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现。
一致性。 目前HBase双读功能仅用于查询。主集群宕机时,最新数据无法同步,备集群可能查询不到最新数据。 HBase的Scan操作可能分解为多次RPC。由于相关session信息在不同集群间不同步,数据不能保证完全一致,因此双读只在第一次RPC时生效,ResultScanner
只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 表2 Query参数 参数 是否必选 参数类型 描述 job_name 否 String 参数解释: 作业名称。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-128]个字符。
SparkLauncher类。默认提供了SparkLauncherJavaExample和SparkLauncherScalaExample示例,您需要根据实际业务应用程序修改示例代码中的传入参数。 如果您使用Java语言开发程序,您可以参考如下示例,编写SparkLauncher类。 public static
t-data/streaming_workflow”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Streaming-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过H
t-data/streaming_workflow”。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Streaming-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过H
2。 说明: 启用Kerberos认证下,使用21005端口需要“allow.everyone.if.no.acl.found”参数值设置为true; 若不设置此参数,操作会报错。 Kafka集群broker实例IP获取方法如下: MRS 3.x及后续版本,登录FusionInsight