检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将生成的jar包上传至Spark2x运行环境下(Spark2x客户端),如“/opt/female”。 进入客户端目录,执行以下命令加载环境变量并登录。若安装了Spark2x多实例或者同时安装了Spark和Spark2x,在使用客户端连接具体实例时,请执行以下命令加载具体实例的环境变量。 source bigdata_env
已创建或获取访问Oozie服务的人机用户账号及密码。 该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。若使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。 已获取运行状态的
率统计 (JDBCServer2x)”阈值的比值。若参数值调整后,仍偶现告警,可以按0.5倍速率调大。若频繁出现告警,可以按1倍速率调大。多业务量、高并发的情况可以考虑增加实例。 在FusionInsight Manager首页,选择“运维 > 告警 > 阈值设置 > Spark2x
仍偶现告警,可以按0.5倍速率调大。若频繁出现告警,可以按1倍速率调大。建议不要超过“SPARK_DRIVER_MEMORY”的参数值。多业务量、高并发的情况可以考虑增加实例。 在FusionInsight Manager首页,选择“运维 > 告警 > 阈值设置 > Spark2x
被本地化且只有一个版本。 MapReduce应用框架可以通过分布式缓存进行部署,且无需依赖安装中复制的静态版本。因此,可以在HDFS中存放多版本的Hadoop,并通过配置“mapred-site.xml”文件指定任务默认使用的版本。只需设置适当的配置属性,用户就可以运行不同版本的
已创建或获取访问Oozie服务的人机用户账号及密码。 该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。如果使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。 已获取运行状态的
xml”放置在样例工程的“../src/main/resources/conf”目录下。 hbase-examples/hbase-example(多集群互信场景) 将互信场景下的同名用户其中一个集群的配置文件放入“../src/main/resources/hadoopDomain”目录下,将另一集群的配置文件放入“
Tracker组成)和数据处理引擎(MapTask和ReduceTask)三部分组成。该框架在扩展性、容错性(JobTracker单点)和多框架支持(仅支持MapReduce一种计算框架)等方面存在不足。MRv2是Hadoop 2.0中的MapReduce实现,它在源码级重用了M
spiller-spill-path CONTAINER_ROOT_PATH/tmp/hetuserver/hetuserver-sqlengine/ 一块或多块独立的SSD硬盘。 磁盘吐出文件路径。 worker.config.properties/coordinator.config.properties
将生成的jar包上传至Spark2x运行环境下(Spark2x客户端),如“/opt/female”。 进入客户端目录,执行以下命令加载环境变量并登录。如果安装了Spark2x多实例或者同时安装了Spark和Spark2x,在使用客户端连接具体实例时,请执行以下命令加载具体实例的环境变量。 source bigdata_env
kinit 创建的用户 新创建的用户需要修改密码,更改密码后重新kinit登录。 普通模式(未开启kerberos认证)无需执行kinit命令。 多服务场景下,在source bigdata_env之后,请先source Spark服务的component_env,再去source Hudi的component_env。
-Djdk.tls.ephemeralDHKeySize=3072 “-Xms2G -Xmx2G”为IoTDB JVM堆内存,对于时间序列多,写入并发量大的场景,需要增大此配置。可以根据GC时长阈值告警或堆内存阈值告警进行调优,如果告警发生,参数值按照0.5倍速率调大。如果告警频
可根据实际需要配置多个计算实例,多个计算实例可自动负载均衡,实现并发度水平扩展。 须知: 配置多个计算实例时: 需确保集群资源充足。单租户多实例需要的资源为单实例资源*实例个数(每个计算实例的规格一致,不支持差异化配置)。 需使用短连接方式,并以HSFabric模式连接HetuE
WebUI界面配置opengauss的thirdparty-kafka连接时增加opengauss的连接信息,如果opengauss部署为一主多备模式,需在“host”填写所有的IP。 配置完成之后,在CDL WebUI界面创建从thirdparty-kafka抓取数据到Hudi的任务并启动即可收到心跳数据。
当“存储空间配额单位”设置为GB时,范围为1~8589934592。 此参数值表示租户可使用的HDFS存储空间上限,不代表一定使用了这么多空间。 如果参数值大于HDFS物理磁盘大小,实际最多使用全部的HDFS物理磁盘空间。 如果此配额大于父租户的配额,实际存储量不超过父租户配额。
java代码及SQL样例。 UDTF(User Defined Table-valued Function) 自定义表值函数,支持一个或多个输入参数,可返回多行多列。详情请参考UDTF java代码及SQL样例。 上传UDF至FlinkServer 准备UDF jar文件,大小不能超过200MB。 访问Flink
oatComparator”,“IntComparator”,“NullComparator”。 二级索引的使用规则如下: 针对某一列或者多列创建了单索引的场景下: 当查询时使用此列进行过滤时,不管是AND还是OR操作,该索引都会被利用来提升查询性能。 例如:Filter_Condition(IndexCol1)
oatComparator”,“IntComparator”,“NullComparator”。 二级索引的使用规则如下: 针对某一列或者多列创建了单索引的场景下: 当查询时使用此列进行过滤时,不管是AND还是OR操作,该索引都会被利用来提升查询性能。 例如:Filter_Condition(IndexCol1)
oatComparator”,“IntComparator”,“NullComparator”。 二级索引的使用规则如下: 针对某一列或者多列创建了单索引的场景下: 当查询时使用此列进行过滤时,不管是AND还是OR操作,该索引都会被利用来提升查询性能。 例如:Filter_Condition(IndexCol1)
访问SFTP服务器的密码。 xxxx Sftp公钥 Sftp服务器公钥。 OdDt/yn...etM 配置多个SFTP服务器时,HBase表或phoenix表将分成多份随机保存到各个SFTP服务器。 设置数据源信息 单击“下一步”,进入“输入设置”界面,在“源文件类型”中选择“HBASE”,设置数据源信息。