检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
说明: 启用Kerberos认证下,使用21005端口需要“allow.everyone.if.no.acl.found”参数值设置为true; 如果不设置此参数,操作会报错。 Kafka集群broker实例IP获取方法如下: 登录FusionInsight Manager,然后选择“集群
需要组件的权限,例如: 使用Spark on HBase,在SparkSQL中查询HBase表数据,需要设置HBase权限。 在一些特殊SparkSQL使用场景下,需要单独设置其他权限。 表2 SparkSQL授权注意事项 场景 用户需要的权限 创建SparkSQL数据库、表、外
getInstance(conf); job.setJarByClass(MultiComponentExample.class); // 设置mapper&reducer类 job.setMapperClass(MultiComponentMapper.class);
onIndexCol1)) 当多个列用于查询时,只能为组合索引中的最后一列指定值范围,而其他列只能设置为指定值。 例如,为C1,C2和C3创建组合索引。在范围查询中,只能为C3设置数值范围,过滤条件为“C1 = XXX,C2 = XXX,C3 = 数值范围”。 HBase本地二级索引查询策略选择
hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令
hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令
JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8
JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8
应用提供Spark的各种功能,如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。 pyspark.RDD(Resilient Distributed Dataset):用于在
egate、Unique、Duplicate。 Aggregate模型 导入数据时,对于Key列相同的行会聚合成一行,而Value列会按照设置的AggregationType进行聚合。 AggregationType目前有以下四种聚合方式: SUM:求和,多行的Value进行累加。
应用提供Spark的各种功能,如连接Spark集群、创建RDD、广播变量等。 pyspark.SparkConf:Spark应用配置类。如设置应用名称,执行模式,executor内存等。 pyspark.RDD(Resilient Distributed Dataset):用于在
hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令
hbase.enabled”设置为“true”(该参数值默认为“false”,改为“true”后对已有业务没有影响。如果要卸载HBase服务,卸载前请将此参数值改回“false”),将配置项“spark.inputFormat.cache.enabled”设置为“false”。 提交命令
文件/文件夹访问权限 文件/文件夹owner信息 文件操作 创建文件夹 创建文件 打开文件 追加文件内容 修改文件名称 删除文件/文件夹 设置文件时间属性 设置文件副本个数 多文件合并 文件系统检查 文件链接 Hive审计日志 元数据操作 元数据定义,如创建数据库、表等 元数据删除,如删除数据库、表等
getInstance(conf); job.setJarByClass(MultiComponentExample.class); // 设置mapper&reducer类 job.setMapperClass(MultiComponentMapper.class);
PostgreSQL数据库需要有修改“statement_timeout”和“lock_timeout”两个超时参数的设置权限以及查询删除Slot和publication权限。 “max_wal_senders”建议设置为Slot的1.5倍或2倍。 在PostgreSQL表的复制标识是default的情况下,
mingContext通过运行任务处理Executor内存中的Block来执行Job。 周期性地设置检查点(橙色箭头) 为了容错的需要,StreamingContext会周期性地设置检查点,并保存到外部文件系统中。 操作流程 本实践操作流程如下所示: 步骤1:创建MRS集群:创建
onIndexCol1)) 当多个列用于查询时,只能为组合索引中的最后一列指定值范围,而其他列只能设置为指定值。 例如,为C1,C2和C3创建组合索引。在范围查询中,只能为C3设置数值范围,过滤条件为“C1 = XXX,C2 = XXX,C3 = 数值范围”。 HBase本地二级索引查询策略选择
典型的用法,一个客户端程序共享一个单独的Connection,每一个线程获取自己的Admin或Table实例,然后调用Admin对象或Table对象提供的操作接口。不建议缓存或者池化Table、Admin。Connection的生命周期由调用者维护,调用者通过调用close(),释放资源。
典型的用法,一个客户端程序共享一个单独的Connection,每一个线程获取自己的Admin或Table实例,然后调用Admin对象或Table对象提供的操作接口。不建议缓存或者池化Table、Admin。Connection的生命周期由调用者维护,调用者通过调用close(),释放资源。