检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
动态分区通过在客户端工具执行如下命令来开启: set hive.exec.dynamic.partition=true; 动态分区默认模式是strict,也就是必须至少指定一列为静态分区,在静态分区下建立动态子分区,可以通过如下设置来开启完全的动态分区: set hive.exec
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
接方式。 OpenTSDB基于HTTP提供了访问其的RESTful接口,而RESTful接口本身具有语言无关性的特点,凡是支持HTTP请求的语言都可以对接OpenTSDB。 使用Java API操作OpenTSDB OpenTSDB提供了基于HTTP或HTTPS的应用程序接口,可以使用Java
以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询MRS集群管理员。执行如下命令: 安全模式: cd 客户端安装目录 source bigdata_env kinit hdfs 普通模式: su - omm cd 客户端安装目录 source bigdata_env 在客户端节
truststore.password XXX Kerberos+SSL模式配置 完成上文中Kerberos和SSL各自的服务端和客户端配置后,只需要修改运行参数中的端口号和协议类型即可启动Kerberos+SSL模式。 --topic topic1 --bootstrap.servers
--enable-hive-sync // 开启hive同步,同步hudi表到hive --continuous // 指定流处理模式为连续模式 HoodieMultiTableDeltaStreamer流式写入 HoodieMultiTableDeltaStreamer流式写入仅适用于MRS
将简单查询结果导出到文件“hdfs://path/to/result.txt”中,并指定导出格式为CSV。 集群已启用Kerberos认证(安全模式) SELECT * FROM example_db.test_export_tbl INTO OUTFILE "hdfs://192.168
请确保客户端用户具备对应目录权限。 principal名。 security.kerberos.login.principal: abc222 对于HA模式,如果配置了ZooKeeper,还需要设置ZooKeeper Kerberos认证相关的配置。 zookeeper.sasl.disable: false
将此参数设置为20%,不足1个核,那么将会使用系统全部的核。Linux的一些版本不支持Quota模式,例如Cent OS。在这种情况下,可以使用CPUset模式。 配置cpuset模式,即YARN只能使用配置的CPU,需要添加以下配置。 表1 cpuset配置 参数 描述 默认值
source bigdata_env 根据集群模式执行相关命令。 如果集群未开启Kerberos认证,则可以直接执行组件客户端相关命令。 例如使用HDFS客户端命令查看HDFS根目录文件: hdfs dfs -ls / 如果集群开启了Kerberos认证,执行kinit命令进行用户认证。
a/module/hacom/script/status_ha.sh,查询当前HA管理的cep资源状态是否正常(单机模式下面,cep资源为normal状态;双机模式下,cep资源在主节点为normal状态,在备节点为stopped状态。) 是,执行6。 否,执行4。 执行命令vi
a/module/hacom/script/status_ha.sh,查询当前HA管理的fms资源状态是否正常(单机模式下面,fms资源为normal状态;双机模式下,fms资源在主节点为normal状态,在备节点为stopped状态。) 是,执行6。 否,执行4。 执行命令vi
hoodie.hudisourcetablename.consume.mode=INCREMENTAL;仅用于该表的增量查询模式,如果要对该表切换为其他查询模式,应设置set hoodie.hudisourcetablename.consume.mode=SNAPSHOT;。 查询
新时间。如果指定了分区,将给出指定分区的文件系统信息,而不是分区所在表的文件系统信息。 参数说明 IN | FROM schema_name 指定schema名称,未指定时默认使用当前的schema。 LIKE 'identifier_with_wildcards' identi
spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令,并且原数据和目标表存储位置不是同一套文件系统,上述两种方式MapReduce任务启动时会报错。
Services”中选择服务后,需要在“Resource”列中添加具体的资源对象,例如HDFS服务器的文件目录、Yarn的队列、Hive的数据库及表、HBase的表及列。 /testzone 例如针对HDFS中的“/testzone”目录创建一个安全区,配置如下: 单击“Save”,等待安全区添加成功。
片名称,{replica}是分片中的副本编号,这几个宏变量直接写即可,建表时不需要替换为常量值。 default:表示创建的表名放到哪个数据库下面,在创建表时需要根据实际情况进行替换。 on cluster:创建的集群 建表会创建到集群中所有节点上,否则需要自己手动一个个节点去创
集群已启用Kerberos认证(安全模式): kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证(普通模式): clickhouse client
sql => 'delete statement') 参数描述 表1 参数描述 参数 描述 table_name 待删除数据的表名,支持database.tablename格式 delete statement select类型的sql语句,用于找出待删除的数据 示例 从mytable表中删除primaryKey
operator="lt"> No (在rule标签内) <action> 如果规则匹配,这个标签定义了要执行的action。 No (在rule标签内) <type> 定义了action类型。当前支持的action类型是MOVE和MARK。 No (在action标签内) <params>