检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否必选 参数类型 描述 map_id 否 Integer 参数解释: 数据连接关联ID值。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 connector_id 否 String 参数解释: 数据连接ID值。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 component_name
配置存算分离集群(委托方式) 配置存算分离集群(AKSK方式) 外置元数据连接 MRS的支持组件使用外部数据源存储数据,如Hive的元数据使用外部的关系型数据库(RDS),可以通过数据连接来关联Hive组件实现。 管理数据连接 HDFS地址映射方式访问OBS 通过HDFS地址映射到OBS地
数配置的是150,建议不超过200。 部署负载均衡组件,查询基于负载均衡组件进行,避免单点查询压力太大影响性能。 ClickHouse支持连接集群中的任意节点查询,如果查询集中到一台节点,可能会导致该节点的压力过大并且可靠性不高。建议使用ClickHouseBalancer或者其
表中所有二级索引表的表名+列名的累积长度*(单位:字符) 3800** * Hive允许的上限值或可用资源的上限值。 ** 二级索引表使用hive注册,并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERDEPROPERTIES的最大字符数为4000个字符,无法更改。
元数据存储在集群本地。 外置数据连接:使用外部数据源元数据,若集群异常或删除时将不影响元数据,适用于存储计算分离的场景。 在创建MRS集群时,支持对接LakeFormation实例,存储Hive、Spark等组件元数据,可参考配置LakeFormation数据连接。 在集群创建完成后,可
zkCli.sh -server ip:port 其中ip可以为任意管理IP,port默认值是2181。 当看到如下输出信息时,表示已经成功连接上Zookeeper服务器。 WatchedEvent state:SyncConnected type:None path:null [zk:
JobManager Web Interface: http://192.168.64.10:32261 Flink集群启动成功后,重新打开一个客户端连接窗口,进入Flink客户端目录运行程序。 source /opt/hadoopclient/bigdata_env cd /opt/had
x之前版本,安全集群默认没有开启外部SSL,用户如果需要启用外部SSL,进行配置后再次运行该脚本即可,配置参数在MRS的Flink默认配置中不存在,用户如果开启外部连接SSL,则需要添加表3中参数。 表3 参数描述 参数 描述 参数值示例 security.ssl.rest.enabled 打开外部SSL开关。
option(TABLE_NAME, tableName). mode(Overwrite). save(basePath) 查询Hudi表。 注册临时表并查询: val roViewDF = spark.read.format("org.apache.hudi").load(basePath
option(TABLE_NAME, tableName). mode(Overwrite). save(basePath) 执行以下命令注册临时表并查询。 val roViewDF = spark.read.format("org.apache.hudi").load(basePath
uate方法支持重载。 当前只支持入参数量小于或等于5个的HetuEngine UDF,大于5个入参的HetuEngine UDF将无法被注册。 需要将所有依赖文件都打包到jar包里。 (可选)若用户存在HetuEngine UDF依赖的配置文件,建议将其作为资源文件放在reso
taArts Studio是数据全生命周期一站式开发运营平台,提供数据集成、数据开发、数据治理、数据服务、数据可视化等功能。MRS数据支持连接DataArts Studio平台,并基于可视化的图形开发界面、丰富的数据开发类型(脚本开发和作业开发)、全托管的作业调度和运维监控能力,
关闭Ranger鉴权:spark.ranger.plugin.authorization.enable=false Spark2x中,spark-beeline(即连接到JDBCServer的应用)支持Ranger的IP过滤策略(即Ranger权限策略中的Policy Conditions),spark-
关闭Ranger鉴权:spark.ranger.plugin.authorization.enable=false Spark2x中,spark-beeline(即连接到JDBCServer的应用)支持Ranger的IP过滤策略(即Ranger权限策略中的Policy Conditions),spark-
其自身消息的消费记录。 可扩展性 当在Kafka集群中可通过增加Broker节点以提供更大容量时。新增的Broker会向ZooKeeper注册,而Producer及Consumer会及时从ZooKeeper感知到这些变化,并做出调整。 Kafka开源特性 可靠性 提供At-Least
Clients:包含WebUI和JDBC接口,为用户访问提供接口。 操作流程 本实践以用户开发一个Hive数据分析应用为例,通过客户端连接Hive后,执行HQL语句访问OBS中的Hive数据。进行企业雇员信息的管理、查询。如果需要基于MRS服务提供的样例代码工程开发构建应用,您可以参考Hive应用开发简介。
double getDouble(); void setDouble(double value); } 创建Function Plugin注册类com.test.functions.MyFunctionsPlugin,其内容如下: package com.test.functions;
部KrbClient的配置参数异常,影响业务运行。 修改该参数后,请重启KrbServer服务和其关联的所有服务。 修改Manager系统域名 若没有及时重启KrbServer服务和其关联的所有服务,会导致集群内部KrbClient的配置参数异常,影响业务运行。 修改该参数后,请
`address` VARCHAR(500) COMMENT "用户地址", `register_time` DATETIME COMMENT "用户注册时间" ) UNIQUE KEY(`user_id`, `username`) DISTRIBUTED BY HASH(`user_id`)
取值范围: 不涉及 azId String 参数解释: 可用区域ID。 取值范围: 不涉及 azName String 参数解释: 可用区域名称。 取值范围: 不涉及 azCode String 参数解释: 可用区域英文名称。 取值范围: 不涉及 availabilityZoneId