检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
例如,当前Livy工具安装路径为“/opt/livy”,则当前需要上传的jar包名称如下: /opt/livy/rsc-jars/livy-api-0.7.2.0107.jar /opt/livy/rsc-jars/livy-rsc-0.7.2.0107.jar /opt/livy
properties.security.protocol '= 'SSL'; 如果使用SASL_SSL类型,则需要同时配置以下参数: 'properties.security.protocol' = 'SASL_SSL'、 'properties.sasl.mechanism' = 'GSSAPI
该条建议针对的是通过Spark Datasource API或者Flin写Hudi表的场景,通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项;该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中,为后续的跨引擎操作数据以及数据管理提供便利。
如果使用SASL_PLAINTEXT类型,且使用Kerberos认证,则需要同时配置以下参数: 'properties.sasl.mechanism' = 'GSSAPI' 'properties.security.protocol' = 'SASL_PLAINTEXT' 具体的建表操作指导请参考
下面示例代码中的斜体字需要替换为实际内容,详情请参考《统一身份认证服务API参考》。
说明: 访问MRS集群,只支持创建增强型跨源连接并且需要配置主机信息,管理控制台操作请参考增强型跨源连接,相关API信息请参考创建增强型跨源连接。 TableName 指定在HBase集群中已创建的表名。
HOP(time_attr, interval, interval) 定义一个跳跃的时间窗口(在 Table API 中称为滑动窗口)。滑动窗口有一个固定的持续时间( 第二个 interval 参数 )以及一个滑动的间隔(第一个 interval 参数 )。
升级引擎版本后是否对作业有影响: 有影响,describe function 相关API的返回信息不同。
提交DLI Spark jar作业时,Hudi参数可以通过Spark datasource API的option来配置。 或者,在提交作业时配置到"Spark参数(--conf)" 中,注意,此处配置的参数,键需要添加前缀 ”spark.hadoop.”