检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Livy用于提交Spark作业到DLI的客户端工具。 准备工作 创建DLI队列。在“队列类型”中选择“通用队列”，即Spark作业的计算资源。具体请参考创建队列。 准备一个linux弹性云服务器ECS，用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。 ECS需安装Java
在Flink SQL作业中创建表使用EL表达式，作业运行提示DLI.0005错误怎么办？ 问题现象 Flink SQL作业创建表时，表名使用EL表达式，运行作业时报如下错误： DLI.0005: AnalysisException: t_user_message_input_#{
使用JDBC连接DLI并提交SQL作业 操作场景 在Linux或Windows环境下您可以使用JDBC应用程序连接DLI服务端提交作业。 使用JDBC连接DLI提交的作业运行在Spark引擎上。 JDBC版本2.X版本功能重构后，仅支持从DLI作业桶读取查询结果，如需使用该特性需具备以下条件：
li-jdbc-<version>.zip”，支持在所有平台（Linux、Windows等）所有版本中使用，且依赖JDK 1.7及以上版本。 下载的JDBC驱动包中包含了.bat（Windows）或.sh（Linux/Mac）脚本，这些脚本用于自动化安装JDBC驱动到本地Maven仓库。
DLI分区内表导入的文件不包含分区列的数据，导致数据导入完成后查询表数据失败怎么办？ 问题现象 DLI分区内表导入了CSV文件数据，导入的文件数据没有包含对应分区列的字段数据。分区表查询时需要指定分区字段，导致查询不到表数据。 问题根因 DLI分区内表在导入数据时，如果文件数据没
创建OBS外表，由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办？ 问题现象 创建OBS外表，因为指定的OBS文件内容中某字段包含回车换行符导致表字段数据错误。 例如，当前创建的OBS外表语句为： CREATE TABLE test06 (name string, id
sink可以在initializeState里引入。 图2 获取kafka sink 操作步骤 从Kafka实例的基本信息页面下载SSL证书，解压后将其中的clinet.jks文件上传到OBS。 图3 下载SSL证书 在DLI控制台，打开“数据管理 > 程序包管理”，单击“创建”，创建clinet.jks对应的程序包。
failure错误怎么办？ 跨源访问MRS HBase，连接超时，日志未打印错误怎么办？ DLI跨源连接报错找不到子网怎么办？ 跨源RDS表，执行insert overwrite提示Incorrect string value错误怎么办？ 创建RDS跨源表提示空指针错误怎么办？ 对跨源DWS表执行insert
DDL：与传统DDL操作一致，即创建和删除数据库，创建和删除表的作业。 QUERY：执行SQL查询数据的作业。 INSERT：执行SQL插入数据的作业。 UPDATE：更新数据。 DELETE：删除SQL作业。 DATA_MIGRATION：数据迁移。 RESTART_QUEUE：重启队列。 SCALE_QUEUE：
更新表分区信息（只支持OBS表） 功能描述 更新表在元数据库中的分区信息。 语法格式 1 MSCK REPAIR TABLE table_name; 或 ALTER TABLE table_name RECOVER PARTITIONS; 关键字 PARTITIONS：分区。
队列引擎版本升级后，在创建表时，提示权限不足怎么办？ 什么是DLI分区表的列赋权？ 更新程序包时提示权限不足怎么办？ 执行SQL查询语句报错：DLI.0003: Permission denied for resource.... 已经给表授权，但是提示无法查询怎么办？ 表继承数据库权限后，对表重复赋予已继承的权限会报错吗？
创建DLI程序包 DLI支持用户通过批处理方式将程序包提交至通用队列中运行。 如果用户需要更新程序包，可以使用相同的程序包或文件上传至DLI的同一个位置（同一个分组），直接覆盖原有的程序包或文件。 前提条件 所使用的程序包需提前上传至OBS服务中保存。 创建程序包步骤 在管理控制
ssl", "true") 如果CSS安全集群开启了HTTPS访问，此处需要设置为“true”，并且需要继续设置后面的安全证书、文件地址等参数。 如果CSS安全集群未开启HTTPS访问，此处需要设置为“false”，则不需要设置后面安全证书、文件地址等参数。 .option("es.net
传。 已成功（Finished）：表示程序包已经上传。 已失败（Failed）：表示程序包上传失败。 创建时间 创建程序包的时间。 更新时间 更新程序包的时间。 操作 权限管理：对程序包用户进行权限管理。 删除：删除程序包。 更多： 修改所有者：修改程序包用户。 标签：添加或编辑程序包标签。
登录CSS服务管理控制台，单击“集群管理”。 在“集群管理”页面中，单击对应的集群名称，进入“基本信息”页面。 单击“安全模式”后的下载证书，下载CSS安全集群的证书。 将认证凭证上传到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。
certificate_location String 创建时指定的证书OBS路径。 datasource_type String 数据源的类型。 create_time Int 创建时间戳。 update_time Int 更新时间戳。 krb5_conf String krb5配置文件obs路径。
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书
建表必须指定primaryKey和preCombineField。 Hudi表提供了数据更新的能力和幂等写入的能力，该能力要求数据记录必须设置主键用来识别重复数据和更新操作。不指定主键会导致表丢失数据更新能力，不指定preCombineField会导致主键重复。 参数名称 参数描述 输入值
write.operation参数设置写入模式。 insert： 该操作不需要通过索引去查询具体更新的文件分区，因此它的速度比upsert快。当不包含更新数据时建议使用该操作，如果存在更新数据使用该操作会出现重复数据。 bulk_insert：该操作会对主键进行排序后直接以写普通p
boolExpression] 参数描述 表1 UPDATE参数 参数 描述 tableIdentifier 在其中执行更新操作的Hudi表的名称。 column 待更新的目标列。 EXPRESSION 需在目标表中更新的源表列值的表达式。 boolExpression 过滤条件表达式。 示例 update h0
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
