检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全集群的登录密码。 Certificate路径 上传“安全证书”的OBS路径。即步骤2的OBS桶地址。 图1 创建认证信息-CSS 访问CSS的表。 跨源认证创建成功后，在创建访问CSS的表时只需关联跨源认证即可安全访问数据源。 例如在使用Spark SQL来创建访问CSS的表时使用es
是 批处理作业的ID。 请求消息 无请求参数。 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 id 否 String 批处理作业的ID，采用UUID（通用唯一识别码）格式。 state 否 String 批处理作业的状态，请参见创建批处理作业中的表7。 请求示例
query_expression 功能描述 通过定义数据视图的方式，将多层嵌套写在数据视图中，简化开发过程。 语法说明 IF NOT EXISTS 若该视图已经存在，则不会进行任何操作。 示例 创建一个名为viewName的视图 create view viewName as select
（推荐）DLI SDK V3 写作说明 本文介绍了DLI服务提供的V3版本的SDK，列举了最新版本SDK的获取地址。 SDK列表 表1提供了DLI云服务支持的SDK列表，您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 Github地址
”栏可查看到连接的数据库信息。 通过新建的连接即可对DLI执行后续的数据查询相关工作。 步骤3：在DBeaver编写SQL查询 在DBeaver建立与DLI的连接后，即可在DBeaver编写SQL查询： 您可以在左侧的数据库导航面板中选择数据库对象，然后在中间的查询编辑器中编写SQL语句。
如何通过JDBC设置spark.sql.shuffle.partitions参数提高并行度 Spark jar 如何读取上传文件 添加Python包后，找不到指定的Python环境 为什么Spark jar 作业 一直处于“提交中”？ 父主题： Spark作业相类
选择kerberos。 认证信息名称 所创建的跨源认证信息名称。 名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 输入长度不能超过128个字符。 建议名称中包含MRS安全集群的名称，便于区分不同集群的安全认证信息。 用户名 安全集群的登录用户名。 krb5_conf路径
关键字 DROP：删除指定视图的元数据。虽然视图和表有很多共同之处，但是DROP TABLE不能用来删除VIEW。 注意事项 所要删除的视图必须是已经存在的，否则会出错，可以通过IF EXISTS来避免该错误。 示例 删除名为student_view的视图。 1 DROP VIEW
怎样查看DLI的数据扫描量？ 登录DLI管理控制台。 选择“作业管理 > SQL作业”。 筛选执行队列为default队列，查看相应的作业。 单击展开作业，查看已扫描的数据。如图1所示。 图1 查看作业扫描量 父主题： 计费相关问题
操作场景 通过在DLI控制台创建的Kafka_SSL类型的跨源认证，将Kafka的认证信息存储到DLI，无需在SQL作业中配置账号密码，安全访问Kafka实例。 MRS Kafka开启Kerberos认证，未开启SSL认证时，创建Kerberos类型的认证。建表时通过krb_auth_name关联跨源认证。
语句中，可以随意添加其他的查询条件，但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化，变化的部分会以撤销、更新记录的形式发送到下游。 如果
语句中，可以随意添加其他的查询条件，但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化，变化的部分会以撤销、更新记录的形式发送到下游。 如果
语句中，可以随意添加其他的查询条件，但其他条件只允许通过 AND 与 rownum <= N 结合使用。 注意事项 TopN 查询的结果会带有更新。 Flink SQL 会根据排序键对输入的流进行排序。 如果 top N 的记录发生了变化，变化的部分会以撤销、更新记录的形式发送到下游。 如果
如何获取项目ID？ 提交SQL作业时，返回“unsupported media Type”信息 创建SQL作业的API执行超过时间限制，运行超时报错 API接口返回的中文字符为乱码，如何解决？
x版本在SQL队列的差异对比 DLI整理了Spark 2.4.x与Spark 3.3.x版本在SQL队列的差异，便于您了解Spark版本升级后SQL队列上运行的作业在适配新版本引擎时的影响。 histogram_numeric函数的返回值的类型不同 说明： Spark SQL中的histo
localFilePath 是 - 存放Spark程序中使用的jar包、Python程序文件、配置文件等的本地目录。 程序会自动将Spark程序依赖到的相关文件上传的OBS路径，并加载到DLI服务端资源包。 ak 是 - 用户的Access Key。 sk 是 - 用户的Secret Key。 projectId
示例3：使用CTAS将源表的全部数据或部分数据创建新的DLI表 示例说明：根据示例1：创建DLI非分区表中创建的DLI表table1，使用CTAS语法将table1中的数据复制到table1_ctas表中。 在使用CTAS建表的时候，可以忽略被复制的表在建表时所使用的语法，即不论在创建t
x支持自定义k8s的调度器。 升级引擎版本后是否对作业有影响： 功能增强，支持自定义调度器管理资源的分配和调度。 Spark将不可为null的模式转换为可空 说明： 在Spark 2.4.x版本中，当用户指定的schema包含不可为空的字段时，Spark会将这些不可为null的模式转换为可空的。
Development Kit）是对DLI服务提供的REST API进行的作业提交的封装，以简化用户的开发工作。用户直接调用DLI SDK提供的接口函数即可实现使用提交DLI SQL和DLI Spark作业。 DLI支持的SDK分为SDK V3和DLI服务自行开发的SDK。 （推荐）DLI SDK
字符。 修改组下的资源包拥有者，则该参数为必选参数。 “group_name”和“resource_name”可以单独使用，也可以组合使用。 修改组的拥有者：使用“group_name”。 修改资源包拥有者：使用“resource_name”。 修改组下的资源包的拥有者：同时使用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
