检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
jdbc.Driver。 username 否 无 String DWS数据库认证用户名，需要和'password'参数一起配置。 password 否 无 String DWS数据库认证密码，需要和'username'参数一起配置。 scan.partition.column 否 无
-- ResponseCode: 403, ResponseStatus: Forbidden 解决方案 Spark程序访问OBS数据时，需要通过配置AK、SK的访问进行访问。 具体访问方式可以参考：通用队列操作OBS表如何设置AK/SK。 父主题： Spark作业运维类
当schema-syntax为map或array时，非主键字段最多只能只有一个，且需要为相应的map或array类型。 当schema-syntax为fields-scores时，非主键字段个数需要为偶数，且除主键字段外，每两个字段的第二个字段的类型需要为doule，会将该字段的值视为前一个字段的score，其示例如下：
参数a的格式包括浮点数格式、整数格式、字符串格式。 代表需要被四舍五入的值。 该命令与传统四舍五入方式的区别在于，对数字5进行操作时，由前一位数字来决定，前一位数字为奇数，增加一位，前一位数字为偶数，舍弃一位。 参数a非DOUBLE类型时，会隐式转换为DOUBLE类型后参与运算。 d 否 DO
jetty-util-ajax-9.4.31.v20200723.jar snappy-java-1.1.7.5.jar curator-framework-4.2.0.jar jetty-webapp-9.4.31.v20200723.jar spark-catalyst_2.11-2
配置DLI读写外部数据源数据的操作流程 DLI执行作业需要读写外部数据源时需要具备两个条件： 打通DLI和外部数据源之间的网络，确保DLI队列与数据源的网络连通。 妥善保存数据源的访问凭证确保数据源认证的安全性，便于DLI安全访问数据源。 本节操作介绍配置DLI读写外部数据源数据操作流程。
接的跨项目应用。本节操作介绍对增强型跨源连接授权或回收权限的操作步骤。 如果被授权的项目属于相同区域（region）的不同用户，则需使用被授权项目所属的用户账号进行登录。 如果被授权的项目属于相同区域（region）的同一用户，则需使用当前账号切换到对应的项目下。 应用示例 项目
跨源认证简介及操作方法请参考跨源认证简介。 注意事项 若需要使用upsert模式，则必须在DWS结果表和该结果表连接的DWS表都定义主键。 若DWS在不同的schema中存在相同名称的表，则在flink opensource sql中需要指定相应的schema。 提交Flink作业前，建
VG()，也是聚合函数。 约束限制 在DLI Console上执行UDAF相关操作时，需要使用自建的SQL队列。 跨账号使用UDAF时，除了创建UDAF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDAF函数。 授权操作参考如下：登录DLI管理控制台，选择“ 数据管理
sql import SparkSession 创建会话 1 sparkSession = SparkSession.builder.appName("datasource-opentsdb").getOrCreate() 创建DLI跨源访问 OpenTSDB的关联表 1 2
线（_）组成。不能是纯数字，且不能以下划线开头。匹配规则为：^(?!_)(?![0-9]+$)[A-Za-z0-9_$]*$。如果特殊字符需要使用单引号（''）包围起来。 注意事项 若所查看的表不存在，将会出错。 示例 查看student表的所有列的列名与列数据类型。 1 DESCRIBE
问DLI时，需要先切换至授权区域。 权限类别：根据授权精程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖
sql import SparkSession 创建会话 1 sparkSession = SparkSession.builder.appName("datasource-hbase").getOrCreate() 通过SQL API访问 创建DLI跨源访问HBase的关联表
布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka是线下集群，需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。
sql import SparkSession 创建会话 1 sparkSession = SparkSession.builder.appName("datasource-dws").getOrCreate() 通过DataFrame API访问数据源 连接参数配置 1 2
请务必确保您的账户下已在云搜索服务里创建了集群。如何创建集群请参考《云搜索服务用户指南》中创建集群章节。 如果需要通过集群账号和密码访问Elasticsearch，则创建的云搜索服务集群必须开启安全模式并且关闭https。 该场景作业需要运行在DLI的独享队列上，因此要与云搜索服务建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
"timestampType":"LogAppendTime","event_time":"2023-11-16 11:16:30.369","message":"{\"order_id\":\"202103251202020001\", \"order_channel\":\"miniAppShop\",
使用DLI分析电商BI报表 应用场景 某电商商城在保持高速发展的同时，沉淀了数亿的忠实用户，积累了海量的真实数据。如何利用BI工具从历史数据中找出商机，是大数据应用在精准营销中的关键问题，也是所有电商平台在做智能化升级时所需要的核心技术。 本案例以某商城真实的用户、商品、评论数据
怎样查看DLI的执行SQL记录？ 场景概述 执行SQL作业过程中需要查看对应的记录。 操作步骤 登录DLI管理控制台。 在左侧导航栏单击“作业管理”>“SQL作业”进入SQL作业管理页面。 输入作业ID或者执行的语句可以筛选所要查看的作业。 父主题： SQL作业开发类
gauss200.jdbc.Driver。 username 否 无 String 数据库认证用户名，需要和'password'一起配置。 password 否 无 String 数据库认证密码，需要和'username'一起配置。 scan.partition.column 否 无 String
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
