检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增强型跨源连接需要使用VPC、子网、路由、对等连接功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 可在服务授权中进行设置。 使用DLI增强型跨源时，弹性资源池/队列的网段与数据源网段不能重合。 访问跨源表需要使用已经创建跨源连接的队列。 跨源表不支持Preview预览功能。
登录DLI管理控制台，在左侧导航栏单击“跨源管理”，在跨源管理界面，单击“增强型跨源”，单击“创建”。 在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。 弹性资源池：选择DLI的队列。（未添加至资源池的队列，请直接选择队列名称。） 虚拟私有云：选择步骤1：获取外部数据
登录DLI管理控制台，在左侧导航栏单击“跨源管理”，在跨源管理界面，单击“增强型跨源”，单击“创建”。 在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。 弹性资源池：选择DLI的队列。（未添加至资源池的队列，请直接选择队列名称。） 虚拟私有云：选择步骤1：获取外部数据
登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 DLI Flink jar作业编辑界面设置作业参数。 类名 com.dli.demo.dew.DataGen2FileSystemSink 参数 --checkpoint.path
单击“确定”。 （可选）在标签列表中，单击“操作”列中“删除”可对选中的标签进行删除。 根据标签查找作业 对于已经添加过标签的作业，用户可以通过设置标签过滤条件进行搜索，以便快速查找到作业。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。
导入表数据 执行查询 执行以下SQL语句，对所有司机在某段时间的异常告警事件进行统计。 常用查询语句可以在SQL编辑器中，选择“更多 > 设为模板”设置为模板。设为模板后，后续可以在模板管理页面找到对应模板进行SQL查询和修改。 具体操作为：选择“作业模板 > SQL模板 > 自定义模板”
服务以您的身份访问DEW服务。 图1 DLI云服务委托 DLI委托 在使用DLI前，为了确保正常使用DLI的功能，建议先进行DLI委托权限设置。 DLI默认提供以下类型的委托：dli_admin_agency、dli_management_agency、dli_data_clea
说明： 路径同时支持文件和文件夹。 obs://DLI/sampledata.csv 表头:无/有 当“文件格式”为“CSV”时该参数有效。设置导入数据源是否含表头。 选中“高级选项”，勾选“表头:无”前的方框，“表头:无”显示为“表头:有”，表示有表头；取消勾选即为“表头:无”，表示无表头。
增强型跨源连接需要使用VPC、子网、路由、对等连接功能，因此需要获得VPC（虚拟私有云）的VPC Administrator权限。 可在服务授权中进行设置。 使用DLI增强型跨源时，弹性资源池/队列的网段与数据源网段不能重合。 访问跨源表需要使用已经创建跨源连接的队列。 跨源表不支持Preview预览功能。
OpenSource作业，创建flink opensource sql作业，输入以下作业脚本，并提交运行。该作业模拟从kafka读取数据，并关联hive维表对数据进行打宽，并输出到print。 如下脚本中的加粗参数请根据实际环境修改。 CREATE CATALOG myhive WITH ( 'type'
IntegerType, StringType, Row from pyspark.sql import SparkSession 创建会话并设置AK/SK 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 1
流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态 DLI服务在Stream SQL中支持与其他服
限。 更新DLI委托权限（dli_management_agency） 在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面，按需选择以下场景的权限。 单击权限卡片上的可以查看包含的详细的权限策略。 委托说明如表1所示。 表1 dli_management_agency委托包含的权限
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
