检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DWS-Connector的使用方法请参考dws-connector-flink。 前提条件 请务必确保您的账户下已在数据仓库服务（DWS）里创建了DWS集群。如何创建DWS集群，请参考《数据仓库服务管理指南》中“创建集群”章节。 请确保已创建DWS数据库表。 该场景作业需要运行在DLI的独享队列上，因此要与D
本示例CDM集群的虚拟私有云、子网以及安全组和创建的CSS集群保持一致。 步骤一：数据准备 CSS集群上创建索引并导入数据。 登录CSS管理控制台，选择“集群管理 > Elasticsearch”。 在集群管理界面，在已创建的CSS集群的“操作”列，单击“Kibana”访问集群。 在Kibana的左侧导航中选择“Dev
consumer 组（consumer 属性中的 group.id 设置）提交的偏移量中开始读取分区。 * 如果找不到分区的偏移量，那么将会使用配置中的 auto.offset.reset 设置。 * 详情 https://ci
DLI的数据可存储在哪些地方 DLI是否支持导入其他租户共享OBS桶的数据？ 区域和可用区 全局变量的使用中，一个子账号是否可以使用其他子账号创建的全局变量 怎样获取DLI作业样例（Demo） DLI是否存在Apache Spark 命令注入漏洞（CVE-2022-33891）？ 怎样管理在DLI上运行的作业
数据相关 导入数据 插入数据 清空数据
说明。 Spark SQL作业管理 提供SQL作业管理界面功能介绍。 Spark SQL模板管理 DLI支持定制模板或将正在使用的SQL语句保存为模板，便捷快速的执行SQL操作。 开发指导 Spark SQL语法参考 提供SQL数据库、表、分区、导入及导出数据、自定义函数、内置函数等语法说明和样例指导。
Flink作业管理相关API 触发Flink作业保存点 导入Flink作业保存点
SQL作业相关API（废弃） 导入数据（废弃） 导出数据（废弃） 父主题： 历史API
创建数据库的入口有两个，分别在“数据管理”和“SQL编辑器”页面。 在“数据管理”页面创建数据库。 在管理控制台左侧，单击“数据管理”>“库表管理”。 在库表管理页面右上角，单击“创建数据库”可创建数据库。 在“SQL编辑器”页面创建数据库。 在管理控制台左侧，单击“SQL编辑器”。
功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 create table kafkaSource(
更新Flink Jar作业 批量运行作业 查询作业列表 查询作业详情 查询作业执行计划 批量停止作业 删除作业 批量删除作业 导出Flink作业 导入Flink作业 生成Flink SQL作业的静态流图
功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。 注意事项 对接的Kafka集群不支持开启SASL_SSL。 语法格式 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 create table kafkaSource(
并基于项目进行授权。不同项目下的资源相互隔离。项目可以是一个部门或者一个项目组。 数据库 数据库即按照数据结构来组织、存储和管理数据的仓库。DLI服务管理权限的基础单元是数据库，赋权以数据库为单位。 在DLI中，表和数据库是定义底层数据的元数据容器。表中的元数据让DLI知道数据所
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题： 创建数据库和表
类型请参见订单数据。 图4 创建订单表 将OBS数据导入到order_records表，单击“数据管理 > 库表管理”，单击demo数据库，进入“表管理”页面，单击order_records表对应“操作”列中的“更多”>“导入”，数据格式选择“CSV”，数据源路径为“obs://
认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 集群未启用Kerberos认证（普通模式） Doris的表名是区分大小写。
创建DLI表时不支持指定存储路径。 数据导入 仅支持将OBS上的数据导入DLI或OBS中。 支持将OBS中CSV，Parquet，ORC，JSON和Avro格式的数据导入到在DLI中创建的表。 将CSV格式数据导入分区表，需在数据源中将分区列放在最后一列。 导入数据的编码格式仅支持UTF-8。
link Checkpoint和Savepoint生成机制及格式一致，因而，也可以通过Flink作业列表“操作”列中的“更多”>“导入保存点”，导入OBS中最新成功的Checkpoint，并从中恢复。 图3 停止作业 图4 恢复保存点 父主题： Flink作业性能调优类
安全组”参数下获取Kafka的安全组。 RDS 在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”，获取“内网地址”、“虚拟私有云”、“子网”、“数据库端口”和“安全组”信息。 CSS 在CSS管理控制台，选择“Elasticsearch > 集群管理”，单击已创建的CSS集群名称，进入到CSS的基本信息页面。
安全组”参数下获取Kafka的安全组。 RDS 在RDS控制台“实例管理”页面，单击对应实例名称，查看“连接信息”，获取“内网地址”、“虚拟私有云”、“子网”、“数据库端口”和“安全组”信息。 CSS 在CSS管理控制台，选择“Elasticsearch > 集群管理”，单击已创建的CSS集群名称，进入到CSS的基本信息页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
