检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
user'='admin','es.net.http.auth.pass'='*******')"); 创建CSS跨源表的参数详情可参考表1。 上述示例中，因为CSS安全集群关闭了https访问，所以“es.net.ssl”参数要设置为“false”。“es.net.http.auth.user”以及“es
I。 Flink作业相关API 包括OBS授权给DLI服务、新建SQL作业、更新SQL作业、新建Flink自定义作业、更新Flink自定义作业、批量运行作业、查询作业列表、查询作业详情、查询作业执行计划、查询作业监控信息、批量停止作业、删除作业、批量删除作业、导出Flink作业、导入Flink作业、生成Flink
Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的
Spark作业使用咨询 Spark如何将数据写入到DLI表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？
deleteStreamJob 创建Flink opensource sql作业 jobs createStreamSqlJob 更新Flink opensource sql作业 jobs updateStreamSqlJob 批量删除Flink作业 jobs deleteStreamJobs
使用Spark Jar作业读取和查询OBS数据 操作场景 DLI完全兼容开源的Apache Spark，支持用户开发应用程序代码来进行作业数据的导入、查询以及分析处理。本示例从编写Spark程序代码读取和查询OBS数据、编译打包到提交Spark Jar作业等完整的操作步骤说明来帮助您在DLI上进行作业开发。
Python Method API Database 创建数据库 createDatabase create_database POST /v1.0/{project_id}/databases 删除数据库 deleteDatabase delete_database DELETE /v1.
创建DLI队列时队列类型需要选择为“SQL队列”。 已创建云数据库RDS的MySQL的数据库实例。具体创建RDS集群的操作可以参考创建RDS MySQL数据库实例。 本示例RDS数据库引擎：MySQL 本示例RDS MySQL数据库版本：5.7。 已创建CDM迁移集群。创建CDM集群的操作可以参考创建CDM集群。
(parquet文件或者log文件)，减轻存储压力，提升list操作效率。 如何执行Clean 写完数据后clean Spark SQL（设置如下参数，随后执行任意写入SQL时，在满足条件时触发） hoodie.clean.automatic=true hoodie.cleaner.commits.retained=10
创建DLI跨源访问 CSS的关联表。 1 2 3 4 5 sparkSession.sql( "create table css_table(id long, name string) using css options( 'es.nodes'='to-css-1174404953-hDTx3UPK
ming/flink-jobs/{job_id} dli:jobs:update √ × 删除flink作业 DELETE /v1.0/{project_id}/streaming/jobs/{job_id} dli:jobs:delete √ × 批量运行flink作业 POST
SQL支持跨源认证的数据源与约束限制请参考表1。 Flink OpenSource SQL 1.12支持跨源认证的数据源与约束限制请参考表2。 表1 Spark SQL支持跨源认证的数据源 跨源认证类型 数据源 约束与限制 CSS CSS CSS集群版本选择“6.5.4”或“6.5.4”以上版本。 CSS集群已开启“安全模式”。
图2 选择连接器类型 选择“云数据库 MySQL”后单击“下一步”，配置云数据库 MySQL连接的参数。 单击“显示高级属性”可查看更多可选参数，具体请参见配置云数据库MySQL/MySQL数据库连接。这里保持默认，必填参数如表1所示。 表1 MySQL连接参数 参数名 说明 取值样例
功能名称 功能描述 阶段 相关文档 1 支持Flink流作业 DLI上线Flink流作业，完全兼容Apache Flink和Spark API，即时执行Stream SQL或自定义作业，提供实时处理流式大数据的全栈能力。 商用 Flink作业管理概述 2019年10月 序号 功能名称
队列 5分钟 flink_read_records_per_second Flink作业数据输入速率 展示用户Flink作业的数据输入速率，供监控和调试使用。 ≥0 Flink作业 10秒钟 flink_write_records_per_second Flink作业数据输出速率
具体操作请参考使用DEW管理数据源访问凭证。 使用DEW管理数据源访问凭证时，您还需要创建DLI云服务委托授予DLI访问其他服务（DEW）读取访问凭证。 SQL作业、Flink 1.12版本的跨源访问场景，使用DLI提供的“跨源认证”管理数据源的访问凭证，具体操作请参考使用DLI的跨源认证管理数据源访问凭证。
运行失败。 user RDS数据库用户名。 password RDS数据库用户名对应密码。 driver jdbc驱动类名，访问MySQL集群请填写："com.mysql.jdbc.Driver"，访问PostGre集群请填写："org.postgresql.Driver"。 partitionColumn
entries为准，提交该批次的数据。 es.nodes.wan.only 是否仅通过域名访问es节点，默认为false。使用经典型跨源的连接地址作为es.nodes时，该参数需要配置为true；使用css服务提供的原始内网IP地址作为es.nodes时，不需要填写该参数或者配置为false。 es.mapping
使用DLI提交Spark Jar作业 OBS 2.0支持DLI Flink作业 DLI Flink作业专为实时数据流处理设计，适用于低时延、需要快速响应的场景，支持与多种云服务跨源连通，形成丰富的流生态圈。适用于实时监控、在线分析等场景。 · Flink OpenSource作业：DLI提供了标准的
加到弹性资源池。还可以在队列管理页面分配队列至弹性资源池。 弹性资源池Flink版本只支持1.10及其以上版本，如果准备分配到弹性资源池的作业使用Flink1.7版本可能会出现兼容性问题，需要提前做好Flink版本适配。 约束与限制 弹性资源池和队列均是可用状态。 队列是按需专属队列。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
