检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI常用管理操作 使用自定义镜像增强作业运行环境 管理DLI全局变量 管理Jar作业程序包 管理DLI资源配额
如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase，请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 语法格式 create table hbaseSource (
如何获取AK/SK？ 如何获取项目ID？ 提交SQL作业时，返回“unsupported media Type”信息 创建SQL作业的API执行超过时间限制，运行超时报错 API接口返回的中文字符为乱码，如何解决？
新建Flink Jar作业 更新Flink Jar作业 批量运行作业 查询作业列表 查询作业详情 查询作业执行计划 批量停止作业 删除作业 批量删除作业 导出Flink作业 导入Flink作业 生成Flink SQL作业的静态流图
有两种方式可查看导入的数据。 目前预览只显示导入的前十条数据。 在“数据管理”>“库表管理”页面，单击数据库名，在表管理界面对应表的“操作”栏选择“更多”中的“表属性”，在弹框的“预览”页签中，可查看导入的数据 在“SQL编辑器”的“数据库”页签中，单击数据库名称，进入对应的表列表，鼠标
开启Flink作业动态扩缩容后，系统将根据Flink作业的实际资源需求动态调整资源分配。当弹性资源池中剩余的Pod资源足以支持作业的最小资源需求时，系统将自动减少作业所在节点的数量，确保作业高效运行，同时提高资源的利用效率。 当前仅Flink 1.12版本的作业支持开启动态扩缩容。 使用须知 在F
Buffer size too small. size SQL作业运行报错：DLI.0002 FileNotFoundException 用户通过CTAS创建hive表报schema解析异常错误 在DataArts Studio上运行DLI SQL脚本，执行结果报org.apache.hadoop
典型场景示例：配置DLI与内网数据源的网络联通 背景信息 DLI与内网数据源的网络联通通常指的是华为云内部服务的场景，例如DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。使用DLI提供的增强型跨源连接，采用对等连接的方式打通DLI与目的数据源的VPC网络，实现数据互通。
定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像，请参考《数据湖探索用户指南》。 feature 否 String 自定义作业特性。表示用户作业使用的Flink镜像类型。 basic：表示使用DLI提供的基础Flink镜像。 custom：表示使用用户自定义的Flink镜像。
本例中选择TCP协议，端口值不填或者填写为步骤1：获取外部数据源的内网IP、端口和安全组获取的数据源的端口。 类型 IP地址类型。 IPv4 源地址 源地址用于放通来自IP地址或另一安全组内的实例的访问。 本例填写步骤2：获取DLI队列网段获取的队列网段。 描述 安全组规则的描述信息，非必填项。 _ 步骤4：创建增强型跨源连接
建议对流批业务实施资源池的精细化管理，将Flink实时流类型的作业与SQL批处理类型的作业分别置于独立的弹性资源池中。 优势在于：Flink实时流任务具有常驻运行的特质，确保其稳定运行而不会强制缩容，进而避免任务中断和系统不稳定。 而SQL批处理类型的作业在独立的资源池中能够更加灵活
REPLACE，或者替换所有作业中的函数F1为F2。 需要重启Spark SQL队列后新创建的自定义函数F2生效 需要重启Spark SQL队列，影响当前运行的作业。 重启队列后，影响F1原有功能，F1的功能变为和F2一样。 场景二 在原有程序包类的基础上新增了类，新创建的函数指定为新增的类，包名不变。
如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 若使用MRS HBase，请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 语法格式 create table hbaseSource (
rand函数用于返回大于或等于0且小于1的平均分布随机数。 命令格式 rand(INT seed) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 seed 否 INT类型。 参数seed的格式包括浮点数格式、整数格式、字符串格式。 如果指定种子seed，在相同运行环境下，将会得到一个稳定的随机数序列。
性资源池中的资源。 队列是DLI中被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源。您可以为不同的作业或数据处理任务创建不同的队列，并按需对这些队列分配和调整资源。了解DLI的队列类型请参考DLI队列类型。 DLI计算资源模式 DLI提供了三种计算资源的管理模式，每一种模式都有独特的优势和适用场景。
DLI SDK与API的对应关系 OBS授权 表1 OBS授权相关API&SDK的对应关系表 Class Method Java Method Python Method API Authorize OBS授权 authorizeBucket - POST /v1.0/{proj
通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？ 如何通过JDBC设置spark.sql
注意事项 具有正在运行中的作业的数据库或者表不能删除。 管理员用户、数据库的所有者和具有删除数据库权限的用户可以删除数据库。 数据库和表删除后，将不可恢复，请谨慎操作。 删除数据库 在管理控制台左侧，单击“数据管理”>“库表管理”。 单击需要删除的数据库“操作”栏中的“更多 > 删除数据库”。
Flink有什么区别？ DLI中的Spark组件与MRS中的Spark组件有什么区别？ 怎样升级DLI作业的引擎版本 DLI的数据可存储在哪些地方 DLI是否支持导入其他租户共享OBS桶的数据？ 区域和可用区 全局变量的使用中，一个子账号是否可以使用其他子账号创建的全局变量 怎样获取DLI作业样例（Demo）
到DLI管理控制台，左侧导航栏选择“作业管理 > Flink作业”，在对应的Flink作业所在行，操作列下单击“编辑”。 在“运行参数”下，查看“开启Checkpoint”参数是否开启。 图1 开启Checkpoint 确认Flink结果表的表结构和DLI分区表的表结构是否保持一致。如问题描述中car_inf
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
