检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
watermark 生成表达式计算都会由框架完成。 框架会定期发出所生成的最大的 watermark ，如果当前 watermark 仍然与前一个 watermark 相同、为空、或返回的 watermark 的值小于最后一个发出的 watermark ，则新的 watermark
跨源RDS表，执行insert overwrite提示Incorrect string value错误怎么办？ 问题现象 客户在数据治理中心DataArts Studio创建DLI的跨源RDS表，执行insert overwrite语句向RDS写入数据报错：DLI.0999: B
Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包，解压安装包。 将"dli-sdk-python-<version>.zip"解压到本地目录，目录可自行调整。 安装SDK。
资产识别与管理 DLI 可以通过标签实现资源的标识与管理。 使用场景 通常您的业务系统可能使用了华为云的多种云服务，您可以为这些云服务下不同的资源实例分别设置标签，各服务的计费详单会体现这些资源实例设置的标签。如果您的业务系统是由多个不同的应用构成，为同一种应用拥有的资源实例设置
以自适应业务的流量，智能对资源进行弹性伸缩，保障业务稳定性，不需要人工进行额外调试。 DLI Flink与MRS Flink的功能对比如表1所示。 表1 DLI Flink与MRS Flink功能对比 类型 特点 DLI Flink MRS Flink 特色能力 产品模式 全托管（无需人力运维集群）
S表中。 通过DLI跨源连接访问RDS数据请参考《跨源分析开发方式参考》。 与数据仓库服务（DWS）的关系 数据仓库服务（Data Warehouse Service）作为DLI的数据来源及数据存储，与DLI配合一起使用，关系有如下两种。 数据来源：DLI服务提供DataFram
用最小的时间代价体验serverless化的DLI产品，领略数据湖带给我们的全新体验。 注意事项 子账号使用TPC-H测试套件时，需要主账号为子账号赋权OBS访问权限和查看主账号表的权限；如果主账号未登录过DLI服务，子账号除上述权限外，还需要创建数据库和创建表的权限。 使用TPC-H样例模板开发并提交SQL作业
使用DLI进行车联网场景驾驶行为数据分析 使用DLI将CSV数据转换为Parquet数据 使用DLI进行电商BI报表分析 使用DLI进行账单分析与优化 使用DLI Flink SQL进行电商实时业务数据分析 永洪BI对接DLI提交Spark作业
数据权限管理 数据权限列表 创建角色 删除角色 绑定角色 解绑角色 显示角色 分配权限 回收权限 显示已授权限 显示所有角色和用户的绑定关系 父主题： Spark SQL语法参考（即将下线）
CloudTable表表示数据储存在CloudTable服务的表中。 可通过DLI创建表，与其他服务的数据进行关联，以此来实现不同数据源的联合查询分析。 常量与变量 环境变量中，常量与变量的区别如下： 常量在程序运行过程中，所表示的值是无法被改变的。 变量是“可读、可写”，而常量是“只读”的。变量是在程序运行过
来自不同数据源的数据，提供统一的数据视图。 跨源表常用于数据仓库和数据湖架构中，允许用户执行跨多个数据源的复杂查询。 库表管理中表的列表页面，表类型为External，存储位置非OBS路径的即代表跨源表。 数据库和表的约束与限制 数据库 “default”为内置数据库，不能创建名为“default”的数据库。
配置DLI队列与内网数据源的网络联通 背景信息 DLI执行作业时如需访问外部数据源数据，如：DLI连接MRS、RDS、CSS、Kafka、DWS时，需要打通DLI和外部数据源之间的网络。DLI增强型跨源连接，底层采用对等连接的方式打通与目的数据源的vpc网络，通过点对点的方式实现数据互通。
您更好的使用DLI进行大数据分析和处理。 表1 DLI常用开发指南与最佳实践 场景 操作指导 描述 队列网络连通 配置DLI队列与内网数据源的网络连通 DLI在创建运行作业需要连接外部其他数据源，本节操作介绍队列与外部数据源之间的网络连通方法，如：DLI连接MRS、RDS、CSS
使用DLI进行车联网场景驾驶行为数据分析 应用场景 在车联网领域，云计算与大数据为企业提供了强大的分析挖掘能力，可以帮助企业和车队管理者更加科学、便捷地进行车辆数据管理与分析。 方案架构 根据已有的某货运公司车辆定时上报的详单数据和货运订单数据，DLI可以完成对该货运公司车辆行驶特点分析、记录明细的查询。
DCS等。 开源生态 通过对等连接建立与其他VPC的网络连接后，用户可以在DLI的租户独享集群中访问所有Flink和Spark支持的数据源与输出源，如Kafka、Hbase、ElasticSearch等。 自拓展生态 用户可通过编写代码实现从想要的云生态或者开源生态获取数据，作为Flink作业的输入数据。
数据迁移与数据传输 数据迁移与传输方式概述 迁移外部数据源数据至DLI 配置DLI读写外部数据源数据
创建消息通知主题 操作场景 确定创建消息通知主题后，您可在消息通知服务的“主题管理”页面中，对相应的主题添加订阅，选择不同方式（例如短信或者邮件等）进行订阅。订阅成功后，如果作业失败，则系统将会自动发送消息到您指定的订阅终端。 如果作业提交1分钟内立即失败，通常不会触发消息通知。
数据表中。数据表中的每一列都定义了数据类型，用户存储数据时，须遵从这些数据类型的属性，否则可能会出错。 华为大数据平台的Flink SQL与开源社区相同，支持原生数据类型、复杂数据类型和复杂类型嵌套。 原生数据类型 Flink SQL支持原生数据类型，请参见表1。 表1 原生数据类型
数据表中。数据表中的每一列都定义了数据类型，用户存储数据时，须遵从这些数据类型的属性，否则可能会出错。 华为大数据平台的Flink SQL与开源社区相同，支持原生数据类型、复杂数据类型和复杂类型嵌套。 原生数据类型 Flink SQL支持原生数据类型，请参见表1。 表1 原生数据类型
修改弹性资源池的主机信息 操作场景 主机信息用于配置主机的IP与域名的映射关系，在作业配置时只需使用配置的域名即可访问对应的主机。在跨源连接创建完成后，支持修改主机信息。 常见的访问MRS的HBase集群时需要配置实例的主机名（即域名）与主机对应的IP地址。 约束限制 已获取MRS主机信息。请参考怎样获取MRS主机信息
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
