检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果使用MRS Doris，请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 集群未启用Kerberos认证（普通模式）。 使用admin用户连接Doris后，创建具有管理员权限的角色并绑定给用户。 注意事项 创建Flink
创建提交作业所需的计算资源。 步骤3：创建数据库 DLI元数据是SQL作业开发的基础。在执行作业前您需要根据业务场景定义数据库和表。 步骤4：创建表 数据库创建完成后，需要在数据库db1中基于OBS上的样本数据创建表。 步骤5：查询数据 使用标准SQL语句进行数据的查询和分析。 准备工作
operation参数设置写入模式。 insert： 该操作不需要通过索引去查询具体更新的文件分区，因此它的速度比upsert快。当不包含更新数据时建议使用该操作，如果存在更新数据使用该操作会出现重复数据。 bulk_insert：该操作会对主键进行排序后直接以写普通parquet表的方式插入Hu
在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。本示例输入为：dli_kafka。 弹性资源池：选择步骤1：创建队列中已经创建的队列名。 虚拟私有云：选择Kafka的虚拟私有云。 子网：选择Kafka的子网。 其他参数可以根据需要选择配置。
在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。本示例输入为：dli_kafka。 弹性资源池：选择步骤1：创建队列中已经创建的队列。 虚拟私有云：选择Kafka的虚拟私有云。 子网：选择Kafka的子网。 其他参数可以根据需要选择配置。
REPLACE，或者替换所有作业中的函数F1为F2。 需要重启Spark SQL队列后新创建的自定义函数F2生效 需要重启Spark SQL队列，影响当前运行的作业。 重启队列后，影响F1原有功能，F1的功能变为和F2一样。 场景二 在原有程序包类的基础上新增了类，新创建的函数指定为新增的类，包名不变。
SQL 1.12版本的作业支持使用跨源认证。 仅在2023年5月1日后创建的队列，支持Flink作业使用跨源认证。 DLI支持四种类型的跨源认证，不同的数据源按需选择相应的认证类型。 CSS类型跨源认证：适用于“6.5.4”及以上版本的CSS集群且集群已开启安全模式。 Kerbero
参考增强型跨源连接，在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置Doris的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据Doris的地址测试队
Insert作业执行过程中扫描到的错误记录数。 input_size Long 作业执行过程中扫描文件的大小，单位字节。 result_count Integer 当前作业返回的结果总条数或insert作业插入的总条数。 database_name String 记录其操作的表所在的数据库名称。类
end模式下工作。 如果定义了主键，Elasticsearch Sink将在upsert模式下工作，该模式可以消费包含UPDATE和DELETE的消息。 如果未定义主键，Elasticsearch Sink将以append模式工作，该模式只能消费INSERT消息。 在Elasti
源接口的模式名称。 true：表示在展示模式名称时，包含 DLI 的名称作为前缀。 false：表示在展示模式名称时，不包含 DLI 的名称。 例如如果配置为true，并且有一个DLI名称为 hive，那么在执行show schemas时，输出为hive.default的格式。
步骤1：创建队列：创建DLI作业运行的队列。 步骤2：创建RDS MySQL数据库和表：创建RDS MySQL的数据库和表。 步骤3：创建DWS数据库和表：创建用于接收数据的DWS数据库和表。 步骤4：创建增强型跨源连接：DLI上创建连接RDS和DWS的跨源连接，打通网络。 步骤5：运行作业：DLI上创建和运行Flink
不支持队列类型切换，如需使用其他队列类型，请重新购买新的队列。 不支持切换队列的计费模式。 队列不支持切换区域。 16CUs队列不支持扩容和缩容。 64CUs队列不支持缩容。 创建队列时，仅支持包年包月队列和按需专属队列选择跨AZ双活，且跨AZ的队列价格为单AZ模式下的2倍。 新创建的队列需要运行作业后才可进行扩缩容。
了大量数据而产生的计费。具体操作请参考数据存储。 数据存储 进入“数据管理”>“库表管理”页面。 查看所建的数据库中是否有存储在DLI中的数据： 单击所要查看的数据库名，进入对应的“表管理”页面； 查看对应表的“数据存储位置”是否为DLI。 如果有存储在DLI中的数据，则按照存储计费的标准计费。
源接口的模式名称。 true：表示在展示模式名称时，包含 DLI 的名称作为前缀。 false：表示在展示模式名称时，不包含 DLI 的名称。 例如如果配置为true，并且有一个DLI名称为 hive，那么在执行show schemas时，输出为hive.default的格式。
当需要将来自不同源的数据进行集中存储和处理时，迁移数据至DLI可以提供一个统一的数据平台。 您可以参考使用CDM迁移数据至DLI迁移数据至DLI后再提交作业。 如果业务需求需要实时访问和处理来自不同数据源的数据，跨源访问可以减少数据的复制和延迟。 跨源访问的必要条件包括“DLI
upsert 模式还是 append 模式下工作。 如果定义了主键，Elasticsearch sink 将以upsert模式工作，该模式可以消费包含UPDATE/DELETE消息的查询。 如果未定义主键，Elasticsearch sink 将以append模式工作，该模式只能消费包含INSERT消息的查询。
在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。本示例输入为：dli_rds。 弹性资源池：选择步骤1：创建队列中已经创建的队列名称。（未添加至资源池的队列，请直接选择队列名称。） 虚拟私有云：选择RDS的虚拟私有云。 子网：选择RDS的子网。 其他参数可以根据需要选择配置。
源接口的模式名称。 true：表示在展示模式名称时，包含 DLI 的名称作为前缀。 false：表示在展示模式名称时，不包含 DLI 的名称。 例如如果配置为true，并且有一个DLI名称为 hive，那么在执行show schemas时，输出为hive.default的格式。
源接口的模式名称。 true：表示在展示模式名称时，包含 DLI 的名称作为前缀。 false：表示在展示模式名称时，不包含 DLI 的名称。 例如如果配置为true，并且有一个DLI名称为 hive，那么在执行show schemas时，输出为hive.default的格式。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
