检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
only 是否仅通过域名访问es节点，默认为false。使用经典型跨源的连接地址作为es.nodes时，该参数需要配置为true；使用css服务提供的原始内网IP地址作为es.nodes时，不需要填写该参数或者配置为false。 es.mapping.id 指定一个字段，其值作为es中Document的id。
配置YongHong BI连接DLI进行数据查询和分析 YongHong BI是一款企业级数据分析工具。支持数据可视化、报表制作、数据分析和决策支持的功能，帮助企业洞察业务数据，提升决策效率。 本节操作介绍YongHong BI连接DLI的操作步骤。 操作前准备 环境要求： 已安装YongHong
LakeFormation是企业级一站式湖仓构建服务，提供元数据统一管理能力，支持无缝对接多种计算引擎及大数据云服务，便捷高效地构建数据湖和运营相关业务，加速释放业务数据价值。 在DLI的Spark作业和SQL作业场景，支持对接LakeFormation实现元数据的统一管理，本节操作介绍配置
键（前缀为g:）适用于所有操作，服务级条件键（前缀为服务缩写，如dli）仅适用于对应服务的操作。运算符与条件键一起使用，构成完整的条件判断语句。 DLI通过IAM预置了一组条件键。下表显示了适用于DLI服务特定的条件键。 表1 DLI请求条件 DLI条件键 类型 运算符 描述 g:CurrentTime
助企业做出基于数据的决策。 Kyuubi是一个分布式SQL查询引擎，它允许用户通过标准的SQL接口来访问和分析数据。 将Power BI与Kyuubi对接，通过Kyuubi访问DLI进行数据查询和分析，简化了数据访问流程，提供了数据的统一管理和分析能力，从而获得更深入的数据洞察。
DWS集群连接地址：请参见获取集群连接地址进行获取。如果通过公网地址连接，请指定为集群“公网访问地址”或“公网访问域名”，如果通过内网地址连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。
and id < 50，另一个task执行id >=50 and id < 100。 fetchsize 读取数据时，每一批次获取数据的记录数，默认值1000。设置越大性能越好，但占用内存越多，该值设置过大会有内存溢出的风险。 batchsize 写入数据时，每一批次写入数据的记录数，
按需计费的弹性资源池默认勾选专属资源模式，自创建起按自然小时收费。无作业运行仍正常收费。 按实际CU进行计费，秒级计费，按小时结算。按需弹性资源池创建成功一小时后方可删除。 父主题： 计费相关问题
长度为1～57字节。 说明： 作业名称必须是唯一的。 描述 作业的相关描述，且长度为0～512字节。 标签 使用标签标识云资源。包括“标签键”和“标签值”。如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签。
CDC是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库的增量变动记录，同步到一个或多个数据目的中。CDC在数据同步过程中，还可以对数据进行一定的处理，例如分组（GROUP BY）、多表的关联（JOIN）等。 本示例通过创建PostgreSQL CD
HetuEngine是高性能的交互式SQL分析及数据虚拟化引擎，它与大数据生态无缝融合，实现海量数据秒级交互式查询，并支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。 HetuEngine对Hudi仅支持select操作，即支持SELECT语法来查询Hudi表中的数据。
此外，您还必须确保该云服务的实例与CDM集群所属的企业项目必须相同，如果不同，需要修改工作空间的企业项目。 本示例CDM集群的虚拟私有云、子网以及安全组和DWS集群保持一致。 步骤一：数据准备 DWS集群上创建数据库和表。 参考使用gsql命令行客户端连接DWS集群连接已创建的DWS集群。 执行以下命令连接DWS集群的默认数据库“gaussdb”：
对于2024年5月之前开通并使用DLI服务的用户，如需使用“查询结果写入桶”功能，必须提交工单申请加入白名单。 方式一：使用Maven中央库来添加JDBC驱动 Maven中央库是Apache Maven项目的一部分，提供了Java库和框架。 在不指定JDBC获取方式的情况下，默认使用Maven中央库的方式来添加JDBC驱动。
Cols与RowKey中的字段加起来的数量必须与DLI表的字段保持一致，即表中所有的字段都到对应到Cols和RowKey中，但是顺序可以任意。 组合Rowkey只支持String类型，在使用组合Rowkey时，每个属性后面必须带上长度。当Rowkey指定的字段只有一个的时候，该字段的类型可以是支持的所有数据类型，并且不需要填写长度。
Integer value = rows.get(0).getInt(0); System.out.println("获取第一行结果中的第一列数据值" + value); } System.out.println("Job id: " + sqlJob.getJobId()
PRIMARY KEY 主键用作 Flink 优化的一种提示信息。主键限制表明一张表或视图的某个（些）列是唯一的并且不包含 Null 值。 主键声明的列都是非 nullable 的。因此主键可以被用作表行级别的唯一标识。 主键可以和列的定义一起声明，也可以独立声明为表的限制属性，不管是哪种方式，主键都不可以重复定义，否则
cdc-events-duplicate 设置成true，并在该source上定义PRIMARY KEY。 框架会生成一个额外的有状态算子，使用该primary key来对变更事件去重并生成一个规范化的changelog流。 更新信息请参考Debezium 官方文档。 消费Debezium Postgres
查询参数，是可选部分，并不是每个API都有查询参数。查询参数前面需要带一个“?”，形式为“参数名=参数取值”，例如“?limit=10”，表示查询不超过10条数据。 例如，您需要获取IAM在“华北-北京一”区域的Token，则需使用“华北-北京一”区域的Endpoint（iam.cn-north-1
Livy用于提交Spark作业到DLI的客户端工具。 准备工作 创建DLI队列。在“队列类型”中选择“通用队列”，即Spark作业的计算资源。具体请参考创建队列。 准备一个linux弹性云服务器ECS，用于安装DLI Livy。 ECS需要放通30000至32767端口、8998端口。具体操作请参考添加安全组规则。
asticsearch等数据源; 用户无需登录维护集群，在控制台上完成一键提交，无需接触集群。 支持Flink SQL作业快速开启checkpoint。 支持Flink作业日志转储保留，便于作业分析。 需要一定的技术能力完成代码编译、集群搭建、配置、运维。 用户需要自己编写完整代码并进行编译。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
