正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Registry的承载身份验证凭据源。 debezium-avro-confluent.bearer-auth.token 否 (none) String Schema Registry的承载身份验证Token。 debezium-avro-confluent.properties 否 (none) Map
空间,并给出使用DLI过程中降低成本的一些优化措施。 流程介绍 使用DLI进行账单分析与优化的操作过程主要包括以下步骤: 步骤1:获取消费数据。获取账户的实际消费数据。 步骤2:分析账户消费结构并优化。在DLI上分析账户消费结构,找出开支较大的资源或用户,并给出降底成本的优化措施。
选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”,配置凭据基本信息。 本例中第一行key对应的value为用户的AK(Access Key Id) 本例中第二行key对应的value为用户的SK(Secret Access Key) 图3 在DEW中配置访问凭据 后续在DLI Flink jar作业编辑界面设置访问凭据的参数示例。
注解相关参数、类或方法来支持提取过程。 代码示例 Table(类似于 SQL 标准)是一种强类型的 API,函数的参数和返回类型都必须映射到 Table API 的数据类型,参见Table API数据类型。 如果需要更高级的类型推导逻辑,您可以在每个自定义函数中显式重写 getTypeInference(
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化。 创建队列 DLI提供创建队列的接口,您可以使用该接口创建队列。示例代码如下: 1 2 3 4 5 6 7 8 9 private static void createQueue(DLIClient
描述表信息 您可以使用该接口获取表的元数据描述信息。示例代码如下: private static void getTableDetail(Table table) throws DLIException { // 调用Table对象的getTableDetail方法获取描述表信息
注解相关参数、类或方法来支持提取过程。 代码示例 Table(类似于 SQL 标准)是一种强类型的 API,函数的参数和返回类型都必须映射到 Table API 的数据类型,参见Table API数据类型。 如果需要更高级的类型推导逻辑,您可以在每个自定义函数中显式重写 getTypeInference(
如 pt_year=2020/pt_mon=10/pt_day=01)。 is_lakehouse 否 无 Boolean 如果使用hive语法的DLI Lakehouse表,则需要设置is_lakehouse为true。 Source Parallelism Inference
'用户ID') SORTED as parquet LOCATION 'obs://akc-bigdata/akdc.db' 如果指定路径为akdc.db时,进行insert overwrite操作时,会将akdc.db下的数据都清空,造成重大事故。 父主题: 作业开发
pyspark作业对接MySQL,需要创建跨源链接,打通DLI和RDS之间的网络。 通过管理控制台创建跨源连接请参考《数据湖探索用户指南》。 通过API创建跨源连接请参考《数据湖探索API参考》。 父主题: 作业开发
自拓展输入流 用户可通过编写代码实现从想要的云生态或者开源生态获取数据,作为Flink作业的输入数据。 语法格式 1 2 3 4 5 6 7 CREATE SOURCE STREAM stream_id (attr_name attr_type (',' attr_name attr_type)*
15及以上版本在创建Jar作业时支持直接配置OBS中的程序包,不支持读取DLI程序包。 使用CES监控DLI服务 您可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 例如监控DLI队列资源使用量和作业的运行情况。了解更多DLI支持的监控指标请参考使用CES监控DLI服务。
15及以上版本在创建Jar作业时支持直接配置OBS中的程序包,不支持读取DLI程序包。 使用CES监控DLI服务 您可以通过云监控服务提供的管理控制台或API接口来检索数据湖探索服务产生的监控指标和告警信息。 例如监控DLI队列资源使用量和作业的运行情况。了解更多DLI支持的监控指标请参考使用CES监控DLI服务。
DLI服务的域名。 在地区和终端节点获取DLI对应区域的域名。 如果不配置,程序根据region参数来确定域名。 obsEndPoint 是 obs.cn-north-1.myhuaweicloud.com OBS服务的域名。 在地区和终端节点获取OBS对应区域的域名。 bucketName
自拓展输入流 用户可通过编写代码实现从想要的云生态或者开源生态获取数据,作为Flink作业的输入数据。 语法格式 1 2 3 4 5 6 7 CREATE SOURCE STREAM stream_id (attr_name attr_type (',' attr_name attr_type)*
能力,提高计算的可靠性。 商用 队列管理概述 2 支持Spark作业开发者模式 用户可以在DLI管理控制台采用API接口模式设置参数及参数值。 商用 创建批处理作业API 2020年5月 序号 功能名称 功能描述 阶段 相关文档 1 支持数据扫描量套餐包 DLI增加数据扫描量套餐包,降低数据扫描量费用。
时使用的格式。该选项与'value.format'只能配置其中一个。 格式取值如下: csv json avro 请参考Format页面以获取更多详细信息和格式参数。 topic-pattern 否 无 String 匹配读取kafka topic名称的正则表达式。 注意:“to
时使用的格式。该选项与'value.format'只能配置其中一个。 格式取值如下: csv json avro 请参考Format页面以获取更多详细信息和格式参数。 topic-pattern 否 无 String 匹配读取kafka topic名称的正则表达式。 注意:“to
提供了一个统一的API,用于管理元数据,并使其可以从Table API和SQL查询语句中来访问。详情参考Apache Flink Catalogs 功能描述 HiveCatalog有两个用途:作为原生Flink元数据的持久化存储,以及作为读写现有Hive元数据的接口。 Flink 的Hive
配置'properties.sasl.mechanism' = 'GSSAPI'和'properties.security.protocol' = 'SASL_PLAINTEXT' 示例 从Kafka源表获取Kafka source topic数据,通过Upsert Kafka结果表将Kafka