检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
'connector.password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型,‘jdbc’表示使用JDBC connector,必须为jdbc connector.url 是 数据库的URL connector.table
监控指标和告警信息。 命名空间 SYS.DLI 监控指标 表1 数据湖探索服务支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) queue_cu_num 队列CU使用量 展示用户队列申请的CU数 ≥0 队列 5分钟 queue_job_launching_num
driver所占CUs数=max [( driver内存÷4), driver CPU核数] x1 Spark作业未开启高级配置时默认按A类型资源规格配置。 Spark作业中显示计算资源规格的单位为CPU单位,1CU包含1CPU和4GB内存。上述公式中x1代表CPU单位转换为CU单位。
'', 'password' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String connector类型,需配置为'gaussdb'。 url 是 无 String jdbc连接地址。 使用gsjdbc4驱
'print-identifier' = '', 'standard-error' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认参数 数据类型 说明 connector 是 无 String 固定为:print。 print-identifier 否 无 String 配置一个标识符作为输出数据的前缀。
是基于table schema 推导出来的。 支持的Connector Kafka Upsert Kafka 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定要使用的格式,这里应该是 'csv'。 csv.field-delimiter 否
请注意避免该场景:如果创建的自定义函数F1指定类C1,程序包名JAR1,创建自定义函数F2也指定类C1,程序包JAR2,因为F2和F1使用相同的类名,导致功能相互冲突,影响作业执行。 如需使用UDF热加载功能请提交工单开通白名单。 关键字 USING <resources>:需要加载的资源。可以是JAR、文件或者URI的列表。
下载SSL证书 在DLI控制台,打开“数据管理 > 程序包管理”,单击“创建”,创建clinet.jks对应的程序包。 主要参数的填写说明: 包类型:File OBS路径:clinet.jks所在的OBS路径。 分组名称:自定义分组或选择已有的分组名称。 图4 创建clinet.jks
指定作为rowkey的dli关联表字段,支持单rowkey与组合rowkey。单rowkey支持数值与String类型,不需要指定长度。组合rowkey仅支持String类型定长数据,格式为:属性名1:长度,属性名2:长度。 Cols 定义dli表字段和ct表字段之间的对应关系;其中
UPDATE_BEFORE 和 UDPATE_AFTER 编码为 DELETE 和 INSERT Maxwell 消息。 参数说明 参数 是否必选 默认值 类型 说明 format 是 (none) String 指定使用格式,此处使用'maxwell-json'。 maxwell-json.ignore-parse-errors
'print-identifier' = '', 'standard-error' = '' ); 参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 说明 connector 是 无 String 固定为:print。 print-identifier 否 无 String 配置一个标识符作为输出数据的前缀。
version'='v1' ); 相关操作 了解更多使用DLI委托获取访问凭据的开发指南请参考表1。 表1 DLI委托权限配置场景开发指南 类型 操作指导 说明 Flink作业场景 Flink Opensource SQL使用DEW管理访问凭据 Flink Opensource S
'format-type' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型,“dis”表示数据源为数据接入服务,必须为dis。 connector.region 是 数据所在的DIS区域。 connector.ak
'connector.password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 数据源类型,‘jdbc’表示使用JDBC connector,必须为jdbc connector.url 是 数据库的URL connector.table
password' = '' ); 参数说明 表1 参数说明 参数 是否必选 说明 connector.type 是 connector类型,需配置为'gaussdb' connector.url 是 jdbc连接地址,格式为:jdbc:postgresql://${ip}:${port}/${dbName}
jar获取JDBC驱动,驱动名称:huaweicloud-dli-jdbc-xxx-dependencies.jar。 连接信息: 表1 连接信息 类别 说明 获取方式 DLI AKSK AK/SK认证就是使用AK/SK对请求进行签名,从而通过身份认证。 获取AK/SK DLI Endpoint地址
Spark作业相关SDK Flink作业相关SDK 02 购买 DLI服务目前支持:SQL作业、Spark作业和Flink作业。您可以根据业务类型以及数据量大小灵活选择DLI的计费方式。 价格说明 计费说明 计费详情和样例 04 使用 您可以详细了解DLI管理控制台的功能,常用SQL
(1 row) 创建一个新表,指定Row format: --建表时,指定表的字段分隔符为‘,’号(如果创建外表,要求数据文件中的每条记录的字段是以逗号进行分隔) CREATE TABLE student( id string,birthday string, grade int
中自动推导而得的。 支持的Connector Kafka Upsert Kafka Elasticsearch 参数说明 表1 参数 是否必选 默认值 类型 说明 format 是 (none) String 声明使用的格式,这里应为'json'。 json.fail-on-missing-field
假设Parquet格式文件为原CSV文件大小的1/4,则数据扫描费用为原CSV文件扫描费用的1/4。 计费规则 表1 数据扫描量计费规则 类型 资源 说明 数据扫描 数据扫描量 仅default 队列支持按扫描量计费(DLI预置default队列供用户体验)。 扫描量计费=单价*扫描量数据(GB)。