检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
nk Opensource SQL使用DEW管理访问凭据 如果未在创建Redis结果表的语句中定义Redis key的字段,则会使用生成的uuid作为key。 如果需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。 Redis结果
1所示: 图1 CSS集群管理 单击“安全模式”中的“下载证书”下载安全证书。 使用keytool工具生成keystore和truststore文件。 使用keytool工具生成keystore和truststore文件,其中需要使用到安全集群的安全证书(CloudSearchService
其他套餐包按订购周期重置。 适用场景 通常情况下,建议您针对不同的业务创建项目: 开发项目:在此项目下,大多是工程师开发调试时使用,作业随机性大,数据量小。针对这种情况,建议您使用按CU时计费模式,能够帮您有效控制成本,将资源消耗控制在一定范围内。如果您有短时的专属资源需求,也
shuffle数据优化 提升资源扩缩容的稳定性,当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释
shuffle数据优化 提升资源扩缩容的稳定性,当shuffle文件不需要时清理Executor。 支持配置小文件合并 使用SQL过程中,生成的小文件过多时,会导致作业执行时间过长,且查询对应表时耗时增大,建议对小文件进行合并。 参考如何合并小文件完成合并小文件。 支持修改非分区表或分区表的列注释
返回的跨源连接个数。 表4 connections参数 参数名称 是否必选 参数类型 说明 id 否 String 连接ID,用于标识跨源连接的UUID。 name 否 String 创建连接时,用户自定义的连接名称。 status 否 String 连接状态,包括以下两种状态: ACTIVE:已激活
id, 'a2', '2021-01-03' as dt, '19' as hh; 权限需求 由DLI提供的元数据服务 SQL权限: database table 无 INSERT_INTO_TABLE 细粒度权限:dli:table:insertIntoTable 由LakeFo
设置是否将作业运行时的日志信息保存到OBS。日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。 注意: 该参数建议勾选,否则作业运行完成后不会生成运行日志,后续如果作业运行异常则无法获取运行日志进行定位。 勾选后需配置下列参数: “OBS桶”:选择OBS桶用于保存用户作业日志信息。如
connections/{connection_id} {project_id}信息请从获取项目ID获取。 查询参数说明详情,请参见创建数据库(废弃)。 请求示例 描述:查询项目ID为48cc2c48765f481480c7db940d6409d1下连接ID为2a620c33-5
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1.15版本
L”。 登录MRS集群的Manager,下载用户凭据:”系统设置 > 用户管理 ,单击用户名后的”更多 > 下载认证凭据”。 根据用户凭据生成相应的truststore.jks文件,并将用户凭据以及truststore.jks文件传入OBS中。 具体方式请参考客户端SSL加密功能使用说明。
SHALLOW CLONE参数描述 参数 描述 target_db 目标Database名称,由字母、数字和下划线(_)组成。 target_table 目标表名,由字母、数字和下划线(_)组成。 source_db 源Database名称,由字母、数字和下划线(_)组成。 source_table
'fenodes' = 'FE_IP:PORT,FE_IP:PORT,FE_IP:PORT', 'table.identifier' = 'database.table', 'username' = 'dorisUsername', 'password' = 'dorisPassword'
version_code 参数描述 表1 查询Delta表历史版本参数说明 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 timestamp_expression
Key/Secret Key (AK/SK)和Token,其中Token认证仅dli-jdbc-1.x版本支持。推荐使用AK/SK认证方式。 (推荐)生成AK/SK 登录DLI管理控制台。 在页面右上角的用户名的下拉列表中选择“我的凭证”。 在“我的凭证”页面,默认显示“项目列表”,切换到“管理访问密钥”页面。
TABLES命令用于显示所有在当前database中的table,或所有指定database的table。 命令格式 SHOW TABLES [IN db_name]; 参数描述 表1 SHOW TABLES参数描述 参数 描述 IN db_name Database名称,仅当需要显示指定Database的所有Table时配置。
FROM person".stripMargin).collect().foreach(println) 提交Spark作业 将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请参考《数据湖探索API参考》>《上传资源包》。 在Spar
version_code 参数描述 表1 还原Delta表版本参数说明 参数 描述 database_name Database名称,由字母、数字和下划线(_)组成。 table_name Database中的表名,由字母、数字和下划线(_)组成。 obs_path Obs路径,表示Delta表的存储位置。
12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 若未在创建Redis结果表的语句中定义Redis key的字段,则会使用生成的uuid作为key。 若需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。 Redis结果表
批量运行作业 查询作业列表 查询作业详情 查询作业执行计划 批量停止作业 删除作业 批量删除作业 导出Flink作业 导入Flink作业 生成Flink SQL作业的静态流图