检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表4 elastic_resource_pools参数说明 参数名称 是否必选 参数类型 说明 owner 否 String 创建弹性资源池的账号。 elastic_resource_pool_name 否 String 弹性资源池名称。 description 否 String 弹性资源池描述信息。
Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 Flink Jar 使用DEW获取访问凭证读写OBS 访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。
<key1>=<val1>;<key2>=<val2>… 说明: endpoint指DLI的终端节点,具体请参考地区和终端节点。 projectId指项目编号,从华为云“基本信息>我的凭证”页面获取项目编号。 “?”后面接其他配置项,每个配置项以“key=value”的形式列出,配置项之间以“;”隔开,详见表3
将无法正常获取IAM用户相关信息、或影响访问跨源所需的网络资源、无法访问SMN服务发送通知消息。 约束限制 服务授权需要主账号或者用户组admin中的子账号进行操作。 DLI服务授权需要区分项目,请在每个需要新委托的项目分别执行更新委托操作,即切换至对应项目后,再按照本节的操作更新委托权限。
否 String 队列计算资源的cpu架构。 x86_64 aarch64 默认值为x86_64。 说明: aarch64架构计算资源使用华为鲲鹏系列服务器。 resource_mode 否 Integer 队列资源模式。支持以下两种类型: 0:共享资源模式 1:专属资源模式 labels
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1.15版本 已在
off 如果没有开启https访问的话,不需要去生成keystore.jks和truststore.jks文件的,只需要设置好ssl访问和账号密码参数即可。 构造依赖信息,创建SparkSession 导入依赖。 涉及到的mvn依赖库: <dependency>
具体API请参考《导出查询结果》。 与统一身份认证服务(IAM)的关系 统一身份认证服务(Identity and Access Management)为DLI提供了华为云统一入口鉴权功能。 具体操作请参考《创建用户并授权使用DLI》和《DLI自定义策略》。 与云审计服务(CTS)的关系 云审计服务(Cloud
// 关闭Archive操作 Spark离线完成Compaction计划的执行,以及Clean和Archive操作 在调度平台(可以使用华为的DataArts)运行一个定时调度的离线任务来让Spark完成Hudi表的Compaction计划执行以及Clean和Archive操作。
=<val2>... 默认端口 需要连接的数据库端口。 Default Database 需要连接的数据库名。 Default User 账号名称。默认root。 DLI JDBC驱动连接的格式 jdbc:dli://<endPoint>/projectId?<key1>=<val1>;<key2>=<val2>
'passwdauth'='######'//DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。 )" ) 表1 创建表参数 参数 说明 url DWS的连接地址,需要先创建跨源连接,管理控制台操作请参考《数据湖探索用户指南》。
index-{log_ts|yyyy-MM-dd}')。 username 否 无 String Elasticsearch所在集群的账号。该账号参数需和密码“password”参数同时配置。 password 否 无 String Elasticsearch所在集群的密码。该密
-MM-dd}')。更多详细信息,请参见下面的动态索引。 username 否 无 String Elasticsearch所在集群的账号。该账号参数需和密码“password”参数同时配置。 password 否 无 String Elasticsearch所在集群的密码。该密
ive语法创建表。详细操作请参考使用Hive语法创建OBS表。 使用Spark 3.3.1执行jar作业报错 "xxx don`t support dli v1 table."怎么办? 该错误提示信息说明使用Spark 3.3.1执行Jar作业时不支持执行与该表相关的操作,请切换
'pwd_auth_name'= 'xxxxx', --DLI侧创建的Password类型的跨源认证名称。使用跨源认证则无需在作业中配置账号和密码。 'database-name' = 'testrdsdb',--RDS MySQL实例的数据库名 'table-name'
ClickHouseDriver。 username 否 无 String 访问ClickHouse数据库的账号名,MRS集群开启Kerberos认证时需要填写。 password 否 无 String 访问ClickHouse数据库账号的密码,MRS集群开启Kerberos认证时需要填写。 sink.buffer-flush
只支持将DLI表(表类型为“Managed”)中的数据导出到OBS桶中,且导出的路径必须指定到文件夹级别。 导出文件格式为json格式,且文本格式仅支持UTF-8。 支持跨账号导出数据,即B账户对A账户授权后,A账户拥有B账户OBS桶的元数据信息和权限信息的读取权限,以及路径的读写权限,则A账户可将数据导出至B账户的OBS路径中。
SlashEncodedDayPartitionValueExtractor hoodie.datasource.hive_sync.support_timestamp 当hudi表存在timestamp类型字段时,需指定此参数为true,以实现同步timestamp类型到hive
分钟大小的滚动窗口效果相同。 窗口偏移只影响窗口的分配,并不会影响 Watermark -- NOTE: Currently Flink doesn't support evaluating individual window table-valued function, -- window table-valued
ert数据到OBS表,显示作业运行失败,报:“DLI.0007: The output path is a file, don't support INSERT...SELECT” 错误。 问题示例语句参考如下: CREATE TABLE testcsvdatasource (name