检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
source/sink ,一般用于寻找和创建底层的连接器。 表达式 key1=val1 的键和值必须为字符串文本常量。 注意: 表名可以为以下三种格式 1. catalog_name.db_name.table_name 2. db_name.table_name 3. table_name。使用catalog_name
所有资源:授权后,IAM用户可以根据权限使用账号中所有资源,包括企业项目、区域项目和全局服务资源。 全局服务资源:全局服务部署时不区分区域,访问全局级服务,不需要切换区域,全局服务不支持基于区域项目授权。如对象存储服务(OBS)、内容分发网络(CDN)等。授权后,用户根据权限使用全局服务的资源。 指定区
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 create table jbdcSource ( attr_name attr_type (',' attr_name attr_type)*
用跨源认证则无需在作业中配置账号和密码。 db_url = "mysql://192.168.x.x:3306/test2", /* 格式为mysql://RDS数据库实例的内网地址:RDS数据库端口/RDS创建的数据库名 */ table_name = "tabletest2"
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 create table jbdcSource ( attr_name attr_type (',' attr_name attr_type)*
15版本、且已在作业中配置允许DLI访问DEW的委托信息。自定义委托及配置请参考自定义DLI委托权限。 使用该功能,所有涉及OBS的桶,都需要进行配置AKSK。 语法格式 在Flink jar作业编辑界面,选择配置优化参数,配置信息如下: 不同的OBS桶,使用不同的AKSK认证信息。 可以使用如下配置方式,
据湖探索用户指南》。 创建经典型跨源连接后,使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后,使用CSS提供的"内网访问地址",格式为"IP1:PORT1,IP2:PORT2"。 resource 指定在CSS关联的资源名,用"/index/type"指定资源位置(可简
id='11111'").show() id、location、city:限定了长度,插入数据时须按长度给定数据值,否则查询时会发生编码格式错误。 操作结果; 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请
在FLink作业列表中选择待编辑的作业。 单击操作列“编辑”。 在参数区域输入参数信息。 指定类的参数列表,参数之间使用空格分隔。 参数输入格式:--key1 value1 --key2 value2 例如:控制台入输入的参数 --bootstrap.server 192.168.168
委托 使用Flink 1.15版本执行作业时,按需配置自定义委托用于授予DLI访问其他服务的操作权限。 优化参数 用户自定义的优化参数。参数格式为key=value。 Flink优化参数支持非敏感的全局变量替换。例如,在“全局配置”>“全局变量”中新增全局变量phase,Flink
'deploy-mode' = 'master-replica', 'schema-syntax' = 'array-scores' ); 语法格式 create table dwsSource ( attr_name attr_type (',' attr_name attr_type)*
'deploy-mode' = 'master-replica', 'schema-syntax' = 'array-scores' ); 语法格式 create table dwsSource ( attr_name attr_type (',' attr_name attr_type)*
'deploy-mode' = 'master-replica', 'schema-syntax' = 'array-scores' ); 语法格式 create table dwsSource ( attr_name attr_type (',' attr_name attr_type)*
String groupId = params.get("groupId"); // Checkpoint输出路径,格式obs://bucket/path/ String checkpointBucket = params.get("checkpointPath");
选择步骤6:上传Jar包到OBS和DLI下中上传到DLI程序包。例如当前选择为:“SparkJarMetadata-1.0-SNAPSHOT.jar”。 主类 格式为:程序包名+类名。例如当前为:com.huawei.dli.demo.DliCatalogTest。 Spark参数(--conf) spark
'deploy-mode' = 'master-replica', 'schema-syntax' = 'array-scores' ); 语法格式 1 2 3 4 5 6 7 8 9 create table dwsSink ( attr_name attr_type ('
'deploy-mode' = 'master-replica', 'schema-syntax' = 'array-scores' ); 语法格式 1 2 3 4 5 6 7 8 9 create table dwsSink ( attr_name attr_type ('
'deploy-mode' = 'master-replica', 'schema-syntax' = 'array-scores' ); 语法格式 1 2 3 4 5 6 7 8 9 create table dwsSink ( attr_name attr_type ('