检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 create table printSink
(orc_table_property = value [, ...] ) ] 限制 创建分区表时，如果bucket_count为-1且建表语句中未设置buckets，则使用默认值16。 默认外部表存储位置{lakeformation_catalog_url}/{schema_name}.
SERDEPROPERTIES：Serde属性。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上
读取kafka中的数据，以avro格式反序列化，并输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性
序列化的字节序列。 示例 使用kafka发送数据，输出到print中。 根据kafka所在的虚拟私有云和子网创建相应的跨源，并绑定所要使用的队列。然后设置安全组，入向规则，使其对当前将要使用的队列放开，并根据kafka的地址测试队列连通性（通用队列 > 找到作业的所属队列 > 更多 > 测试地址连通性
keytab',\ 'principal' ='krbtest')") 与未开启kerberos认证相比，开启了kerberos认证需要多设置三个参数，如表1所示。 表1 参数说明 参数名称与参数值 参数说明 'krb5conf' = './krb5.conf' krb5.conf的地址。
--创建视图 create view orders_by_date as select * from orders; --设置表的注释信息，可以通过设置注释信息为NULL来删除注释 COMMENT ON TABLE people IS 'master table'; --创建一个具有列名id、name的新表：
单引号（''）包围起来。 partition_specs 分区信息，key=value形式，key为分区字段，value为分区值。若分区字段为多个字段，可以不包含所有的字段，会删除匹配上的所有分区。“partition_specs”中的参数默认带有“( )”，例如：PARTITION
服务以您的身份访问DEW服务。 图1 DLI云服务委托 DLI委托 在使用DLI前，为了确保正常使用DLI的功能，建议先进行DLI委托权限设置。 DLI默认提供以下类型的委托：dli_admin_agency、dli_management_agency、dli_data_clea
conf文件。 创建MRS HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。以样例代码为例，具体的流程是： 远程登录ECS，通过hbase shell命令查看表信息。其中，“hbtest”是要查询的表名。 describe 'hbtest' （可选）如果不存在
说明： 路径同时支持文件和文件夹。 obs://DLI/sampledata.csv 表头:无/有 当“文件格式”为“CSV”时该参数有效。设置导入数据源是否含表头。 选中“高级选项”，勾选“表头:无”前的方框，“表头:无”显示为“表头:有”，表示有表头；取消勾选即为“表头:无”，表示无表头。
StructField("value", DoubleType())]) 设置数据 1 dataList = sparkSession.sparkContext.parallelize([("aaa", "abc",
业结果文件的场景，即不需要旧的作业结果的场景。 结果条数 否 指定导出的结果条数。 不填写数值或数值为“0”时，导出全部结果。 表头 否 设置导出查询结果数据是否含表头。 导出作业结果到本地 异步DDL和QUERY语句支持将结果下载到本地。下载到本地默认仅支持下载1000条数据。
在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作业”，在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。 在“运行参数设置”页签，“UDF Jar”选择创建的程序包，单击“保存”。 选定JAR包以后，SQL里添加UDF声明语句，就可以像普通函数一样使用了。 1
sparkSession = SparkSession.builder.appName("datasource-redis").getOrCreate() 设置连接参数 1 2 3 4 host = "192.168.4.199" port = "6379" table = "person" auth
在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作业”，在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。 在“运行参数设置”页签，“UDF Jar”选择创建的程序包，单击“保存”。 选定JAR包以后，SQL里添加UDF声明语句，就可以像普通函数一样使用了。 1
登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 DLI Spark jar作业编辑界面设置作业参数。 Spark参数： spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access
在DLI管理控制台的左侧导航栏中，单击作业管理>“Flink作业”，在需要编辑作业对应的“操作”列中，单击“编辑”，进入作业编辑页面。 在“运行参数设置”页签，“UDF Jar”选择创建的程序包，单击“保存”。 选定JAR包以后，SQL里添加UDF声明语句，就可以像普通函数一样使用了。 1
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，
cu_number 否 Integer 用户为作业选择的CU数量。默认值为“2”。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 开启：true 关闭：false
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
