检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置DLI云服务的委托权限后会在IAM委托页面生成dli_management_agency的委托。
默认会随机生成一个5400~6400的值。 scan.startup.mode 否 initial String 消费数据时的启动模式。 initial(默认):在第一次启动时,会先扫描历史全量数据,然后读取最新的Binlog数据。
默认会随机生成一个5400~6400的值。 scan.startup.mode 否 initial String 消费数据时的启动模式。 initial(默认):在第一次启动时,会先扫描历史全量数据,然后读取最新的Binlog数据。
Flink Opensource SQL使用DEW管理访问凭据 如果未在创建Redis结果表的语句中定义Redis key的字段,则会使用生成的uuid作为key。 如果需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。
表2 Flink作业基本信息 参数 参数说明 ID 所提交Flink作业的ID,由系统默认生成。 名称 所提交Flink作业的名称。 类型 所提交Flink作业的类型。
注意: 该参数建议勾选,否则作业运行完成后不会生成运行日志,后续如果作业运行异常则无法获取运行日志进行定位。 OBS桶 勾选“保存作业日志”时,该参数必选。 选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。
图3 弹性资源池队列扩缩容策略结果图形化 图4 弹性资源池队列扩缩容策略图像化展示 后续到了队列扩缩容策略配置的时间,会生成一个扩缩容任务。具体可以在“作业管理 > SQL作业”下查看作业类型为“SCALE_QUEUE”的作业。 父主题: 管理弹性资源池
传入要删除的字段,返回不包含此字段的DataFrame对象,并且每次只能删除一个字段,示例如下: 1 jdbcDF.drop("id").show() 提交作业 将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。
', 30),('Peter', 45)".stripMargin) 查询数据 1 sparkSession.sql("SELECT * FROM person".stripMargin).collect().foreach(println) 提交Spark作业 将写好的代码生成
WY09px9l.cloudtable.com:2181" sparkSession.read.schema(new StructType(attrs)).format("hbase").options(map.toMap).load().show() 返回结果: 提交Spark作业 将写好的代码生成
传入要删除的字段,返回不包含此字段的DataFrame对象,并且每次只能删除一个字段,示例如下: 1 jdbcDF.drop("id").show() 提交Spark作业 将写好的代码生成jar包,上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。
numeric 是一个内部 时间戳值,表示自'1970-01-01 00:00:00’ UTC 以来的秒数,由 UNIX_TIMESTAMP() 函数生成。返回值以会话时区表示 (在 TableConfig 中指定)。
请勿将disToDis.properties放在生成的jar包中,在代码里有关于disToDis.properties的路径,如果放在jar包中,代码会找不到disToDis.properties路径。 操作步骤 创建所需要的DIS通道,具体流程可参开通DIS通道。
'1' ); insert into jdbcSink select * from dataGenSource; 查看表中数据,在MySQL中执行sql查询语句 select * from orders; 示例3:从DataGen源表中读取数据,将JDBC表作为维表,并将二者生成的表信息写入
Flink 将每 5 分钟生成一个新的窗口。 图1 滚动窗口示例图 语法描述 TUMBLE 函数通过时间属性字段为每行数据分配一个窗口。 在流计算模式,时间属性字段必须被指定为事件或处理时间属性。
注意: 该参数建议勾选,否则作业运行完成后不会生成运行日志,后续如果作业运行异常则无法获取运行日志进行定位。 勾选后需配置下列参数: “OBS桶”:选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。
若未在创建Redis结果表的语句中定义Redis key的字段,则会使用生成的uuid作为key。 若需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。
若未在创建Redis结果表的语句中定义Redis key的字段,则会使用生成的uuid作为key。 若需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。
STRING FROM_UNIXTIME(numeric[, string]) 入参说明 参数名 数据类型 参数说明 numeric BIGINT 内部时间戳值,表示自'1970-01-01 00:00:00' UTC 以来的秒数,值可以由UNIX_TIMESTAMP() 函数生成
STRING FROM_UNIXTIME(numeric[, string]) 入参说明 参数名 数据类型 参数说明 numeric BIGINT 内部时间戳值,表示自'1970-01-01 00:00:00' UTC 以来的秒数,值可以由UNIX_TIMESTAMP() 函数生成