检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 可以通过set方式修改endpoint,即dliInfo.setServerEndpoint(endpoint)。 父主题: Python SDK环境配置
field_delimiter = "," ); /** 创建数据维表,用于和输入流连接,实现字段回填 * * 根据实际情况修改以下选项: * value_type:redis的键值对应值类型,支持STRING、HASH、SET、ZSET、LIST,其中HASH
Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。
NOT NULL 文件的字节数。 file.modification-time TIMESTAMP_LTZ(3) NOT NULL 文件的修改时间。 示例 从obs表作为数据源读取数据,输出到print connector。 CREATE TABLE obs_source(
link版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE orders ( order_id string, order_channel string, order_time
link版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE orders ( order_id string, order_channel string, order_time
String 作业状态码。 作业的状态如下: job_init:草稿 job_submitting:提交中 job_submit_fail:提交失败 job_running:运行中(开始计费,提交作业后,返回正常结果) job_running_exception:运行异常(停止计费。作业发生运行时异常,停止运行作业)
认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 可以通过set方式修改endpoint,即dliInfo.setServerEndpoint(endpoint)。 父主题: Java SDK环境配置
field_delimiter = "," ); /** 创建数据维表,用于和输入流连接,实现字段回填 * * 根据实际情况修改以下选项: * value_type:redis的键值对应值类型,支持STRING、HASH、SET、ZSET、LIST,其中HASH
Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。如何添加IP域名映射,请参见《数据湖探索用户指南》中修改主机信息章节。 Kafka是线下集群,需要通过增强型跨源连接功能将Flink作业与Kafka进行对接。且用户可以根据实际所需设置相应安全组规则。
startOffset=LATEST # flink保存checkpoint的路径 checkpointPath=obs://bucket/path/ 常见问题 Q:作业运行失败,运行日志中有如下报错信息,应该怎么解决? java.lang.NoSuchMethodError: org.apache.flink.api
会按照 FROM 中所定义的顺序依次执行。请确保 join 所指定的表在顺序执行中不会产生不支持的 cross join (笛卡儿积)以致查询失败。 流查询中可能会因为不同行的输入数量导致计算结果的状态无限增长。请提供具有有效保留间隔的查询配置,以防止出现过多的状态。 示例 SELECT
ME_ZONE。 TIMESTAMP_WITH_LOCAL_TIME_ZONE,和 MULTISET。 Flink的INTERVAL类型还不能映射到Hive INTERVAL类型。 示例 在Flink OpenSource SQL作业中,创建名为myhive的catalog,并使用它用于管理元数据。
String 作业状态。 作业的状态如下: job_init:草稿 job_submitting:提交中 job_submit_fail:提交失败 job_running:运行中(开始计费,提交作业后,返回正常结果) job_running_exception:运行异常(停止计费。作业发生运行时异常,停止运行作业)
link版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( cast_int_to_string int, cast_String_to_int
link版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource ( cast_int_to_string int, cast_String_to_int
若需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。 Redis结果表若定义主键,则不能够定义复合主键,即主键只能是一个字段,不能是多个字段。 schema-syntax取值约束: 当schema-syntax为map或array时,非主键字段最多
若需要指定Redis中的key,则需要在flink的Redis结果表中定义主键,该主键的值即为key。 Redis结果表若定义主键,则不能够定义复合主键,即主键只能是一个字段,不能是多个字段。 schema-syntax取值约束: 当schema-syntax为map或array时,非主键字段最多
getResource("userData/fileName")加载该文件。 ClassName”为需要访问该文件的类名。 userData为固定文件路径名,不支持修改或自定义其他路径名。 fileName为需要访问的文件名。 本节示例适用于Flink 1.12版本。Flink 1.15版本的Jar作业开发指导请参考Flink
r78j.datasource.com:8000/postgres 如果想要访问DWS中自定义数据库,请在这个连接里将"postgres"修改为对应的数据库名字。 dbtable 指定在DWS关联的表名,或者"模式名.表名",例如:public.table_name。 user (已废弃)DWS的用户名。