检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者
into opentsdb_test values('aaa', 'abc', '2021-06-30 18:00:00', 30.0)") 查询数据 result = sparkSession.sql("SELECT * FROM opentsdb_test") 通过DataFrame
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 同步数据库数据的客户端,都会有一个唯一ID,即Server ID。同一个数据库下,建议每个MySQL CDC作业配置不同的Server
待删除定时扩缩计划的队列名称。名称长度为1~128个字符,多个队列名称使用逗号“,”分隔。 plan_id 是 Long 待删除的队列扩缩容计划的ID。具体获取请参考查看队列定时扩缩容计划(废弃)。 请求消息 无请求参数。 响应消息 表2 响应参数 参数 是否必选 参数类型 说明 is_success 否 Boolean
"user_name":"Alice", "area_id":"330106"} 使用以下命令查看其结果如下: Redis执行以下命令: LRANGE 202103241000000001 0 8 查询命令执行结果: 1) "webShop" 2) "2021-03-24 10:00:00"
2021-03-24 16:06:06,200.00,180.00,2021-03-24 16:10:06,0001,Alice,330106 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名
请求参数 参数名称 是否必选 参数类型 说明 plan_ids 是 Array of Long 待删除的队列扩缩容计划的ID列表,具体获取请参考查看队列定时扩缩容计划(废弃)。例如:"plan_ids": [8,10]。 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者
归档文件,没有备份,删除之后无法恢复。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。 父主题: Hudi DML语法说明
interval 否 1s Duration 批量查找连接可以使用最大延迟来缓冲输入记录。批量查找连接可以使用最大延迟来缓冲输入记录。 lookup.batch.size 否 100L long 可以缓冲的最大输入记录数,以便进行批量查找连接。 lookup.batch 否 false
"UPDATE" } 用户可按下述操作查看输出结果: 方法一:"更多" -> "FlinkUI" -> "Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 -U(111,scooter
永久移动,请求的资源已被永久的移动到新的URI,返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其它地址。 使用GET和POST请求查看。 304 Not Modified 所请求的资源未修改,服务器返回此状态码时,不会返回任何资源。 305 Use Proxy
插入数据 1 sparkSession.sql("insert into test_dds values('3', 'Ann',23)") 查询数据 1 sparkSession.sql("select * from test_dds").show() 提交Spark作业 将写好的python代码文件上传至DLI中。
OBS桶需要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 操作步骤 在DLI控制台左侧导航栏中单击“全局配置 > 工程配置”。
able1` SHALLOW CLONE delta_table0 VERSION AS OF 10; 系统响应 可在执行历史或作业列表中查看任务运行成功或失败。 父主题: Delta DDL语法说明
"UPDATE" } 用户可按下述操作查看输出结果: 方法一:"更多" -> "FlinkUI" -> "Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 -U(111,scooter
sql("INSERT INTO TABLE person VALUES ('John', 30),('Peter', 45)".stripMargin) 查询数据 1 sparkSession.sql("SELECT * FROM person".stripMargin).collect().foreach(println)
将以upsert模式工作,该模式可以消费包含UPDATE/DELETE消息的查询。 如果未定义主键,Elasticsearch sink 将以append模式工作,该模式只能消费包含INSERT消息的查询。 在Elasticsearch连接器中,主键用于计算Elasticsearch
相似函数:regexp_replace,regexp_replace函数针对不同的Spark版本,功能略有差异,请参考regexp_replace查看详细的功能说明。 命令格式 regexp_replace1(string <source>, string <pattern>, string
相似函数:regexp_replace,regexp_replace函数针对不同的Spark版本,功能略有差异,请参考regexp_replace查看详细的功能说明。 命令格式 regexp_replace1(string <source>, string <pattern>, string