检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当OBS的目录下有同名文件夹和文件时,创建OBS表指向该路径会优先指向文件而非文件夹。 创建数据库和表时,有权限控制,需要对其他用户授权,其他用户才可查看该用户新建的数据库和表。具体请参考常用操作与系统权限关系。 创建数据库 创建数据库的入口有两个,分别在“数据管理”和“SQL编辑器”页面。
Kafka的基本信息页面,“网络 > 安全组”参数下获取Kafka的安全组。 RDS 在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”,获取“内网地址”、“虚拟私有云”、“子网”、“数据库端口”和“安全组”信息。 CSS 在CSS管理控制台,选择“Elasticsearch
Kafka的基本信息页面,“网络 > 安全组”参数下获取Kafka的安全组。 RDS 在RDS控制台“实例管理”页面,单击对应实例名称,查看“连接信息”,获取“内网地址”、“虚拟私有云”、“子网”、“数据库端口”和“安全组”信息。 CSS 在CSS管理控制台,选择“Elasticsearch
仅支持获取AK、SK、SecurityToken。 获取到AK、SK、SecurityToken后,请参考如何使用凭据管理服务替换硬编码的数据库账号密码查询凭据。 约束限制 仅支持Flink1.15版本使用委托授权访问临时凭证: 在创建作业时,请配置作业使用Flink1.15版本 已在作业中配
"user_name":"Alice", "area_id":"330106"} 使用以下命令查看其结果如下: Redis执行以下命令: LRANGE 202103241000000001 0 8 查询命令执行结果: 1) "webShop" 2) "2021-03-24 10:00:00"
"user_name":"Alice", "area_id":"330106"} 使用以下命令查看其结果如下: Redis执行以下命令: LRANGE 202103241000000001 0 8 查询命令执行结果: 1) "webShop" 2) "2021-03-24 10:00:00"
创建作业提交任务前,建议先开通云审计服务,用于记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见使用CTS审计DLI服务。 关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》。 创建Flink Jar作业 在DLI管理控
-1L N 查找缓存的最大行数,超过此值,最旧的行将被删除。 如需启用缓存配置则“cache.max-rows”和“cache.ttl”选项都必须指定。 lookup.cache.ttl 10 s N 缓存生存时间。 lookup.max-retries 3 N 查找数据库失败时的最大重试次数。
} } 用户可按下述操作查看输出结果: 方法一:"更多" -> "FlinkUI" -> "Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 +I(111,scooter
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 create table jbdcSource ( attr_name attr_type (',' attr_name
步骤。 在Flink作业列表单击对应作业名称,进入作业详情页面,选择“运行日志”页签。 单击OBS桶,获取对应作业的完整运行日志。 图2 查看运行日志 下载最新“jobmanager.log”文件,搜索“RUNNING to FAILED”关键字,通过上下文的错误栈,确认失败原因。
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 语法格式 1 2 3 4 5 6 7 create table dataGenSource(
待删除定时扩缩计划的队列名称。名称长度为1~128个字符,多个队列名称使用逗号“,”分隔。 plan_id 是 Long 待删除的队列扩缩容计划的ID。具体获取请参考查看队列定时扩缩容计划(废弃)。 请求消息 无请求参数。 响应消息 表2 响应参数 参数 是否必选 参数类型 说明 is_success 否 Boolean
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 数据类型的使用,请参考Format章节。 Hive 方言支持的 DDL 语句,Flink 1.15 当前仅支持使用Hive语法创建OBS表和使用hive语法的DLI
赋权:当前用户可将弹性资源池的操作权限赋予其他用户。 回收:当前用户可回收其他用户具备的该弹性资源池的权限,但不能回收该弹性资源池所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该弹性资源池的权限。 为已有权限的用户赋予权限或回收权限。 在对应弹性资源池“权限信息”区域的用户列表中,选
null } 用户可按下述操作查看输出结果: 方法一:"更多" -> "FlinkUI" -> "Task Managers" -> "Stdout"。 方法二:若在提交运行作业前选择了保存日志,则可以从日志的taskmanager.out文件中查看。 -U(111,scooter
(KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36" "2.75" 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名
into opentsdb_test values('aaa', 'abc', '2021-06-30 18:00:00', 30.0)") 查询数据 result = sparkSession.sql("SELECT * FROM opentsdb_test") 通过DataFrame
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 同步数据库数据的客户端,都会有一个唯一ID,即Server ID。同一个数据库下,建议每个MySQL CDC作业配置不同的Server