检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
OBS桶需要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 操作步骤 在DLI控制台左侧导航栏中单击“全局配置
Prometheus监控的配置项 在配置DLI对接AOM Prometheus监控时,系统会自动完成DLI对接AOM Prometheus监控的配置项中的参数配置。如果这些默认配置不满足您的需求,您可以在Flink作业的“自定义配置”中手动配置以下参数,且优先以您的配置为准。 表1 DLI对接AOM
SQL从RDS数据库读取的时间和RDS数据库存储的时间为什么会不一致? 问题描述 Flink Opensource SQL从RDS数据库读取的时间和RDS数据库存储的时间为不一致 根因分析 该问题的根因是数据库设置的时区不合理,通常该问题出现时Flink读取的时间和RDS数据库的时间会相差13小时。
确认短信的手机号码。 如果选择“邮件”协议,需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息,请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后,将收到“订阅成功”的信息。 在消息通知服务的“订阅”页面,对应的订阅状态为“已确认”,表示订阅成功。
scan.count 每批次读取的数据记录数,默认为100。如果在读取过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。 iterator.grouping.size 每批次插入的数据记录数,默认为100。如果在插入过程中,redis集群中的CPU使用率还有提升空间,可以调大该参数。
SQL中的行,位置比名称更重要。 支持从BOOLEAN、TINYINT、SMALLINT、INTEGER、BIGINT、REAL、DOUBLE或VARCHAR进行转换。当数组的元素类型为支持的类型之一、Map的键类型是VARCHAR且Map的值类型是支持的类型之一或行的每个字段类
本文介绍通过JDBC连接DLI并提交SQL作业。 获取服务端连接地址 连接DLI服务的地址格式为:jdbc:dli://<endPoint>/<projectId>。因此您需要获取对应的Endpoint和项目编号。 在地区和终端节点获取DLI对应的Endpoint;在华为云页面上方菜单栏,单击用户名,然后在“我的凭证”页面获取项目编号。
考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全可以配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中的数据被拆分成多个Part文件。对于相应的接收数据的桶的Sink的每个Subta
DISTRIBUTED | VALIDATE | IO } 描述 显示一条语句的逻辑的或者分布式的执行计划,也可以用于校验一条SQL语句,或者是分析IO。 参数TYPE DISTRIBUTED用于显示分片后的计划(fragmented plan)。每一个fragment都会被一个或者多个节点执行。Fragments
数据脱敏(Data masking) 指对某些敏感信息通过脱敏规则进行数据的变形,实现敏感隐私数据的可靠保护。 mask_first_n(string str[, int n]) →varchar 描述:返回str的屏蔽版本,前n个值被屏蔽。大写字母被转为"X",小写字母被转为"x",数字被转为"n"。
自动续费 自动续费可以减少手动续费的管理成本,避免因忘记手动续费而导致资源被自动删除。自动续费的规则如下所述: 以资源的到期日计算第一次自动续费日期和计费周期。 您可以在购买资源时开通自动续费,在购买资源时,自动续费周期以实际选择的续费时长为准。 在到期前均可开通自动续费,到期前
15语法概览。 Flink 1.15需要配置租户面自定义委托,并在作业中配置委托信息。委托的权限需要根据作业具体的业务场景需求进行配置。详情操作请参考DLI自定义委托。 Flink 1.15作业管理凭据的方法: Flink OpenSource SQL中推荐使用DEW管理密码密钥等访问凭据信息。请参考Flink
模板或将正在使用的SQL语句保存为模板。保存模板后,不需编写SQL语句,可通过模板直接执行SQL操作。 当前系统提供了多条标准的TPC-H查询语句模板,您可以按需选择自定义模板或系统模板创建SQL作业。 本样例演示通过一个TPC-H样例模板开发并提交SQL作业的基本流程: 操作步骤
将分布在不同区域的资源按照企业项目进行统一管理,同时可以为每个企业项目设置拥有不同权限的用户组和用户。 DLI支持在创建弹性资源池时选择企业项目,本节操作为您介绍DLI弹性资源池如何绑定、修改企业项目。 修改弹性资源池的企业项目,会同时修改弹性资源池下的队列资源的企业项目。 即弹
Livy工具配置文件 上传指定的DLI Livy工具jar资源包到OBS桶路径下。 登录OBS控制台,在指定的OBS桶下创建一个存放Livy工具jar包的资源目录。例如:“obs://bucket/livy/jars/”。 进入3.a中DLI Livy工具所在ECS服务器的安装目录,获取以下jar包,将获取的jar包上传到1
String USER_BUCKET_NAME为用户的桶名,需要进行替换为用户的使用的OBS桶名。 参数的值为用户定义在CSMS通用凭证中的键key, 其Key对应的value为用户的AK(Access Key Id),需要具备访问OBS对应桶的权限。 flink.hadoop.fs.obs
年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 代码实现详解 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency>
不支持队列类型切换,如需使用其他队列类型,请重新购买新的队列。 管理队列 不支持切换队列的计费模式。 队列不支持切换区域。 创建队列时(非弹性资源池模式的队列),仅支持包年包月队列和按需专属队列选择跨AZ双活,且跨AZ的队列价格为单AZ模式下的2倍。 DLI队列不支持访问公网。 队列扩缩容
DLI作业要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 前提条件 配置前,请先购买OBS桶或并行文件系统
选择左侧导航栏的“总览”,单击页面右上角的“登录指令”,在弹出的页面中单击复制登录指令。 在安装容器引擎的虚拟机中执行上一步复制的登录指令。 创建容器镜像组织。如果已创建组织则本步骤可以忽略。 登录SWR管理控制台。 选择左侧导航栏的“组织管理”,单击页面右上角的“创建组织”。 填写组织名称,单击“确定”。