检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
意一个队列的最大CU必须小于等于弹性资源池的最大CU。 弹性资源池创建后,调整最小CU时,最小CU需小于等于弹性资源池当前的CU值,否则会修改失败。 CU设置操作 在左侧导航栏单击“资源管理 > 弹性资源池”,可进入弹性资源池管理页面。 选择要操作的弹性资源池,在“操作”列,单击“更多
$JAVA_HOME/lib:$JAVA_HOME/jre/lib 进入confluent-5.5.2/etc/schema-registry/目录下,修改schema-registry.properties文件中如下配置项: listeners=http://<yourEcsIp>:8081
所要创建的视图必须是当前数据库下不存在的,否则会报错。当视图存在时,可通过增加OR REPLACE关键字来避免报错。 视图中包含的表或视图信息不可被更改,如有更改可能会造成查询失败。 如果创建表和创建视图使用的计算引擎不一致,可能会因为varchar类型不兼容,导致视图查询失败。 例如:使用Spark
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 返回值说明 返回DOUBLE类型的值。 a为NULL,则返回NULL。 示例代码 为便于理解函数的使用方法,本文为您提供源数据,基
权。 开启Checkpoint:勾选。 Flink作业编辑框中输入具体的作业SQL,本示例作业参考如下。SQL中加粗的参数需要根据实际情况修改。 本示例使用的Flink版本为1.12,故Flink OpenSource SQL语法也是1.12。本示例数据源是Kafka,写入结果数据到DWS。
或者批模式(BATCH)下输入结束,文件的Pending状态转换为 Finished 状态 只有 Finished 状态下的文件才能被下游安全读取,并且保证不会被修改。 默认的,Part文件命名策略如下: In-progress / Pending:part-<uid>-<partFileIndex>.inprogress
action生成新版本的列式文件。Merge-On-Read表可减少数据摄入延迟,因而进行不阻塞摄入的异步Compaction很有意义。 如何执行Compaction 仅执行Schedule Spark SQL(设置如下参数,写数据时触发) hoodie.compact.inline=true
假设声明了主键的列都是不包含 Null 值的,Connector 在处理数据时需要自己保证语义正确。 注意: 在 CREATE TABLE 语句中,创建主键会修改列的 nullable 属性,主键声明的列默认都是非 Nullable 的。 PARTITIONED BY 根据指定的列对已经创建的表进行分区。如果表使用
从键值对列表构建JSON对象字符串。 请注意,键必须是非NULL字符串文字,而值可以是任意表达式。 函数返回一个JSON字符串。ON NULL行为定义了如何处理NULL值。如果省略,则默认为NULL ON NULL。 从另一个JSON构造函数调用(JSON_OBJECT,JSON_ARRAY)
/ 4 AS quarter FROM orders; --更改已存在表的定义。 --数据准备 create table users (id int,name varchar); --将表名从users 修改为 people: ALTER TABLE users RENAME
弹性资源池最大最小CU范围。 64-64 网段 规划弹性资源池所属的网段。如需使用DLI增强型跨源,弹性资源池网段与数据源网段不能重合。弹性资源池网段设置后不支持更改。 172.16.0.0/19 企业项目 选择对应的企业项目。 default 参数填写完成后,单击“立即购买”,在界面上确认当前配置是否正确。
DLI增强型跨源连接DWS失败怎么办? 问题现象 客户创建增强型跨源连接DLI和DWS,安全组已配置出方向规则到关联队列,使用的是密码形式的跨源认证,报DLI.0999: PSQLException: The connection attempt failed。 原因分析 出现该问题可能原因如下:
或者批模式(BATCH)下输入结束,文件的Pending状态转换为 Finished 状态 只有 Finished 状态下的文件才能被下游安全读取,并且保证不会被修改。 默认的,Part文件命名策略如下: In-progress / Pending:part-<uid>-<partFileIndex>.inprogress
数据赋权(用户)(废弃) 功能介绍 该API用于将数据库或数据表的数据权限赋给指定的其他用户。 被赋权用户所在用户组的所属区域需具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法,详细参见权限策略和《统一身份认证服务 用户指南》中的创建用户组。 当前接口已废弃,不推荐使用。
数据库相关的描述信息。 enterprise_project_id 是 String 企业项目ID,“0”表示default,即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明: 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_id 是 String
查询已创建的“testcsvdatasource”表数据。 select * from testcsvdatasource; 图1 查询结果 本地修改原始的OBS表文件“test.csv”,增加一行“Aarn,98,20”数据,重新替换OBS桶目录下的“test.csv”文件。 Jordon
队列赋权(废弃) 功能介绍 该API用于与其他用户共享指定的队列,可以给用户赋使用指定的队列的权限或者收回使用权限。 用户所属的用户组需要在所属区域内具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法,详细参见权限策略和《统一身份认证服务 用户指南》中的创建用户组。
partition_clause 否 指定分区。分区列的值相同的行被视为在同一个窗口内。 orderby_clause 否 指定数据在一个窗口内如何排序。 frame_clause 否 用于确定数据边界。 返回值说明 参数的数据类型。 示例代码 示例数据 为便于理解函数的使用方法,本文
pyspark样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的pyspark样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或
java样例代码 操作场景 本例提供使用Spark作业访问DWS数据源的java样例代码。 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。