检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已创建DLI访问DEW的委托并完成委托授权。该委托需具备以下权限: DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限,csms:secretVersion:get。 DEW中的查询凭据的版本列表ListSecretVersions接口权限,csms:secretVersion:list。
根据kafka所在的虚拟私有云和子网创建相应的跨源,并绑定所要使用的队列。然后设置安全组入向规则,使其对当前将要使用的队列放开,并根据kafka的地址测试队列连通性。若能连通,则表示跨源已经绑定成功;否则表示未成功 创建flink opensource sql作业,并选择flink版本为1
(sub-query) BOOLEAN 若子查询至少返回一条数据,则返回TRUE。 value IN (sub-query) BOOLEAN 若值等于子查询返回的某个值,则返回TRUE。 value NOT IN (sub-query) BOOLEAN 若值不等于子查询返回的每个值,则返回TRUE。
(sub-query) BOOLEAN 若子查询至少返回一条数据,则返回TRUE。 value IN (sub-query) BOOLEAN 若值等于子查询返回的某个值,则返回TRUE。 value NOT IN (sub-query) BOOLEAN 若值不等于子查询返回的每个值,则返回TRUE。
任务。 购买弹性资源池并在弹性资源池中添加队列的具体操作步骤请参考创建弹性资源池并添加队列。 全局共享模式: 全局共享模式是一种根据SQL查询中实际扫描的数据量来分配计算资源的模式,不支持指定或预留计算资源。 DLI服务预置的“default”队列即为全局共享模式的计算资源,资源
用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择数据湖探索,进入DLI主界面。如果在“队列管理”页面可以查看队列列表,但是单击右上角“购买队列”,无法购买DLI队列(假设当前权限仅包含DLI ReadOnlyAccess),表示“DLI ReadOnlyAccess”已生效。
Spark SQL作业,通过在SQL编辑器使用SQL语句执行数据查询等操作。支持SQL2003,兼容SparkSQL,详细语法描述请参见《数据湖探索Spark SQL语法参考》。 发布区域:全部 使用DLI提交SQL作业查询OBS数据 导出SQL作业结果 OBS 2.0支持 DLI Spark作业
'(topic-a|topic-b|topic-[0-9]*)' connector.properties.bootstrap.servers 是 kafka brokers地址,以逗号分隔。 connector.properties.group.id 否 消费组名称 connector.startup-mode 否
-1或大于0。默认值为“-1”,表示无限次数。 checkpoint_path 否 String 用户Jar中checkpoint的储存地址,不同作业路径需要保持不同。 runtime_config 否 String Flink作业运行时自定义优化参数。 job_type 否 String
于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:不允许某用户组删除集群,仅允许DLI基本操作(如创建、查询作业等)。 DLI支持的授权项请参见权限管理概述。 如表3-1所示,包括了DLI的所有系统权限。 系统角色/策略名称 描述 类别 授权方式
扩缩容队列 GRANT_PRIVILEGE 队列的赋权 REVOKE_PRIVILEGE 队列权限的回收 SHOW_PRIVILEGES 查看其他用户具备的队列权限 database的格式为:databases.db_name database支持的Privilege权限类型可参见数据权限列表。
-1或大于0。默认值为“-1”,表示无限次数。 checkpoint_path 否 String 用户Jar中checkpoint的储存地址,不同作业路径需要保持不同。 tags 否 Array of Objects Flink jar作业的标签。具体请参考表3。 runtime_config
connector.type 是 connector类型,对于redis,需配置为'redis'。 connector.host 是 redis连接地址。 connector.port 是 redis连接端口。 connector.password 否 redis认证密码。 connector
dis_tab(col int); --插入数据 insert into dis_tab values (2),(3),(5),(null); --查询 select col from dis_tab where col is distinct from null; col ---- 2
sparkSession.sql("insert into dli_to_dws values(3,'Liu'),(4,'Xie')"); 查询数据 1 sparkSession.sql("select * from dli_to_dws").show(); 插入数据后: 提交Spark作业
'obs://xxx/Spendings(ByTransaction)_20200501_20200531.csv', header true) 查询该时间内消费最高的resource_id, resource_name。 通过以下语句,可以发现sql和flink队列使用的费用均为184
于存放游戏用户相关数据。因为音乐业务是一个新业务,想在存量的游戏用户中挖掘一些潜在的音乐用户,所以“数据工程师A”把userTable表的查询权限赋给了“数据工程师B”。同时,“数据工程师B”创建了一个musicTable用于存放音乐版权相关数据。 “数据工程师A”和“数据工程师
DROP_QUEUE :删除队列 GRANT_PRIVILEGE: 赋权 REVOKE_PRIVILEGE:权限回收 SHOW_PRIVILEGES:查看其它用户具备的权限 RESTART:重启队列 SCALE_QUEUE:规格变更 说明: 若需更新的权限列表为空,则表示回收用户在该队列的所有权限。
支持对接企业内部统一监控告警系统(prometheus)。 支持Flink作业速率、输入输出数据量、作业算子反压值、算子延迟、作业cpu和内存使用率查看。 仅支持Flink UI 多版本支持 支持不同作业使用不同Flink版本 单Flink集群仅支持单版本下的作业开发 易用性 即开即用,S
在输入框的下拉列表中选择预定义标签键。 如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签。 具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。