检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择数据湖探索,进入DLI主界面。如果在“队列管理”页面可以查看队列列表,但是单击右上角“购买队列”,无法购买DLI队列(假设当前权限仅包含DLI R
将Kafka作为数据源,DWS作为维表,数据输出到Kafka结果表中。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE
将Kafka作为数据源,DWS作为维表,数据输出到Kafka结果表中。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE
回收:当前用户可回收其他用户具备的该队列的权限,但不能回收该队列所有者的权限。 查看其他用户具备的权限:当前用户可查看其他用户具备的该队列的权限。 重启队列权限:重启此队列的权限。 规格变更:修改队列规格的权限。 为已有权限的用户赋予权限或回收权限。 在对应队列“权限信息”区
区域对应的项目中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问DLI时,需要先切换至授权区域。 权限类别:根据授权精程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务
-1L N 查找缓存的最大行数,超过此值,最旧的行将被删除。 如需启用缓存配置则“cache.max-rows”和“cache.ttl”选项都必须指定。 lookup.cache.ttl 10 s N 缓存生存时间。 lookup.max-retries 3 N 查找数据库失败时的最大重试次数。
id='11111'").show() id、location、city:限定了长度,插入数据时须按长度给定数据值,否则查询时会发生编码格式错误。 操作结果; 提交Spark作业 将写好的python代码文件上传至DLI中。 控制台操作请参考《数据湖探索用户指南》。API操作请
新增表的列。列相关参数请参考表4。data_location为VIEW时可不填写。 select_statement 否 String 创建视图时依赖的查找语句。查找语句中的表需要附加所属数据库,即 “数据库.数据表”格式。data_location为VIEW时填写。 data_type 否 String
用户可以将所创建的Flink作业导出至OBS桶中。 适用于当用户切换区域、项目或用户时,需要创建相同的作业,而作业比较多的情况。此时,不需要重新创建作业,只需要将原有的作业导出,再在新的区域、项目或者使用新的用户登录后,导入作业即可。 切换项目或用户时,需要对新项目或用户授权,具体请参考配置Flink作业权限。
建议您对测试业务场景和生产业务场景分别创建弹性资源池,通过资源物理隔离的方式,保障资源管理的独立性和安全性。 弹性资源池约束与限制 不支持切换弹性资源池的计费模式。 弹性资源池不支持切换区域。 按需计费的弹性资源池默认勾选专属资源模式,自创建起按自然小时收费。 Flink 1.10及其以上版本的作业支持在弹性资源池运行。
行更新委托操作,即切换至对应项目后,再按照本节的操作更新委托权限。 更新DLI委托权限(dli_management_agency) 在DLI控制台左侧导航栏中单击“全局配置 > 服务授权”。 在委托设置页面,按需选择以下场景的权限。 单击权限卡片上的可以查看包含的详细的权限策略。
设置完成后,单击“结果图形化”,查看所有队列的扩缩容策略设置情况。 图3 弹性资源池队列扩缩容策略结果图形化 图4 弹性资源池队列扩缩容策略图像化展示 后续到了队列扩缩容策略配置的时间,会生成一个扩缩容任务。具体可以在“作业管理 > SQL作业”下查看作业类型为“SCALE_QUEUE”的作业。
中大部分时间CU数在128CU以上,没有规格变更的场景下64CU部分采用包年包月计费,超出的64CU按弹性资源池CU时计费方式计费。 为了满足该场景下更优惠的计费,则可以通过规格变更的方式,将弹性资源池的规格扩大到128CU,则规格变更成功后128CU范围内都使用包年包月计费,整
Flink版本:1.10 图7 创建Flink Jar作业 结果校验。 作业处于运行中状态时,向kafka source.topic发送数据,验证kafka sink.topic能否收到数据。 图8 查看作业任务 图9 查看kafka sink.topic JAVA样例代码 pom文件配置