检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
购买套餐包 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 在队列管理页面,单击“购买套餐包”。 在“购买套餐包”页面设置相关参数。 表2 参数说明 参数名称 描述 区域 选择所在的区域。
其中port可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,在搜索框中搜索“http”查看。如果开启https,则搜索“https”。
登录DLI管理控制台。 选择“全局配置 > SQL防御”,打开SQL防御页面。 单击“创建规则”,编辑规则信息。 表1 SQL防御规则参数配置 参数 说明 规则名称 自定义SQL防御规则名称。
07.000000", "primary_keys": [ "id" ], "pos": "00000000000000000000143", "table": "PRODUCTS" } 按照如下方式查看taskmanager.out文件中的数据结果: 登录
ClickHouseBalancer端口: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse > 服务配置”,角色选择“ClickHouseBalancer”。
适用于实时监控、在线分析等场景。 · Flink OpenSource作业:DLI提供了标准的连接器(connectors)和丰富的API,便于快速与其他数据系统的集成。 · Flink Jar作业:允许用户提交编译为Jar包的Flink作业,提供了更大的灵活性和自定义能力。
", "description":"Big 2-wheel scooter", "weight":5.15 }, "old":{ "weight":5.18 } } 按照如下方式查看taskmanager.out文件中的数据结果: 登录
其中port可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,在搜索框中搜索“http”查看。如果开启https,则搜索“https”。
示例 下面的示例展示了一个经典的业务流水线,维度表来自 Hive,每天通过批处理流水线作业或 Flink 作业更新一次,kafka流来自实时在线业务数据或日志,需要与维度表联接以扩充流。 使用spark sql 创建 hive obs 外表,并插入数据。
对于新建的用户,需要先登录一次DLI,记录元数据,后续才可正常使用。 IAM是华为云提供权限管理的基础服务,无需付费即可使用,您只需要为您账号中的资源进行付费。关于IAM的详细介绍,请参见《IAM产品介绍》。
登录MySQL,并使用下述命令在flink库下创建orders表。 CREATE TABLE `flink`.
"description": 12, "weight": 7 }, "table": "products", "ts": 1589373560798, "type": "UPDATE" } 按照如下方式查看taskmanager.out文件中的数据结果: 登录
登录MySQL,并使用下述命令在flink库下创建orders表。 CREATE TABLE `flink`.
说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 选择“项目授权”时,选择当前区域下需要授权的项目。 说明: 选择“项目授权”时: 如果赋权选择不可继承权限,则在该项目中无法查看对应数据库中表的信息。
使用SQL编辑器创建并提交SQL作业 登录DLI管理控制台,选择“SQL编辑器”页面。 进入“SQL编辑器”页面后,系统会提示“创建DLI临时数据桶”,用于存储使用DLI服务产生的临时数据。在“设置DLI作业桶”对话框中,单击“去设置”。
登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 DLI Flink jar作业编辑界面设置作业参数。
表1 dli_management_agency委托包含的权限 适用场景 委托名 权限说明 基础使用 IAM ReadOnlyAccess DLI对未登录过DLI的用户进行授权时,需获取IAM用户相关信息。因此需要IAM ReadOnlyAccess权限。
password", password) val jdbcDF2 = sparkSession.read.jdbc(url, dbtable, properties) 插入数据前: 插入数据后: 使用上述read.format()或者read.jdbc()方法读取到的dateFrame注册为临时表
202103251202020001','miniAppShop','2021-03-25 12:02:02','60.00','60.00','2021-03-25 12:03:00','0002','Bob','330110'); 按照如下方式查看taskmanager.out文件中的数据结果: 登录
pay_amount":"60.00", "real_pay":"60.00", "pay_time":"2021-03-25 12:03:00", "user_id":"0002", "user_name":"Bob", "area_id":"330110"} 用户可按下述操作查看输出结果: 登录