检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看弹性资源池的基本信息 资源池创建完成后您可以通过管理控制台查看和管理您的弹性资源池。 本节操作介绍在管理控制台如何查看弹性资源池基本信息,包括弹性资源池的VPC网段、IPv6网段、创建时间等信息。 查看弹性资源池的基本信息 登录DLI管理控制台。 选择“资源管理 > 弹性资源池”。
表相关 创建DLI表 DLI提供创建DLI表的接口。您可以使用该接口创建数据存储在DLI内部的表。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28
参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息,执行成功时,信息可能为空。 job_count 是 Integer 作业总个数。 jobs 是 Array of Objects
SHOW CREATE VIEW 语法 SHOW CREATE VIEW view_name 描述 显示指定数据视图的SQL创建语句。 示例 显示能够创建order_view视图的SQL语句: SHOW CREATE VIEW test_view; Create
单击“空间管理”,进入数据开发页面。 购买DataArts Studio实例的用户,系统将默认为其创建一个默认的工作空间“default”,并赋予该用户为管理员角色。您可以使用默认的工作空间,也可以参考本章节的内容创建一个新的工作空间。 如需创建新的空间请参考创建并管理工作空间。 图3 进入DataArts Studio实例空间
参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息为空。 job_id 否 String 返回作业的ID,可用于获取作业状态和作业结果。 job_type 否 String
Flink作业推荐配置指导 用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。 用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。 图1 创建主题 图2 添加订阅 登录DLI控制台,创建Flink
新建Spark作业模板 Spark作业模板的创建方法是在创建Spark作业时,可直接将配置完成的作业信息设置为模板。 在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Spark模板”,页面跳转至Spark作业页面。 参考创建Spark作业配置作业参数。 作业编辑完成后,单击“设为模板”。
SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化,参考队列相关完成队列创建等操作。 创建数据库 DLI提供创建数据库的接口。您可以使用该接口创建数据库,示例代码如下: 1 2 3 4 5 6 7 private static Database
中(以订单日期作为分区字段),并使用HMS方式同步元数据到Hive 参考创建Flink OpenSource作业,创建flink opensource sql作业,输入以下作业脚本,提交运行作业。 注意:创建作业时,在作业编辑界面的“运行参数”处,“Flink版本”选择“1.15
参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息。执行成功时,信息可能为空。 object_name 否 String 对象名称。 object_type 否 String 对象类型。
SQL语句中的DIS通道是否存在。 如果Flink作业中的DIS通道还未创建,请参见《数据接入服务用户指南》中“开通DIS通道”章节。 确保创建的DIS通道和Flink作业处于统一区域。 如果DIS通道已创建,则检查确保DIS通道和Flink流作业是否处于同一区域。 父主题: Flink
网络连通性问题,建议用户检查安全组选择是否正确,检查安全组网络(vpc)配置。 解决方案 示列:创建RDS跨源,使用时报“communication link failure”错误。 将原有跨源连接删除重新创建。再次创建时,必须确保所选“安全组”、“虚拟私有云”、“子网””和“目的地址”与RDS中的设置完全一致。
全局变量的使用中,一个子账号是否可以使用其他子账号创建的全局变量 全局变量可用于简化复杂参数。例如,可替换长难复杂变量,提升SQL语句可读性。 全局变量的使用具有以下约束限制: 存量敏感变量只有创建用户才能使用,其余普通全局变量同账号同项目下的用户共用。 如果同账号同项目下存在多
在DLI控制台修改数据库所有者 在实际使用过程中,开发人员创建了数据库和表,交给测试人员进行测试,测试人员测试完成后,再交给运维人员进行体验,在这种情况下,可以通过修改数据库的所有者,将数据转移给其他所有者。 修改数据库所有者 修改数据库所有者的入口有两个,分别在“数据管理”和“SQL编辑器”页面。
query_expression 语法说明 TEMPORARY 创建一个有 catalog 和数据库命名空间的临时视图,并覆盖原有的视图。 IF NOT EXISTS 如果该视图已经存在,则不会进行任何操作。 示例 创建一个名为viewName的视图。 create view viewName
在Windows系统中,打开“控制面板 > 管理工具 > 数据源 (ODBC)”。 配置新的ODBC数据源。 在ODBC中单击“User DSN”。 单击“Add”创建新的数据源。 选择Hive ODBC Driver,单击“OK”。 图4 ODBC新建数据源连接 在创建的新数据源配
图1 作业开发流程 步骤1:创建队列:创建DLI作业运行的队列。 步骤2:创建Kafka的Topic:创建Kafka生产消费数据的Topic。 步骤3:创建RDS数据库和表:创建RDS MySQL数据库和表信息。 步骤4:创建增强型跨源连接:DLI上创建连接Kafka和RDS的跨源连接,打通网络。
参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_id 否 String 当“force”为“true”时返回的job_id。 queue_name
参数 参数类型 说明 is_success Boolean 请求执行是否成功。“true”表示请求执行成功。 message String 系统提示信息,执行成功时,信息可能为空。 执行失败时,用于显示执行失败的原因。 sqls Array of Object 样例模板信息,具体参数说明请参见表3。