检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
实例创建成功后,用户可以在“实例管理”页面对其进行查看和管理。 创建实例过程中,状态显示为“创建中”,创建完成的实例状态显示为“正常”。您可以通过“任务中心”查看详细进度和结果。 步骤2:创建RDS数据库表 登录RDS管理控制台。 在管理控制台左上角选择区域和项目。 在“实例管理页面”,找到您已经创建的
string), * from table where create_date>'2221-12-01 00:00:00'; TIMESTAMP类型详细可参考TIMESTAMP数据类型。 父主题: DLI数据库和表类
DLI为用户提供了作业失败的topic订阅功能。 登录DLI控制台。 单击左侧“队列管理”,进入队列管理页面。 在队列管理页面,单击左上角“创建消息通知主题”进行配置。详细操作请参考《数据湖探索用户指南》。 父主题: DLI弹性资源池和队列类
CU范围:弹性资源池扩缩容的CU范围。 网段:配置弹性资源池网段。例如当前配置为172.16.0.0/18。 其他参数根据需要选择和配置。 图2 创建弹性资源池 详细的弹性资源池创建流程可以参考创建弹性资源池并添加队列。 参数填写完成后,单击“立即购买”,确认配置信息无误后,单击“提交”完成弹性资源池创建。
如何设置安全组规则,请参见《虚拟私有云用户指南》中“安全组”章节。 如果使用MRS Doris,请在增强型跨源的主机信息中添加MRS集群所有节点的主机ip信息。 详细操作请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 集群未启用Kerberos认证(普通模式) 使用admin用户连接Dori
写入数据到OBS的桶必须为主账号下所创建的OBS桶。 使用Flink1.15版本的计算引擎时,需要用户自行配置委托,否则可能影响作业运行。 详细操作请参考自定义DLI委托权限。 Java样例代码(Flink 1.15) pom文件配置 1 2 3 4 5 6 7 8
单击“保存”,保存作业和相关参数。 编辑Flink OpenSource SQL作业。 在Flink OpenSource SQL语句编辑区域,输入详细的Flink OpenSource SQL语句。具体如下,注意以下加粗的参数值都需要根据注释提示修改。 CREATE TABLE kafkaSource
Hive维表 功能描述 您可以将Hive表用作时态表,通过时态联接来关联Hive表。有关时态联接的详细信息,请参阅 temporal join。 Flink支持processing-time temporal join Hive Table,processing-time temporal
包使用情况,了解套餐包详情。 操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID,查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题: 计费相关问题
15需要在SQL脚本使用SET 'key'='vaule';进行配置。详细语法请参考SQL Client Configuration。 Flink 1.15新增Flink Connector列表如下:Doris Connector、Hive Connector。详细操作请参考Flink OpenSource
SQL语法创建表时是否支持定义主键 Spark SQL语法不支持定义主键。 DLI Spark jar作业是否能访问DWS跨源表? 可以访问。 详细操作请参考访问DWS和访问SQL库表。 如何查看Spark内置依赖包的版本? DLI内置依赖包是平台默认提供的依赖包,用户打包Spark或Flink
SQL作业,即DLI Spark SQL作业,通过在SQL编辑器使用SQL语句执行数据查询等操作。支持SQL2003,兼容SparkSQL,详细语法描述请参见《数据湖探索Spark SQL语法参考》。 发布区域:全部 使用DLI提交SQL作业查询OBS数据 导出SQL作业结果 OBS
的执行结果。 当前接口已废弃,不推荐使用。 该API只能查看前1000条的结果记录,若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。 URI URI格式: GET/v1.0/{project_id}/queues/{queue_name}/jobs/{job_id}
SQL作业”。 在SQL作业页面,在对应作业的“操作”列,单击“更多 > 归档日志”。 图1 归档日志 在OBS目录下,获取归档日志文件夹,详细如下。 Spark SQL作业: 查看带有“driver”或者为“container_xxx_000001”的日志文件夹则为需要查看的Driver日志目录。
println("---------- uploadResources success ---------"); } 请求参数说明如下,详细参数使用可以参考Python SDK概述下载样例代码。 kind:资源包类型,当前支持包类型分别为: jar:用户jar文件 pyfile:用户Python文件
入数据(废弃)的功能一致,区别仅在于实现方式不同。 另外,用户可使用其他API来对作业进行查询和管理。具体操作有: 查询作业状态 查询作业详细信息 查询作业结果-方式二(废弃) 导出查询结果 查询所有作业 取消作业(推荐) 该API当响应消息中“job_type”为“DCL”时,为同步操作。
支持查看“QUERY”类型作业的执行结果。 该API只能查看前1000条的结果记录,若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。 当前接口已废弃,不推荐使用。 URI URI格式: GET/v1.0/{project_id}/jobs/{job_id}
使用DataSource语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 若没有指定分隔符,则默认为逗号(,)。 关于分区表的使用说明:
功能描述 使用Hive语法创建DLI表。DataSource语法和Hive语法主要区别在于支持的表数据存储格式范围、支持的分区数等有差异,详细请参考语法格式和注意事项说明。 注意事项 CTAS建表语句不能指定表的属性。 Hive DLI表不支持在建表时指定多字符的分隔符。 关于分区表的使用说明:
Y”类型作业的执行结果。 该API只能查看前1000条的结果记录,且不支持分页查询。若要查看全部的结果记录,需要先导出查询结果再进行查看,详细请参见导出查询结果。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v1.0/{project_i