检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据写入OBS中,以便后面查看,可通过该参数配置,写入脏数据前需要先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 图7 迁移作业进度和结果查询 步骤三:结果查询 CDM迁移作业运行完成后
在创建DLI作业时,可以在作业编辑页面,通过保存作业日志功能,将作业运行时的日志信息保存到OBS。 查询作业日志信息,参考查看DLI SQL日志。 作业日志为日常的服务运维提供了重要保障,包括跟踪资源使用情况、检测作业运行安全性、追踪资源消耗、检测错误等。 父主题: 安全
hive_sync.partition_fields", schema.fields(3).name) // 根据实际分区字段情况配置,非分区表请选择 org.apache.hudi.hive.NonPartitionedExtractor .option("hoodie
pi pi函数用于返回π的值。 命令格式 pi() 返回值说明 返回DOUBLE类型的值。 示例代码 返回3.141592653589793。 select pi(); 父主题: 数学函数
e e函数用于计算返回e的值。 命令格式 e() 返回值说明 返回DOUBLE类型的值。 示例代码 返回2.718281828459045。 select e(); 父主题: 数学函数
max_pt max_pt函数用于返回分区表的一级分区中有数据的分区的最大值,按字母排序,且读取该分区下对应的数据。 命令格式 max_pt(<table_full_name>) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 table_full_name 是 STRING类型。
12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 创建HBase源表的列簇必须定义为ROW类型,字段名对应列簇名(column family),嵌套的字段名对应列限定符名(column qualifier)。 用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.15”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险,建议使用DEW管理凭证。配置文件或者
注意事项 所要进行JOIN连接的表必须是已经存在的表,否则会出错。 在一次查询中可以连接两个以上的表。 示例 通过将student_info与course_info两张表中的课程编号匹配建立JOIN连接,来查看学生姓名及所选课程名称。 1 2 SELECT student_info
tore.jks文件,使用如下命令验证keystore文件和证书信息。 keytool -list -v -keystore transport-keystore.jks 正确输入keystore password后即可看见相应的信息。 使用如下命令创建truststore.jks文件并进行验证
current_timestamp CURRENT_TIMESTAMP函数用于返回当前时间戳。 命令格式 current_timestamp() 参数说明 无 返回值说明 返回TIMESTAMP类型的时间戳。 示例代码 返回1692002816300。 select current_timestamp();
bround bruond函数用于返回一个数值,该数值是按照指定d位小数进行四舍五入运算的结果。 命令格式 bround(DOUBLE a, INT d) 参数说明 表1 参数说明 参数 是否必选 参数类型 说明 a 是 DOUBLE、BIGINT、DECIMAL、STRING类型。
在“分配至项目”页面,选择企业项目。 您还可以单击“新建企业项目”,前往企业项目管理控制台,新建企业项目和查看已有的企业项目。 弹性资源池中的队列不计费,弹性资源池下队列切换的企业项目和计费无关。即不支持按企业项目查看弹性资源池中的队列资源计费信息。 修改完成后,单击“确定”,保存队列的企业项目信息。
还原Delta表到早期状态 命令格式 还原Delta表到历史某一时刻的状态: RESTORE [TABLE] [database_name.]table_name|DELTA.`obs_path` [TO] TIMESTAMP AS OF timestamp_expression
SQL作业时,在作业编辑界面的“运行参数”处,“Flink版本”需要选择“1.12”,勾选“保存作业日志”并设置保存作业日志的OBS桶,方便后续查看作业日志。 语法格式 create table jbdcSource ( attr_name attr_type (',' attr_name
并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域 从地理位置和网络时延维度划分,同一个Regio
显示所有函数 功能描述 查看当前工程下所有的函数。 语法格式 1 SHOW [USER|SYSTEM|ALL] FUNCTIONS ([LIKE] regex | [db_name.] function_name); 其中regex为正则表达式,可以参考如下表1参数样例。 表1
HetuEngine SQL语法 使用前必读 数据类型 DDL 语法 DML 语法 DQL 语法 辅助命令语法 预留关键字 SQL函数和操作符
间。 查看指定队列或弹性资源池的账单 DLI控制台并未展示弹性资源池的ID。查询DLI队列或弹性资源池的资源账单,包含以下三步操作: 在DLI云服务控制台获取资源名称。 根据DLI资源名称,在“我的资源”页面根据资源名称查看资源ID。(资源名称不唯一,因此建议使用名称查询指定的资源ID后再查看账单。)
可以实时查看监控指标及审计日志,以便及时了解DLI的健康状态。 管理控制台 DLI作业开发流程 SQL作业编辑器 作业管理 数据管理 作业模板 跨源连接 常用语法 Spark SQL语法参考 Flink OpenSource SQL语法参考 运维与监控 查看审计日志 查看监控指标