检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建DLI表关联Oracle 功能描述 使用CREATE TABLE命令创建DLI表并关联Oracle上已有的表。 前提条件 创建DLI表关联Oracle之前需要创建增强型跨源连接。 管理控制台操作请参考增强型跨源连接。 由于仅支持增强型跨源方式连接Oracle,且仅按需专属队列
INSERT INTO 命令功能 INSERT命令用于将SELECT查询结果加载到Hudi表中。 命令格式 INSERT INTO tableIndentifier select query; 参数描述 表1 INSERT INTO参数 参数 描述 tableIndentifier
sum sum函数用于计算求和。 命令格式 sum(col), sum(DISTINCT col) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 列值支持所有数据类型,可以转换为DOUBLE类型后参与运算。 列值可以为DOUBLE、DECIMAL或BIGINT类型。
RESTORE 命令功能 RESTORE命令用于将Delta表还原到早期状态,支持还原到较早的版本号或者时间戳。 命令格式 还原Delta表到历史某一时刻的状态: RESTORE [TABLE] [database_name.]table_name|DELTA.`obs_path`
OPTIMIZE 命令功能 OPTIMIZE命令用于优化数据在存储中的布局,提高查询速度。 注意事项 由于Optimize是一项耗时的活动,因此需要根据更好的最终用户查询性能与优化计算时间之间的权衡来确定运行Optimized的频率。 分区表优化需要设置参数spark.sql.f
server disconnected before a response was received. 问题原因 由于CPU使用率过高,导致网络闪断。 解决方案 在SQL语句中配置发送失败重试:connector.properties.retries=5 create table kafka_sink(
SHOW_INVALID_PARQUET 命令功能 查看执行路径下损坏的parquet文件。 命令格式 call show_invalid_parquet(path => 'path') 参数描述 表1 参数描述 参数 描述 是否必填 path 需要查询的FS路径 是 示例 call
SHOW_FS_PATH_DETAIL 命令功能 查看指定的FS路径的统计数据 命令格式 call show_fs_path_detail(path=>'[path]', is_sub=>'[is_sub]', sort=>'[sort]'); 参数描述 表1 参数描述 参数 描述
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric,查询对应的DLI表会报错。 若OpenTSDB开了安全模式,则访问时,需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
ate命令使用DLI自定义的command,表的数据路径为$tablepath/UUID/数据文件。 图1 DLI datasource v1表 DLI datasource v2表(以下简称V2表):spark开源的Datasource表,建表/插入/truncate命令使用s
计算所有仓库的平均商品数(items)。命令示例如下: select avg(items) from warehouse; 返回结果如下: _c0 100.0 与group by配合使用,计算每个仓库中所有商品的平均库存。命令示例如下: select warehourseId
示例代码 计算所有商品的最高库存(items)。命令示例如下: select max(items) from warehouse; 返回结果如下: _c0 900 与group by配合使用,求每个仓库的最高库存。命令示例如下: select warehourseId
DROP TABLE 命令功能 DROP TABLE的功能是用来删除已存在的Table。 命令格式 DROP TABLE [IF EXISTS] [db_name.]table_name; 参数描述 表1 DROP TABLE参数描述 参数 描述 db_name Database
dbadmin:创建集群时设置的默认管理员用户名。 -W:默认管理员用户的密码。 在命令行窗口输入以下命令创建数据库“testdwsdb”。 CREATE DATABASE testdwsdb; 执行以下命令,退出gaussdb数据库,连接新创建的数据库“testdwsdb”。 \q gsql
get_json_object get_json_object函数用于根据所给路径对json对象进行解析,当json对象非法时将返回NULL。 命令格式 get_json_object(string <json>, string <path>) 参数说明 表1 参数说明 参数 是否必选
示例代码 计算所有商品的最低库存(items)。命令示例如下: select min(items) from warehouse; 返回结果如下: _c0 600 与group by配合使用,求每个仓库的最低库存。命令示例如下: select warehourseId
/opt/kafkaclient 执行以下命令配置环境变量。 source bigdata_env 因为当前集群启用了Kerberos认证,则需要执行以下命令进行安全认证。认证用户为2中创建的用户。 kinit 2中创建的用户名 例如,kinit testuser2 执行以下命令创建名字为kafkatopic的Kafka
percentile_approx percentile_approx函数用于返回组内数字列近似的第p位百分数(包括浮点数)。 命令格式 percentile_approx(DOUBLE col, p [, B]) 参数说明 表1 参数说明 参数 是否必选 说明 col 是 数据类型为数值的列。其他类型返回NULL。
Studio安装后需重启才可以生效。 安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包,解压安装包。 将"dli-sdk-python-<version>.zip"解压到本地目录,目录可自行调整。 安装SDK。 打开Windows操作系统“开始”菜单,输入cmd命令。 在
调度和故障切换机制,在系统故障时,支持自动故障恢复。 作业级故障恢复 Flink、Spark作业支持配置自动重启恢复机制,在开启自动重启功能后,当作业出现异常时将自动重启恢复作业。 父主题: 安全