检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
过IAM提供的可视化界面进行创建,例如: 授权用户拥有DLI服务,任意region,任意账号ID下,任意数据库的创建删除权限,任意队列的提交作业权限,任意表的删除权限。 { "Version": "1.1", "Statement": [ {
过大会有内存溢出的风险。 truncate 执行overwrite时是否不删除原表,直接执行清空表操作,取值范围: true false 默认为“false”,即在执行overwrite操作时,先将原表删除再重新建表。 isolationLevel 事务隔离级别,取值范围: NONE
n类型,示例如下: 1 val idCol = jdbcDF.col("id") drop 删除指定字段。传入要删除的字段,返回不包含此字段的DataFrame对象,并且每次只能删除一个字段,示例如下: 1 jdbcDF.drop("id").show() 提交Spark作业
db_name.tables.table_name.columns.column_name 示例 回收用户user_name1对于数据库db1的删除数据库权限。 1 REVOKE DROP_DATABASE ON databases.db1 FROM USER user_name1;
stopFlinkJob(body); System.out.println(result); } 批量删除作业 DLI提供批量删除Flink作业的接口。您可以使用该接口批量删除任何状态的Flink作业。示例代码如下: 1 2 3 4 5 6 7 8 9 10 11
数设置,单击“确定”完成操作。 修改扩缩容策略:直接修改已有记录的扩缩容策略参数,单击“确定”完成操作。 删除扩缩容策略:在对应扩缩容策略所在行单击“删除”,单击“确定”删除已有的优先级设置。 “优先级”和“时间段”参数说明如下: 优先级:默认为1,设置范围为1-100,参数值越大优先级越高。
查询OpenTSDB表 SELECT命令用于查询OpenTSDB表中的数据。 若OpenTSDB上不存在metric,查询对应的DLI表会报错。 若OpenTSDB开了安全模式,则访问时,需要设置conf:dli.sql.mrs.opentsdb.ssl.enabled=true
故障处理 运行Spark作业,作业运行失败,作业日志中提示No respond错误 问题现象 运行Spark作业,作业运行失败,作业日志中提示No respond错误 解决方案 重新创建Spark作业,创建作业时需要在“Spark参数(--conf)”中添加配置:“spark.sql
23:00:18',bigint '18148','www.local.com',date '2020-07-18','US' ); -- 删除分区表数据(删除where子句指定的分区所有数据) delete from hive.web.page_views where ds=date '2020-07-17'
覆盖写之前,会删除所有符合条件的分区。例如,分区表中有一个“2021-01”的分区,当使用INSERT OVERWRITE语句向表中写入“2021-02”这个分区的数据时,会把“2021-01”的分区数据也覆盖掉。 当前配置设置为“true”时,DLI不会提前删除分区,而是在运行时覆盖那些有数据写入的分区。
问题。 OBS桶需要由用户主账户统一设置及修改,子用户无权限。 不配置DLI作业桶无法查看作业日志。 您可以通过配置桶的生命周期规则,定时删除桶中的对象或者定时转换对象的存储类别。 DLI的作业桶设置后请谨慎修改,否则可能会造成历史数据无法查找。 操作步骤 在DLI控制台左侧导航栏中单击“全局配置
gth时,由指定字符str2从左侧填补。 ltrim ltrim([<trimChars>,] string <str>) STRING 删除字符串左边的空格,其他的空格保留。 parse_url parse_url(string urlString, string partToExtract
park 3.3.x后,你需要考虑切换到其他资源管理器。 Spark3.3.x会在应用程序自行终止时删除K8s driver 说明:Spark3.3.x会在应用程序自行终止时删除K8s driver。 升级引擎版本后是否对作业有影响: 功能增强,升级到Spark 3.3.x后,对
当清理策略为KEEP_ARCHIVED_FILES_BY_DAYS时,该参数可以设置保留多少天以内的归档文件,默认值30(天)。 注意事项 归档文件,没有备份,删除之后无法恢复。 使用由DLI提供的元数据服务时,本命令不支持使用OBS路径。 系统响应 可以检查任务状态是否成功,查看任务日志确认有无异常。
--查看数据 SELECT * FROM float_t1; float_col1 ------------ Infinity (1 row) --删除表 DROP TABLE float_t1; 当小数部分为0时,可以通过cast()转为对应范围的整数处理,小数部分会四舍五入。 示例: select
过大会有内存溢出的风险。 truncate 执行overwrite时是否不删除原表,直接执行清空表操作,取值范围: true false 默认为“false”,即在执行overwrite操作时,先将原表删除再重新建表。 isolationLevel 事务隔离级别,取值范围: NONE
orc存储格式表的一个属性,用来指定orc存储的压缩方式。支持取值为: ZLIB SNAPPY NONE auto.purge 当设置为true时,删除或者覆盖的数据会不经过回收站,直接被删除。 AS:使用CTAS创建表。 ROW FORMAT SERDE为org.apache.hadoop.hive.contrib
string1 FROM string2) 返回从 STRING1 中删除以字符串 STRING2 开头/结尾/开头且结尾的字符串的结果。默认情况下,两边的空格都会被删除。 LTRIM(string) 返回从 STRING 中删除左边空格的字符串。 例如 ' This is a test String
into时,会往表中追加数据,而使用insert overwrite时,如果表属性“auto.purge”被设置为“true”,直接删除原表数据,再写入新的数据。 如果对象表是分区表时,insert overwrite会删除对应分区的数据而非所有数据。 insert into后面的table关键字为可选,以兼容hive语法。
获取跨源认证列表 功能介绍 该API用于查看某个project下跨源认证列表。 调试 您可以在API Explorer中调试该接口。 URI URI格式: GET /v3/{project_id}/datasource/auth-infos 参数说明 表1 URI参数说明 参数 是否必选