检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
删除表后再重新创建同名的表,需要对操作该表的用户和项目重新赋权吗? 问题场景 A用户通过SQL作业在某数据库下创建了表testTable,并且授权testTable给B用户插入和删除表数据的权限。后续A用户删除了表testTable,并重新创建了同名的表testTable,如果希
名,导致功能相互冲突,影响作业执行。 如需使用UDF热加载功能请提交工单开通白名单。 关键字 USING <resources>:需要加载的资源。可以是JAR、文件或者URI的列表。 OR REPLACE:支持自定义函数热加载功能。 如果创建自定义函数时不携带OR REPLACE,则需要注意以下场景:
名,导致功能相互冲突,影响作业执行。 如需使用UDF热加载功能请提交工单开通白名单。 关键字 USING <resources>:需要加载的资源。可以是JAR、文件或者URI的列表。 OR REPLACE:支持自定义函数热加载功能。 如果创建自定义函数时不携带OR REPLACE,则需要注意以下场景:
重启/扩容/缩容队列 功能介绍 该API用于重新启动队列、扩容队列、缩容队列。 只有SQL类型的队列支持重启,且重启的时候队列的状态必须是可用状态(执行SQL作业成功后队列状态才是可用状态)。 调试 您可以在API Explorer中调试该接口。 URI URI格式: PUT /v1
该提示信息说明您可能因账户欠费获余额不足导致操作受限。 解决方案: 检查账户状态。 请先确认是否欠费,如有欠费请充值。 重新登录账户。 如果充值后仍然提示相同的错误,请退出账号后重新登录。 父主题: SQL作业运维类
运行Spark作业,作业运行失败,作业日志中提示No respond错误 问题现象 运行Spark作业,作业运行失败,作业日志中提示No respond错误 解决方案 重新创建Spark作业,创建作业时需要在“Spark参数(--conf)”中添加配置:“spark.sql.mrs.opentsdb.ssl.enabled=true”。
方案一:直接在main函数里面加载文件内容到内存,然后广播到各个taskmanager,这种方式适合那种需要提前加载的少量变量。 方案二:在open里面初始化算子的时候加载文件,可以使用相对路径/绝对路径的方式 以kafka sink为例:需要加载两个文件(userData/kafka-sink
深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和语音识别等不同领域,DLI服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano
深度学习模型预测 深度学习已经广泛应用于图像分类、图像识别和语音识别等不同领域,DLI服务中提供了若干函数实现加载深度学习模型并进行预测的能力。 目前可支持的模型包括DeepLearning4j 模型和Keras模型。由于Keras它能够以 TensorFlow、CNTK或者 Theano
lookup.join.cache.ttl(所有分区作为临时表)设置一个相对较大的值。否则,作业容易出现性能问题,避免表更新和重新加载过于频繁。 缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明 在执行与最新的Hive表的时间关联时,Hive表将被缓存到Slot内存中
tgresql://to-rds-1174405119-oLRHAGE7.datasource.com:5432/postgreDB', 重新创建跨源表成功。 创建跨源表关联RDS语法请参考《数据湖探索SQL语法参考》。 父主题: 增强型跨源连接类
15,Spark计算引擎推荐版本: Spark 3.3.1。 本节操作介绍如何升级作业的引擎版本。 SQL作业: SQL作业不支持配置引擎版本,需要您重新新建队列执行SQL作业,新创建的队列会默认使用新版本的Spark引擎。 Flink OpenSource SQL作业: 登录DLI管理控制台。
每个作业的创建时间,可按创建时间顺序或倒序显示作业列表。 操作 编辑:重新编辑修改该作业。 终止: 当作业状态在“提交中”和“运行中”时,“终止”按钮才生效。 当作业状态为“已成功”、“已失败”、“已取消”的作业不能终止。 当“终止”按钮为灰色时,表示无法执行终止操作。 重新执行:重新执行该作业。 SparkUI:单
传到OBS和加载到DLI服务端资源列表。当相关资源文件已经加载到DLI服务资源列表中,可以使用该参数跳过该步骤。 不携带该参数时,默认会上传和加载命令中的所有资源文件到DLI服务中。 all:跳过所有资源文件的上传和加载 app:跳过Spark应用程序文件的上传和加载 deps:跳过所有依赖文件的上传和加载
12存在差异。详细操作说明请参考使用Flink Jar写入数据到OBS开发指南。 Flink 1.15 Jar 程序,采用反向类加载机制(child-first),可通过优化参数设置某些依赖包由父类加载器加载:parent.first.classloader.jars=test1.jar,test2.jar
k 2.3的环境中运行将会报java.lang.AbstractMethodError。 解决措施有如下两种方案: 基于Spark 2.3重新编译应用 使用sl4j+log4j来实现日志功能,而不是直接继承Spark内部接口Logging。具体如下: <dependency>
userName:xxxx.”错误。 解决方案 以上问题可能是由于系统未能识别新用户信息。 请按以下步骤进行排查: 请先确认下当前用户名是否存在。 如该用户存在,请重新登录管理控制台,系统才能对该用户进行授权操作。 父主题: Flink作业咨询类
HBase,连接超时,日志未打印错误怎么办? 用户在跨源连接中没有添加集群主机信息,导致KRB认证失败,故连接超时,日志也未打印错误。 建议您重新配置主机信息后再重试访问MRS HBase。 在“增强型跨源”页面,单击该连接“操作”列中的“修改主机信息”,在弹出的对话框中,填写主机信息。
老版本的Spark队列,用于运行Spark作业和Flink作业。 通过以下步骤,可以将老版本的“Spark队列”转换为新的“通用队列”。 重新购买“通用队列”。 将在旧的“Spark队列”中的作业迁移到新的“通用型队列”中,即在提交Spark作业时指定新的队列。 释放旧的“Spark队列”,即删除或退订队列。
已购买套餐包,但使用量超出套餐包额度,进而产生按需费用,同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包,为什么仍然产生按需计费?识别产生按需计费的原因,并重新选择正确的套餐包或保证账户中的余额充足。 未购买套餐包,在按需计费模式下账户的余额不足。 欠费影响 包年/包月 对于包年/包月DLI资源。