检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
手动在OBS表的分区目录下添加了数据,但是无法查询到数据怎么办? 问题现象 手动在OBS表的分区目录下上传了分区数据,但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后,需要刷新OBS表的元数据信息。具体操作如下: MSCK REPAIR TABLE
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题: 创建数据库和表
选择已创建的弹性资源池,单击“确定”完成资源的绑定。 若无可选弹性资源池,可参考创建弹性资源池并添加队列创建新的弹性资源池。 账号B测试弹性资源池与VPC中资源的网络连通性。 若共享VPC下已有资源,请确保该资源所在的安全组已放通弹性资源池的网段。 获取共享VPC下数据源的私有内网IP和端口。
表相关API(废弃) 创建表(废弃) 删除表(废弃) 查询所有表(废弃) 描述表信息(废弃) 预览表内容(废弃) 获取分区信息列表(废弃) 父主题: 资源相关API(废弃)
当Spark作业运行大批量数据时,如果出现作业运行超时异常错误,通常是由于作业的资源配置不足、数据倾斜、网络问题或任务过多导致的。 解决方案: 设置并发数:通过设置合适的并发数,可以启动多任务并行运行,从而提高作业的处理能力。 例如访问DWS大批量数据库数据时设置并发数,启动多任务的方式运行,避免作业运行超时。
本节操作仅适用于普通队列,不适用于弹性资源池队列。 注意事项 目前只支持64CUs以上规格包年包月队列进行规格变更。 如果在“规格变更”页面提示“Status of queue xxx is assigning, which is not available”,表示需要等待队列资源分配完毕才可进行扩缩容。
已经给表授权,但是提示无法查询怎么办? 已经给表授权,且测试查询成功,但一段时间后重试报错无法查询,此时应先检查当前表的权限是否还存在, 检查权限是否仍然存在: 如用户权限被取消则可能导致提示权限缺失无法查询表数据。 查看表的创建时间: 查看表是否被他人删除重建,删除表后重建的相
查看队列的基本信息 登录DLI管理控制台。 选择“资源管理 > 队列管理”。 进入队列列表页面,选择您需要查看的队列。 在列表页面的右上方单击可以自定义显示列,并设置表格内容显示规则、操作列显示规则。 在列表页面上方的搜索区域,您可以名称和标签筛选需要的队列资源。 单击查看队列的详细信息。
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
属性访问函数 函数说明 表1 属性访问函数说明 值接入函数 函数说明 tableName.compositeType.field 选择单个字段,通过名称访问Apache Flink复合类型(如Tuple,POJO等)的字段并返回其值。 tableName.compositeType
值“__HIVE_DEFAULT_PARTITION__”,当前Spark判断分区为空时,则会直接返回null,不返回具体的数据。 解决方案 登录DLI管理控制台,在“SQL编辑器”中,单击“设置”。 在参数设置中,添加参数“spark.sql.forcePartitionPre
重置规则 扫描数据量套餐包 按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。 仅适用于default 队列。 扫描数据量套餐的额度按订购周期会重置。 弹性资源池CU时套餐包 按照“CU时”收取计算费用,用户在弹性资源池添加的队列上运行作业时按照弹性资源池CU时计费。 适用于可
如果选择“邮件”协议,需要在“订阅终端”中填写接收确认邮件的邮箱地址。 更多信息,请参考《消息通知服务用户指南》中《添加订阅》章节。 图4 添加订阅 通过单击短信或者邮件中的链接确认后,将收到“订阅成功”的信息。 在消息通知服务的“订阅”页面,对应的订阅状态为“已确认”,表示订阅成功。
id classno Jordon 88 aa bb" null null 解决方案 创建OBS外表时,通过multiLine=true来指定列数据包含回车换行符。针对举例的建表语句,可以通过如下示例解决: CREATE TABLE test06 (name string, id
一个新的主题。 如何自定义SMN主题,请参见《消息通知服务用户指南》中“创建主题”章节。 检查IAM权限。 如果SMN主题已经存在,但仍然提示不存在,请进入统一身份认证服务(IAM),选择对应子账户所在的用户组,确保该用户组已添加相应Region的SMN策略。 确认主题名称和区域。
数据库相关API(废弃) 创建数据库(废弃) 删除数据库(废弃) 查询所有数据库(废弃) 修改数据库用户(废弃) 父主题: 资源相关API(废弃)
删除队列不会导致您数据库中的表数据丢失。 删除队列步骤 在DLI管理控制台左侧,选择“资源管理 > 队列管理”。 选择待删除的队列,单击“操作”列的“删除”删除。 图1 删除队列 如果“操作”列的“删除”为灰色,表示当前用户没有删除队列的权限。您可以向管理员申请删除队列的权限。 在弹出的确认对话框中,单击“是”。
”。“用户权限信息”区域展示了当前具备此队列权限的用户列表。 常见权限设置的场景:为新用户赋予权限,为已有权限的用户修改权限,回收某用户具备的所有权限。 为新用户赋予权限 新用户指之前不具备此队列权限的用户。 单击“权限信息”右侧的“授权”,弹出“授权”对话框。 填写“用户名”,并勾选对应权限。
权后,用户根据权限使用全局服务的资源。 指定区域项目资源:授权后,IAM用户根据权限使用所选区域项目中的资源,未选择的区域项目中的资源,该IAM用户将无权访问。 指定企业项目资源:授权后,IAM用户根据权限使用所选企业项目中的资源。如企业项目A包含资源B,资源B部署在北京四和上海
available”,表示需要等待队列资源分配完毕才可进行扩缩容。 队列资源扩容时,可能会由于物理资源不足导致队列资源无法扩容到设定的目标大小。 队列资源缩容时,系统不保证将队列资源完全缩容到设定的目标大小。通常队列资源缩容时,系统会先检查资源使用情况,判断是否存在缩容空间,如果现有资源无法按照最小缩容