检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
计费概述 数据湖探索DLI的计费由不同的计费项组成,不同的计费项有不同的计费模式,如图1所示。 图1 DLI的计费组成 计费项 DLI的计费项包括计算计费、存储计费、扫描量计费。DLI的计费详情请参见DLI产品价格详情。
图1 修改程序包所有者 如果该程序包没有进行过分组设置,则可以参考下图,直接修改该程序包的所有者。 图2 程序包管理-修改程序包所有者 表1 参数说明 参数名称 描述 分组名称 如果创建程序包时选择了分组,显示所在的分组名称。 如果创建程序包时没有选择分组,则不显示该参数。
图1 创建弹性资源池运行作业流程图 表1 创建新队列时绑定弹性资源池流程说明 阶段 说明 参考文档 步骤一:创建弹性资源池 创建弹性资源池,配置弹性资源池的基本信息,如:计费模式、CU范围、网段等配置。
例如观察到SQL执行时间较长,进入SparkUI查看对应SQL的执行状态,如图1所示,查看到一个stage运行时间超过20分钟且只剩余一个task在运行,即为数据倾斜的情况。
图1 华为云安全责任共担模型 父主题: 安全
在HetuEngine中创建的视图,视图的定义以编码方式存储在数据源里。在数据源可以查询到该视图,但无法对该视图执行操作。 视图是只读的,不可对它执行LOAD、INSERT操作。
create view Y N 视图的create or replace view Y N 视图的alter Y N 视图的drop Y N 视图的select Y Y 视图的desc/describe VIEWNAME Y Y 视图的show views/show create
图7 单击作业链接 查看对应作业的DAG图,判断是否有BroadcastNestedLoopJoin节点。 图8 作业的DAG图。 如果存在广播,则参考SQL作业中存在join操作,因为自动广播导致内存不足,作业一直运行中处理。
图8 获取对等连接ID 在VPC-对等连接控制台查看对等连接信息。 图9 查看对等连接 图10 查看队列网段 查看队列对应的VPC的路由表信息。
图2 检查网段及端口是否配置 如果不存在,则进行添加。 图3 添加入方向规则 出方向规则:检查出方向规则网段及端口是否开放(建议所有网段开放)。 检查网段及端口是否配置。 图4 检查网段及端口是否配置。 如果不存在,则进行添加。
图2 创建数据集 在“数据集类型”页面中,选择创建“SQL数据集”,请参见图3。 图3 创建SQL数据集 在“创建数据集”页面中,左侧“数据源”栏选择已添加的DLI数据源,请参见图4。
图2 新建Project 选择Maven,Project SDK选择1.8,单击“Next”。 图3 选择Maven 定义样例工程名和配置样例工程存储路径,单击“Finish”完成工程创建。 图4 创建工程 在pom.xml文件中添加如下配置。
图3 Driver信息 图4 Executor信息 父主题: Spark作业开发类
图1 搜索CES 进入CES后,在页面左侧“云服务监控”列表中,单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。 图3 查看队列负载 父主题: DLI弹性资源池和队列类
”: “图形类型”选择“柱状图” “X轴”选择“time” “Y轴”选择“latitude” “结果数目”选择“10” 展示结果如下: 图9 行驶信息
图1 图形化展示扩缩容历史 图2 表格形式展示扩缩容历史 父主题: 管理弹性资源池
图1 查看日志 图2 查找job id 在DLI控制台,选择“作业管理”>“SQL作业”。 在SQL作业管理页面,输入对应的job id,找到对应的作业。 在“操作”列中,单击“更多”>“归档日志”>“下载日志到本地”。
图4展示了用户将两个不同时间到期的资源,同时续费一个月,并设置“统一到期日”后的效果对比。 图4 统一到期日 更多关于统一到期日的规则请参见如何设置统一到期日。 父主题: 续费
图3 销售许可证&软件著作权证书 父主题: 安全
图2 创建主题成功 单击图2中“主题管理”,跳转至消息通知服务“主题管理”页面。 图3 主题管理 在对应主题的“操作”列中,单击“添加订阅”,选择“协议”,确定订阅方式。 如果选择“短信”协议,需要在“订阅终端”中填写接收确认短信的手机号码。