检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 参数设置 上述步骤参数设置完成后,则可以进行全表查询,不用查询表的时候要包含分区字段。 父主题: DLI数据库和表类
图2 查看Spark作业所需CUs数 父主题: DLI弹性资源池和队列类
图3 华北-北京四的项目B更新委托权限示意图 单击“更新委托权限”。
如图2所示。 详细的入方向规则参数说明请参考表3。 图2 添加入方向规则 表3 入方向规则参数说明 参数 说明 取值样例 优先级 安全组规则优先级。 优先级可选范围为1-100,默认值为1,即最高优先级。优先级数字越小,规则优先级级别越高。 1 策略 安全组规则策略。
图1 队列权限授权 表1 参数说明 参数名称 描述 用户名 被授权的用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 删除队列:删除此队列。 提交作业:向此队列提交作业。 终止作业:终止提交到此队列的作业。
图2 手动缩容 确认费用无误后,单击“确定”。 父主题: 管理队列
图1 添加其他依赖文件 代码段如下所示 package main.java import org.apache.spark.SparkFiles import org.apache.spark.sql.SparkSession import scala.io.Source
图1 队列基本信息 父主题: 管理队列
图2 选择队列 上传Jar包。 Flink版本需要和用户Jar包指定的Flink版本保持一致。 图3 上传Jar包 表2 参数说明 名称 描述 应用程序 用户自定义的程序包。
CREATE VIEW orders_by_date_view AS SELECT orderdate, sum(totalprice) AS price FROM orders GROUP BY orderdate; --创建一个新视图来替换已经存在的视图: CREATE
选择“JSON视图”。 在策略内容中粘贴自定义策略。
图1 更新委托权限 委托更新完成后,重新创建跨源连接和运行作业。 父主题: 增强型跨源连接类
图1 查看队列监控指标 父主题: DLI弹性资源池和队列类
schema是表、视图以及其他数据库对象的容器。当指定可选参数IF NOT EXISTS时,如果系统已经存在同名的schema,将不会报错。
partition")); vaildProps(); } catch (Exception e) { LOGGER.info("load kafka conf failed"); e.printStackTrace(); } } 图1
如图2所示。 详细的入方向规则参数说明请参考表3。 图2 添加入方向规则 表3 入方向规则参数说明 参数 说明 取值样例 优先级 安全组规则优先级。 优先级可选范围为1-100,默认值为1,即最高优先级。优先级数字越小,规则优先级级别越高。 1 策略 安全组规则策略。
图1 修改网段 填写需要的网段后,单击“确定”。队列修改网段成功后,需要等待5~10分钟,待队列所属集群资源重新拉起后再运行作业。
图1 更新委托权限 委托更新完成后,重新创建跨源连接和运行作业。 父主题: 增强型跨源连接类
图1 迁移数据至DLI 配置DLI读写外部数据源 如果您不想将数据导入OBS或DLI的数据表中,DLI提供的跨源访问能力,支持您在不迁移数据的情况下,连接数据源获取数据并进行数据分析。 具体操作请参考配置DLI读写外部数据源数据的操作流程。 父主题: 数据迁移与数据传输
图1 弹性资源池权限授权 表1 参数说明 参数名称 描述 用户名 被授权的用户名称。 说明: 该用户名称是已存在的IAM用户名称且该用户登录过DLI管理控制台。 权限设置 更新:当前用户可更新弹性资源池的描述信息。