检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
弹性资源池队列扩缩容策略的优先级。优先级范围为1到100,数字越小,优先级越低。 执行引擎 添加的队列类型为“SQL队列”时执行引擎为spark。 添加的队列类型为“通用队列”时执行引擎可以是spark和flink,当前界面显示为--。 创建时间 弹性资源池添加队列的时间。 企业项目 队列所属的企业项目。
"Duration":146,"Sign":-1} 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
再到具体的DLI上执行。 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
table1; 图1 查询表数据 在DLI上创建数据库和表。 登录DLI管理控制台,选择“SQL编辑器”,在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列。 在编辑器中输入以下语句创建数据库,例如当前创建迁移后的DLI数据库testdb。详细的DLI创建数据库的语法可以参考创建DLI数据库。
String 队列的类型,。有如下类型: sql:SQL队列类型,用于运行SQL作业。 general:通用队列类型,用于运行Flink、Spark Jar作业。 说明: 如果不指定类型,则默认为“sql”。 description 否 String 队列的描述信息。 cu_count
"create_time": 1562221422671, "queue_type": "spark", "cu_count": 16, "charging_mode": 2,
_价格摘要报告查询”样例模板,单击操作列的“执行”进入“SQL编辑器”。 在“SQL编辑器”页面右侧的编辑窗口上方,“执行引擎”选择“spark”,“队列”选择“default”,“数据库”选择“default”,单击“执行”。 SQL作业编辑窗口下方“查看结果”页签查看查询结果。
数据免搬迁:DLI支持与多种数据源的对接,直接通过SQL建表就可以完成数据源的映射。 简单易用:直接使用标准SQL编写指标分析逻辑,无需关注背后复杂的分布式计算平台。 按需计费:日志分析按时效性要求按周期进行调度,每次调度之间存在大量空闲期。DLI按需计费只在使用期间收费,有效节约队列成本。 资源和成本规划
在DLI查看数据迁移结果 确认CDM迁移作业运行完成后,登录到DLI管理控制台。 单击“SQL编辑器”。 在SQL编辑器中“执行引擎”选择“spark”,“队列”选择已创建的SQL队列,数据库选择已创建的数据库,执行DLI表查询语句,查询MySQL数据是否已成功迁移到DLI的表中。 select
dli_queue_01 类型 选择创建的队列类型。 执行SQL作业请选择SQL队列。 执行Flink或Spark作业请选择通用队列。 _ 执行引擎 SQL队列可以选择队列引擎为Spark或者HetuEngine。 _ 企业项目 选择对应的企业项目。 default 单击“下一步”,配置队列的扩缩容策略。
Object 作业配置, 具体参数说明请参见表4。 main_class 否 String jar包主类。例如,org.apache.spark.examples.streaming.JavaQueueStream entrypoint_args 否 String jar包作业运行参数,多个参数之间空格分隔。
如果没在优化参数配置单个TM的内存和管理单元内存,默认单个TM的内存 = 单TM所占CU数 * 4。管理单元内存 = 管理单元 * 4。 Spark资源并行度由Executor数量和Executor CPU核数共同决定。 管理单元 管理单元CU数量。 并行数 作业的并行数是指作业中各
欠费后影响 当您的账号因按需资源自动扣费导致欠费后,账号将变成欠费状态。欠费后,资源进入宽限期,不能在DLI服务中提交作业,包括SQL作业,Spark作业和Flink作业。您需支付按需资源在宽限期内产生的费用,相关费用可在“管理控制台 > 费用中心 > 总览”的“欠费金额”查看,华为云将在您充值时自动扣取欠费金额。
如果没在优化参数配置单个TM的内存和管理单元内存,默认单个TM的内存 = 单TM所占CU数 * 4。管理单元内存 = 管理单元 * 4。 Spark资源并行度由Executor数量和Executor CPU核数共同决定。 管理单元 设置管理单元的CU数。 并行数 作业的并行数是指作业