检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 推荐使用DWS服务自研的DWS Connector。
SQL作业支持SQL查询功能:可为用户提供标准的SQL语句。具体内容请参考《数据湖探索SQL语法参考》。 Flink作业支持Flink SQL在线分析功能:支持Window、Join等聚合函数,用SQL表达业务逻辑,简便快捷实现业务。具体内容请参考Flink OpenSource SQL语法参考。
计费项包括Kafka实例和Kafka的磁盘存储空间。 了解Kafka计费说明。 RDS MySQL 数据库 RDS for MySQL提供在线云数据库服务。 RDS对您选择的数据库实例、数据库存储和备份存储(可选)收费。 了解RDS计费说明。 DLV DLV适配云上云下多种数据源
表名:选择导入到DLI的哪张表。 高级属性参数-“扩大字符字段长度”:这里选择“是”。由于MySQL和DLI存储中文时编码不一样,所需的长度也不一样,一个中文字符在UTF-8编码下可能要占3个字节。该参数选择为“是”后,在DLI中自动创表时,会将字符类型的字段长度设置为原表的
Flink作业 10秒钟 flink_max_op_backpressure_level Flink作业最大算子反压 展示用户Flink作业的最大算子反压值,数值越大,反压越严重。 0:表示OK 50:表示Low 100:表示High 0~100 Flink作业 10秒钟 elast
Flink作业最大算子延迟 展示用户Flink作业的最大算子延迟时间,单位ms。 Flink作业最大算子反压 展示用户Flink作业的最大算子反压值,数值越大,反压越严重。 0:表示OK 50:表示Low 100:表示High 查看Flink作业任务列表 用户可以查看作业运行
包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 前提条件 创建Flink OpenSource
包括位置应用、金融保险、互联网电商等。 数据仓库服务(Data Warehouse Service,简称DWS)是一种基于基础架构和平台的在线数据处理数据库,为用户提供海量数据挖掘和分析服务。DWS的更多信息,请参见《数据仓库服务管理指南》。 推荐使用DWS服务自研的DWS Connector。
工具(webhook模式) 支持对接企业内部统一监控告警系统(prometheus)。 支持Flink作业速率、输入输出数据量、作业算子反压值、算子延迟、作业cpu和内存使用率查看。 仅支持Flink UI 多版本支持 支持不同作业使用不同Flink版本 单Flink集群仅支持单版本下的作业开发
li_management_agency的委托信息。 步骤1:开发Jar包并上传数据至OBS DLI控制台不提供Jar包的开发能力,您需要在线下完成Jar包的开发。Jar包的开发样例请参考Flink Jar开发基础样例。 参考Flink作业样例代码开发Flink Jar作业程序,
DLI支撑本地测试Spark作业吗? DLI暂不支持本地测试Spark作业,您可以安装DLI Livy工具,通过Livy工具提供的交互式会话能力调测Spark作业。 推荐使用使用Livy提交Spark Jar作业。 DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗? DLI
新建Flink Jar作业 配置作业信息。 表1 作业配置信息 参数 参数说明 类型 选择Flink Jar。 名称 作业名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~57字节。 说明: 作业名称必须是唯一的。 描述 作业的相关描述,且长度为0~512字节。 标签
作业配置信息 参数 参数说明 类型 选择“Flink OpenSource SQL”:用户通过编辑SQL语句来启动作业。 名称 作业名称,只能由字母、中文、数字、中划线和下划线组成,并且长度为1~57字节。 说明: 作业名称必须是唯一的。 描述 作业的相关描述,长度为0~512字节。 模板名称
"area_street_name":"d3","region_name":"e1"} 常见问题 如果在windows环境中向redis中写入中文时,会导致写入数据异常,请避免此情况。 父主题: Redis
"area_street_name":"d3","region_name":"e1"} 常见问题 若在windows环境中向redis中写入中文时,会导致写入数据异常,请避免此情况。 父主题: 创建维表
说明: 只有在同个checkpoint内的文件会被合并,因此最终文件的数量至少等于checkpoint的数量。 如果合并时间较长,可能会引起反压,延长checkpoint所需时间。 开启该功能后,checkpoint时会产生最终文件,并打开新的文件接收下个checkpoint产生的数据。
新建Flink Jar作业 配置作业信息。 表1 作业配置信息 参数 参数说明 类型 选择Flink Jar。 名称 作业名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~57字节。 说明: 作业名称必须是唯一的。 描述 作业的相关描述,且长度为0~512字节。 标签
说明: 只有在同个checkpoint内的文件会被合并,因此最终文件的数量至少等于checkpoint的数量。 如果合并时间较长,可能会引起反压,延长checkpoint所需时间。 开启该功能后,checkpoint时会产生最终文件,并打开新的文件接收下个checkpoint产生的数据。
cond Task每秒输出的字节总数 flink_taskmanager_job_task_isBackPressured Task是否反压 flink_taskmanager_job_task_numRecordsIn Task收到的记录总数 flink_taskmanager
DATA语句不支持datasource表,且LOAD DATA分区表必须指定分区。 在LakeFormation控制台创建的数据库和表中包含中文字符时,不支持在DLI执行相关数据库和表的操作。 对接LakeFormation实例场景,不支持指定筛选条件删除分区。 对接LakeFor