正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改主机信息”,在弹出的对话框中,填写主机信息。格式为:“IP 主机名/域名”,多条信息之间以换行分隔。 MRS主机信息获取,详细请参考《数据湖探索用户指南》中的“修改主机信息”章节描述。 父主题: 跨源连接运维报错
ROWTIME 关键字 表1 关键字说明 参数 是否必选 说明 type 是 数据源类型,"user_defined"表示数据源为用户自定义数据源。 type_class_name 是 用户实现获取源数据的source类名称,注意包含完整包路径。 type_class_parameter
"" ); 关键字 表1 关键字说明 参数 是否必选 说明 type 是 数据源类型,"user_defined"表示数据源为用户自定义数据源。 type_class_name 是 用户实现获取源数据的sink类名称,注意包含完整包路径。 type_class_parameter
tsdb_metrics 是 数据点的metric,支持参数化。 tsdb_timestamps 是 数据点的timestamp,数据类型支持LONG、INT、SHORT和STRING,仅支持指定动态列。 tsdb_values 是 数据点的value,数据类型支持SHORT、INT
社区版Kafka提供的消息队列服务,向用户提供可靠的全托管式的Kafka消息队列。 DLI支持创建输入流从DMS的Kafka获取数据,作为作业的输入数据。创建DMS Kafka输入流的语法与创建开源Apache Kafka输入流一样,具体请参见开源Kafka输入流。 父主题: 创建输入流
JOIN,在使用UDTF时需要带上 LATERAL 和TABLE 两个关键字。 CROSS JOIN:对于左表的每一行数据,假设UDTF不产生输出,则这一行不进行输出。 LEFT JOIN:对于左表的每一行数据,假设UDTF不产生输出,这一行仍会输出,UDTF相关字段用null填充。 1 2 3 4 5
所有数字类型 A和B相加。结果数据类型与操作数据类型相关,例如一个整数类型数据加上一个浮点类型数据,结果数值为浮点类型数据。 A - B 所有数字类型 A和B相减。结果数据类型与操作数据类型相关。 A * B 所有数字类型 A和B相乘。结果数据类型与操作数据类型相关。 A / B 所有数字类型
DCS输出流 功能描述 DLI将Flink作业的输出数据输出到分布式缓存服务(DCS)的Redis中。Redis是一种支持Key-Value等多种数据结构的存储系统。可用于缓存、事件发布或订阅、高速队列等场景,提供字符串、哈希、列表、队列、集合结构直接存取,基于内存,可持久化。有
“按需计费”,勾选“专属资源模式”即可。具体操作请参见《数据湖探索用户指南》中创建队列章节。 确保DLI独享队列与MRS集群建立增强型跨源连接,且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接,请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规
如何将老版本的Spark队列切换成通用型队列 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,“SQL队列”用于运行SQL作业,“通用队列”兼容老版本的Spark队列,用于运行Spark作业和Flink作业。 通过以下步骤,可以将老版本的“Spark队列”转换为新的“通用队列”。
DLI上已经创建好的表如何修改表字段名称? 当前DLI上已经创建好的表不支持修改表字段名称,即不支持修改表的列名。 可以通过重新创建表,定义新的表字段名称,再把旧表数据迁移到新表进行解决。 父主题: 作业管理
ConnectionState - Authentication failed 问题原因 因为账号没有在全局配置中配置服务授权,导致该账号在创建跨源连接访问外部数据时因为权限不足而导致跨源访问失败。 解决方案 登录DLI管理控制台,选择“全局配置 > 服务授权”。 在委托设置页面,按需选择所需的委托权限。
骗检测,传感器数据监控,医疗诊断和自然数据检测等。异常检测经典算法包括统计建模方法,基于距离计算方法,线性模型和非线性模型等。 我们采用一种基于随机森林的异常检测方法: One-pass算法,O(1)均摊时空复杂度。 随机森林结构仅构造一次,模型更新仅仅是节点数据分布值的更新。
创建中间流 功能描述 中间流用来简化sql逻辑,若sql逻辑比较复杂,可以写多个sql语句,用中间流进行串接。中间流仅为逻辑意义上的流,不会产生数据存储。 语法格式 1 CREATE TEMP STREAM stream_id (attr_name attr_type (',' attr_name
购买了64CU的队列资源,运行Spark作业时如何分配? 在DLI中,64CU=64core256G。 在对应的Spark作业中,如果Driver占用了4core16G,那么Executor能占用的就是60core 240G。 父主题: 运维指导
所有数字类型 A和B相加。结果数据类型与操作数据类型相关,例如一个整数类型数据加上一个浮点类型数据,结果数值为浮点类型数据。 A - B 所有数字类型 A和B相减。结果数据类型与操作数据类型相关。 A * B 所有数字类型 A和B相乘。结果数据类型与操作数据类型相关。 A / B 所有数字类型
为什么云监控CES服务看不到DLI队列的资源运行情况? DLI队列在没有作业运行时没有资源和流量的使用,该场景下在CES则不会显示该队列的运行情况。 父主题: 运维指导
SQL作业执行完成后,修改表名导致datasize修改失败怎么办? 如果执行SQL后立即修改了表名,可能会导致表的数据大小结果不正确。 如需修改表名,建议在SQL作业执行完成后,间隔5分钟再修改表名。 父主题: 运维指导
metadata怎么办? 首先测试地址连通性。 操作方法请参考测试地址连通性。 若果网络不可达,需要先配置网络连通。确保DLI 队列与外部数据源的网络连接性正常。 配置详情请参考配置网络连通。 父主题: 运维指导
条件表达式 CASE表达式 语法格式 1 2 3 CASE value WHEN value1 [, value11 ]* THEN result1 [ WHEN valueN [, valueN1 ]* THEN resultN ]* [ ELSE resultZ ] END