检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
String 分隔数组和行元素的字符串(默认';'). csv.escape-character 否 (none) String 转义字符(默认关闭). csv.null-literal 否 (none) String 是否将 "null" 字符串转化为 null 值。 示例 使用kafka发送数据，输出到print中。
池并添加队列。 全局共享模式： 全局共享模式是一种根据SQL查询中实际扫描的数据量来分配计算资源的模式，不支持指定或预留计算资源。 DLI服务预置的“default”队列即为全局共享模式的计算资源，资源的大小是按需分配的。在不确定数据量大小或偶尔需要进行数据处理的用户，可以使用default队列执行作业。
改的时间（LAST_ACCESS_TIME）超过生命周期指定的时间，则上述分区会被回收。 生命周期主要提供定期回收表或分区的功能，每天根据服务的繁忙程度，不定时回收。不能确保表或分区的生命周期到期后，立刻被回收。 删除表后，表的所有属性信息全部会删除，包括生命周期。新建同名表后，表的生命周期以新设置的属性为准。
单引号（''）包围起来。 partition_specs 分区信息，key=value形式，key为分区字段，value为分区值。若分区字段为多个字段，可以不包含所有的字段，会删除匹配上的所有分区。“partition_specs”中的参数默认带有“( )”，例如：PARTITION
导出查询结果。 SQL模板相关API 包括保存SQL模板、创建作业模板等模板相关API。 Flink作业相关API 包括OBS授权给DLI服务、新建SQL作业、更新SQL作业、新建Flink自定义作业、更新Flink自定义作业、批量运行作业、查询作业列表、查询作业详情、查询作业执
System.out.println(result); } 查询作业APIG网关服务访问地址 DLI提供查询Flink作业APIG访问地址的接口。您可以使用该接口查询作业APIG网关服务访问地址。示例代码如下： 1 2 3 4 5 private static void
conf文件。 创建MRS HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。以样例代码为例，具体的流程是： 远程登录ECS，通过hbase shell命令查看表信息。其中，“hbtest”是要查询的表名。 describe 'hbtest' （可选）如果不存在
隔时间内没有时间出现，该窗口会被关闭。例如时间窗口的间隔时间是 30 分钟，当其不活跃的时间达到30分钟后，若观测到新的记录，则会启动一个新的会话时间窗口（否则该行数据会被添加到当前的窗口），且若在 30 分钟内没有观测到新纪录，这个窗口将会被关闭。会话时间窗口可以使用事件时间（批处理、流处理）或处理时间（流处理）。
在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”，获取ZooKeeper角色实例的IP地址。 在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”，搜索参数“
在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 实例”，获取ZooKeeper角色实例的IP地址。 在MRS Manager上，选择“集群 > 待操作的集群名称 > 服务 > ZooKeeper > 配置 > 全部配置”，搜索参数“
任务的正常执行。 作业资源的占用情况请参考怎样查看作业所需的资源CUs数？。 怎样查看作业所需的资源CUs数？ SQL作业： 请通过云监控服务提供的监控面板查看运行中的作业数和提交中的作业数，并根据作业数量判断SQL作业整体的资源占用情况。 Flink 作业： 登录DLI管理管理控制台。
String 分隔数组和行元素的字符串(默认';'). csv.escape-character 否 (none) String 转义字符(默认关闭). csv.null-literal 否 (none) String 是否将 "null" 字符串转化为 null 值。 数据类型映射 目前
给新用户设置队列权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。 关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 队列权限相关操作步骤 在DLI管理控制台的左侧，选择“资源管理 > 队列管理”。 选择待设置的队列，单击其“操
ClickHouseBalancer实例的http端口： 登录MRS管理控制台，选择“集群名称 > 组件管理 > ClickHouse > 服务配置”，角色选择“ClickHouseBalancer”，搜索“lb_http_port”配置参数值。默认为：21425。 数据库名为ClickHouse集群创建的数据库名称。
only 是否仅通过域名访问es节点，默认为false。使用经典型跨源的连接地址作为es.nodes时，该参数需要配置为true；使用css服务提供的原始内网IP地址作为es.nodes时，不需要填写该参数或者配置为false。 es.mapping.id 指定一个字段，其值作为es中Document的id。
单击“更多 > 下载认证凭据”，保存后解压得到Truststore文件。 上传认证凭证到OBS桶。 关于如何创建OBS桶并上传数据，请参考《对象存储服务快速入门》。 创建跨源认证。 登录DLI管理控制台。 选择“跨源管理 > 跨源认证”。 单击“创建”。 填写Kafka认证信息，详细参数说明请参考表2。
用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 弹性资源池权限管理操作步骤 在DLI管理控制台的左侧，选择“资源管理 > 弹性资源池”。 选择待设置的弹性资源池，单击其“操作”列中的“更多
费明细数据。 步骤2：分析账户消费结构并优化 在DLI上进行消费明细分析。 将1下载的消费明细数据上传到已建好的OBS桶中。 在数据湖探索服务中创建表。 登录DLI控制台，左侧导航栏单击“SQL编辑器”，执行引擎选择“spark”，选择执行的队列和数据库。本次演示队列和数据库选择“default”。
API或者Flin写Hudi表的场景，通过这两种方式写Hudi时需要增加向Hive同步元数据的配置项；该配置的目的是将Hudi表的元数据统一托管到Hive元数据服务中，为后续的跨引擎操作数据以及数据管理提供便利。 父主题： Hudi数据表设计规范
给新用户设置全局变量权限时，该用户所在用户组的所属区域需具有Tenant Guest权限。关于Tenant Guest权限的介绍和开通方法，详细参见《权限策略》和《统一身份认证服务用户指南》中的创建用户组。 全局变量用户授权 单击“全局配置 > 全局变量”页面，单击全局变量“操作”列中的“权限设置”，进入“用户权限信
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
