检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SHOW_TIME_LINE 命令功能 查看当前生效或者被归档的Hudi time line以及某个指定instant time的详细内容。 命令格式 查看某个表生效的time line列表： call show_active_instant_list(table => '[table_name]');
已经给表授权，但是提示无法查询怎么办？ 已经给表授权，且测试查询成功，但一段时间后重试报错无法查询，此时应先检查当前表的权限是否还存在， 检查权限是否仍然存在： 如用户权限被取消则可能导致提示权限缺失无法查询表数据。 查看表的创建时间： 查看表是否被他人删除重建，删除表后重建的相同表名并不视作同一张表，不会继承删除表的权限。
Hbase导入数据，原始数据：HBASE表，一个列簇，一个rowkey运行一个亿的模拟数据，数据量为9.76GB。导入1000W条数据后作业失败。 原因分析 查看driver错误日志。 查看executor错误日志。 查看task错误日志。 结论：rowkey过于集中，出现了热点region。
参考增强型跨源连接，在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置Doris的安全组，添加入向规则使其对Flink的队列网段放通。分别根据Doris的地址测试队列连通性。
日志信息的保存路径为：“桶名/jobs/logs/作业id开头的目录”。其中，“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。 在作业列表中，单击对应的作业名称，然后在“运行日志”页签，可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink
请确保数据源使用的安全组开放了DLI队列网段的访问，并且在使用跨源过程中不要删除该对等连接。 对等连接的连接状态： 跨源连接的状态信息，包括以下三种状态：创建中、已激活、已失败。 当连接状态显示为“已失败”时，单击左边对应的，可查看详细的错误信息。 图1 查看增强型跨源连接详情
sql.limit.time.sec SQL查询的执行时间限制。 默认600s 否 300 kyuubi.engine.dli.result.line.num.limit SQL查询的返回的最大条数。 默认返回10万条。 配置为-1代表不限制返回的条数。 是 50000 kyuubi.engine
Spark jar 如何读取上传文件 Spark可以使用SparkFiles读取 –-file中提交上来的文件的本地路径，即：SparkFiles.get("上传的文件名")。 Driver中的文件路径与Executor中获取的路径位置是不一致的，所以不能将Driver中获取到的路径作为参数传给Executor去执行。
配置PowerBI通过Kyuubi连接DLI进行数据查询和分析 Power BI提供了数据集成、数据仓库、报告和数据可视化等功能，能够将复杂的数据转换为易于理解和交互的可视化图表和仪表板，从而帮助企业做出基于数据的决策。 Kyuubi是一个分布式SQL查询引擎，它允许用户通过标准的SQL接口来访问和分析数据。
Print结果表 功能描述 print connector用于将用户输出的数据打印到error文件或者taskmanager的out文件中，方便用户查看，主要用于代码调试，查看输出结果。 语法格式 1 2 3 4 5 6 7 create table printSink ( attr_name
和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。 设置DWS和Kafka的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据DWS和Kafka的地址测试队列连通性。若能连通，则表示跨源已经绑定成功，否则表示未成功。 连接DWS
参考增强型跨源连接，在DLI上根据Doris所在的虚拟私有云和子网分别创建相应的增强型跨源连接，并绑定所要使用的Flink弹性资源池。参考“修改主机信息”章节描述，在增强型跨源中增加MRS的主机信息。 设置Doris的安全组，添加入向规则使其对Flink的队列网段放通。参考测试地址连通性分别根据Doris的地址测试队
运行使用自定义的Flink镜像。关于如何使用自定义镜像，请参考《数据湖探索用户指南》。 feature 否 String 自定义作业特性。表示用户作业使用的Flink镜像类型。 basic：表示使用DLI提供的基础Flink镜像。 custom：表示使用用户自定义的Flink镜像。
赋权：用户可将数据库的权限赋予其他用户或项目。 回收：用户可回收其他用户或项目具备的此数据库的权限，但是不能回收数据库所有者的权限。 添加分区：在分区表中添加新的分区。 删除分区：删除分区表中已有的分区。 设置分区的路径：将分区表中的某个分区路径设置为用户指定的OBS路径。 重命名表分区：对分区表中的分区重新命名。
Integer MySQL数据库的端口号。 server-id 否 5400~6000随机值 String 数据库客户端的一个数字ID，该ID必须是MySQL集群中全局唯一的。建议针对同一个数据库的每个作业都设置一个不同的ID。 默认会随机生成一个5400~6400的值。 scan.startup
本节介绍FileSystem源表的定义，以及创建源表时使用的参数和示例代码。 前提条件 该场景作业需要建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
count函数如何进行聚合 使用count函数进行聚合的正确用法如下： SELECT http_method, count(http_method) FROM apigateway WHERE service_id = 'ecs' Group BY http_method
12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 创建HBase源表的列簇必须定义为ROW类型，字段名对应列簇名（column family），嵌套的字段名对应列限定符名（column qualifier）。 用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列，剩下的原子数据类型字段（比如，STRING
SQL使用DEW管理访问凭据 创建HBase源表的列簇必须定义为ROW类型，字段名对应列簇名（column family），嵌套的字段名对应列限定符名（column qualifier）。 用户只需在表结构中声明查询中使用的的列簇和列限定符。除了ROW类型的列，剩下的原子数据类型字段（比如，STRING
该非主键字段需要为map类型，同时该字段map的value需要为double类型，表示score，该字段的map的key表示redis的set中的值。 当data-type为sorted-set，且schema-syntax为array-scores时，除主键字段外，只能有两个非主键字段，且这两个字段的类型需要为array。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
