正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
最新动态 本文介绍了数据湖探索DLI各特性版本的功能发布和对应的文档动态,新特性将在各个区域(Region)陆续发布,欢迎体验。 2020年8月 序号 功能名称 功能描述 阶段 相关文档 1 集成TPC-H测试套件 用户可以通过DLI内置的TPC-H测试套件进行简单高效的交互式查
服务器:请求dli.xxx,unable to resolve host address, 如何解决? 首先使用ping命令测试dli.xxx是否可以访问。 如果dli.xxx可以正常访问,建议下DNS解析是否配置正确。 DLI 不支持跨区域服务,需在一个区域内进行访问。 父主题:
SQL作业单击“自定义配置”,配置动态扩缩容参数。 Flink Jar作业单击“优化参数”框,配置动态扩缩容参数。 表1 动态扩缩容参数说明 名称 默认值 描述 flink.dli.job.scale.enable false 该配置表示是否开启动态扩缩的功能,即是否允许根据作业的
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 响应示例 { "is_success":
方式输出到数据仓库服务(DWS),即Flink作业数据先输出到OBS,然后再从OBS导入到DWS。如何导入OBS数据到DWS具体可参考《数据仓库服务数据库开发指南》中“从OBS并行导入数据到集群”章节。 数据仓库服务(Data Warehouse Service,简称DWS)是一
Flink SQL作业Kafka分区数增加或减少,不用停止Flink作业,实现动态感知 问题描述 用户执行Flink Opensource SQL, 采用Flink 1.10版本。初期Flink作业规划的Kafka的分区数partition设置过小或过大,后期需要更改Kafka区分数。
按需队列怎样绑定跨源链接? 增强型跨源仅支持“包年/包月”队列和“按需”的专属队列。 因此只有在购买按需队列时勾选了“专属资源模式”,资源专属,按需使用(计费周期等于队列的生命周期),才能绑定跨源链接。 父主题: 跨源连接问题
”,表示覆盖写。 partition_spec 否 Object 表示需要导入到哪个分区。 不配置表示动态导入整表数据,导入的数据需要包含分区列的数据; 如果导入时,配置所有分区信息,则表示导入数据到指定分区,导入的数据不能包含分区列的数据; 如果导入时,配置了部分分区信息,而导
"ip":"192.168.0.1", "name":"ecs-97f8-0001" }, { "ip":"192.168.0.2", "name":"ecs-97f8-0002" } ] } 响应示例 { "is_success":
如果未指定主键,Elasticsearch 将自动生成文档ID。 动态索引 Elasticsearch sink同时支持静态索引和动态索引。 如果你想使用静态索引,则index选项值应为纯字符串,例如 'myusers',所有记录都将被写入到“myusers”索引中。 如果你想使用动态索引,你可以使用 {field_name}
Elasticsearch结果表同时支持静态索引和动态索引。 如果使用静态索引,则索引选项值应为纯字符串,例如myusers,所有记录都将被写入myusers索引。 如果使用动态索引,可以使用{field_name}引用记录中的字段值以动态生成目标索引。您还可以使用 {field_na
Elasticsearch结果表同时支持静态索引和动态索引。 如果使用静态索引,则索引选项值应为纯字符串,例如myusers,所有记录都将被写入myusers索引。 如果使用动态索引,可以使用{field_name}引用记录中的字段值以动态生成目标索引。您还可以使用 {field_na
创建跨源成功但测试网络连通性失败怎么办? 怎样配置DLI队列与数据源的网络连通? DLI创建跨源连接,进行绑定队列一直在创建中怎么办? 按需队列怎样绑定跨源链接? 如何打通DLI和数据源的网络? 父主题: 跨源连接相关问题
例如192.168.xx.xx或者192.168.xx.xx:8181。 检测跨源连接的连通性时对域名约束限制如下: 域名的限制长度为1到255的字符串,并且组成必须是字母、数字、下划线或者短横线。 域名的顶级域名至少包含两个及以上的字母,例如.com,.net,.cn等。 测
启动位点时间戳。 scan.topic-partition-discovery.interval 否 无 Duration 消费者定期发现动态创建的Kafka主题和分区的时间间隔。 ssl_auth_name 否 无 String DLI侧创建的Kafka_SSL类型的跨源认证名称。Kafka配置SSL时使用该配置。
dynamicPartitionPruning.enabled true 该配置项用于启用或禁用动态分区修剪。在执行SQL查询时,动态分区修剪可以帮助减少需要扫描的数据量,提高查询性能。 配置为true时,代表启用动态分区修剪,SQL会在查询中自动检测并删除那些不满足WHERE子句条件的分区,适用于在处理具有大量分区的表时。
OVERWRITE命令只有在分区表下不同的插入到不同静态分区才可以并行。 INSERT INTO命令和INSERT OVERWRITE命令同时执行,其结果是未知的。 在从源表插入数据到目标表的过程中,无法在源表中导入或更新数据。 对于Hive分区表的动态INSERT OVERWRITE,支持覆盖涉及到的分区数据,不支持覆盖整表数据。
用户不需要管理任何服务器,即开即用。 DLI支持标准SQL/Spark SQL/Flink SQL,支持多种接入方式,并兼容主流数据格式。数据无需复杂的抽取、转换、加载,使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。
和Avro格式的数据导入到在DLI中创建的表。 将CSV格式数据导入分区表,需在数据源中将分区列放在最后一列。 导入数据的编码格式仅支持UTF-8。 数据导出 只支持将DLI表(表类型为“Managed”)中的数据导出到OBS桶中,且导出的路径必须指定到文件夹级别。 导出文件格式
11-XXXX.jar”到“obs://bucket/path”路径下。 以root用户登录到安装DLI Livy工具的ECS服务器。 执行curl命令通过DLI Livy工具提交Spark作业请求到DLI。 ECS_IP为当前安装DLI Livy工具所在的弹性云服务器的私有IP地址。 curl