检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。DLI可以从HBase中读取数据,用于过滤分析、数据转储等场景。 前提条件 该场景作业需
可伸缩、面向列的分布式云存储系统,适用于海量数据存储以及分布式计算的场景,用户可以利用HBase搭建起TB至PB级数据规模的存储系统,对数据轻松进行过滤分析,毫秒级得到响应,快速发现数据价值。DLI可以从HBase中读取数据,用于过滤分析、数据转储等场景。 前提条件 该场景作业需
量是否正确,建议通过查询语句进行查询。 如果OBS对存入的文件数量有要求,可以在插入语句后加入“DISTRIBUTE BY number”。 例如,在插入语句后添加“DISTRIBUTE BY 1”,可以将多个task生成的多个文件汇总为一个文件。 操作步骤 在管理控制台检查对应
SQL模板包括样例模板和自定义模板。当前系统默认的样例模板包括22条标准的TPC-H查询语句,可以满足用户大部分的TPC-H需求场景测试,TPC-H样例说明请参考DLI预置的SQL模板中TPC-H样例数据说明。 在“SQL模板”页面右上角,单击“设置”可以选择是否按照分组展示模板。 如果选择“按分组展示”,有以下三
步骤6:查询结果。查询Flink作业结果,使用DLV进行大屏展示。 方案优势 跨源分析:数据免搬迁,就可以关联分析存在OBS中的各个渠道的销售汇总数据。 纯SQL操作:DLI已对接多个数据源,直接通过SQL建表就可以完成数据源的映射。 资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 OBS
说明: 专属队列是指队列对应的资源为专属资源,空闲时不释放,即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。专属队列支持创建增强型跨源。 购买按需队列时可以选择专属队列。专属队列无论是否使用,24小时均收费。包年包月队列为专属队列。 AZ策略 采用双AZ策
[0-9]+$)[A-Za-z0-9_$]*$,如果特殊字符需要使用单引号('')包围起来。 partition_specs 分区信息,key=value形式,key为分区字段,value为分区值。若分区字段为多个字段,可以不包含所有的字段,会显示匹配上的所有分区信息。 注意事项 所要查看分区的表必须存在且是分区表,否则会出错。
”,可能是由于缺少C++编译器导致的报错,建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 安装DLI服务Python SDK。 选择SDK获取与安装获取的安装包,解压安装包。 将"dli-sdk-python-<version>
”,可能是由于缺少C++编译器导致的报错,建议您根据提示信息安装相应版本的Visual Studio编译器解决。部分操作系统Visual Studio安装后需重启才可以生效。 父主题: Python SDK环境配置
作。 覆盖指定路径:在指定目录下新建文件,会删除已有文件。 表头:无/有 设置导出数据是否含表头。 单击“确定”即可导出数据。 (可选)您可以在“作业管理”>“SQL作业”页面查看导出作业的“状态”、“执行语句”等信息。 在“作业类型”中选择“EXPORT”,输入导出数据的时间段,即可查询出对应条件下的作业列表。
DLI-demo。OBS Browser+提供强大的拖拽上传功能,您可以将本地的一个或多个文件或者文件夹拖拽到对象存储的对象列表或者并行文件系统的对象列表中;同时您也可以将文件或文件夹拖拽到指定的目录上,这样可以上传到指定的目录中。 单击Best_Practice_04.zip获
同时因为spark.sql.shuffle.partitions参数设置的并行度过大,导致缓存区大小不够而导入数据报错。 解决方案 建议可以尝试调小spark.sql.shuffle.partitions参数值来解决缓冲区不足问题。具体该参数设置步骤如下: 登录DLI管理控制台,单击“作业管理
根据Active Stage可以看到当前正在运行的Stage运行情况,单击Description中的超链接。 在Stage中,可以看到每一个Task开始运行时间“Launch Time”,以及Task运行耗时时间“Duration”。 单击“Duration”,可以根据耗时进行排序,排查
系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。完全可以配置为基于时间的方式往桶中写入数据,比如可以设置每个小时的数据写入一个新桶中。即桶中将包含一个小时间隔内接收到的记录。 桶目录中
当需要将来自不同源的数据进行集中存储和处理时,迁移数据至DLI可以提供一个统一的数据平台。 您可以参考使用CDM迁移数据至DLI迁移数据至DLI后再提交作业。 如果业务需求需要实时访问和处理来自不同数据源的数据,跨源访问可以减少数据的复制和延迟。 跨源访问的必要条件包括“DLI与数据
PARTITION partition_specs SET LOCATION obs_path; 关键字 PARTITION:分区。 LOCATION:分区路径。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path
采用big-endian(默认)编码的两个字节。字节序可以通过 'raw.endianness' 配置。 INT 采用 big-endian (默认)编码的四个字节。字节序可以通过 'raw.endianness' 配置。 BIGINT 采用 big-endian (默认)编码的八个字节。字节序可以通过 'raw.endianness'
内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector' = 'blackhole'后,单击运行。如果不再报错,则证明系统没有问题,您需要排查确认修改WITH参数是否正确。
内置的Connector。 例如,如果您在注册其他类型的Connector结果表时报错,但您不确定是系统问题还是结果表WITH参数错误,您可以将WITH参数修改为'connector' = 'blackhole'后,单击运行。如果不再报错,则证明系统没有问题,您需要排查确认修改WITH参数是否正确。
1 只读实例 为了实现读取能力的弹性扩展,分担数据库压力,您可以在某个区域中创建一个或多个只读实例。 暂不购买 单击“立即购买”,进入规格确认页面。 单击“提交”,完成购买RDS MySQL实例。 实例创建成功后,用户可以在“实例管理”页面对其进行查看和管理。 创建实例过程中,状态