检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
out_file_name = "D://test-data_result_1" sc = SparkContext("local","wordcount app") sc._jsc.hadoopConfiguration().set("fs.obs.access.key", "myak") sc._jsc
clusterId 集群id readVersion 为执行写操作而读取的表的版本 isolationLevel 隔离级别 isBlindAppend 是否追加数据 operationMetrics 操作的度量（例如，修改的文件数、行数、字节数等信息） engineInfo Spark和Delta版本信息
容。 如何访问DLI 云服务平台提供了Web化的服务管理平台，既可以通过管理控制台和基于HTTPS请求的API（Application programming interface）管理方式来访问DLI，又可以通过JDBC客户端连接DLI服务端。 管理控制台方式 提交SQL作业、S
用户已上传到DLI资源管理系统的资源包名，用户自定义作业的依赖文件。 示例："myGroup/test.cvs,myGroup/test1.csv"。 通过在应用程序中添加以下内容可访问对应的依赖文件。其中，“fileName”为需要访问的文件名，“ClassName”为需要访问该文件的类名。 ClassName
main(args:Array[String]): Unit = { val spark = SparkSession.builder .appName("SparkTest") .getOrCreate() // driver 获取上传文件 println(SparkFiles
json中的信息。命令示例如下。 jsonString = {"store": {"fruit":[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}], "bicycle":{"price":19.95,"color":"red"}
extensions", "org.apache.spark.sql.hudi.HoodieSparkSessionExtension") .appName("spark_jar_hudi_demo") .getOrCreate // 步骤2：构造写入用的DataFrame数据
控制台操作请参考增强型跨源连接。 创建经典型跨源连接后，使用经典型跨源连接中返回的连接地址。 创建增强型跨源连接后，使用RDS提供的"内网域名"或者内网地址和数据库端口访问，MySQL格式为"协议头://内网IP:内网端口"，PostGre格式为"协议头://内网IP:内网端口/数据库名"。
问题描述：临时表主要用于存储临时中间结果，当事务结束或者会话结束的时候，临时表的数据可以自动删除。例如MySQL中可以通过：“create temporary table ...” 语法来创建临时表，通过该表存储临时数据，结束事务或者会话后该表数据自动清除。当前DLI是否支持该功能？ 解决措施：当前D
缓存刷新需加载整个Hive表。无法区分新数据和旧数据。 参数说明 在执行与最新的Hive表的时间关联时，Hive表将被缓存到Slot内存中，然后通过键将流中的每条记录与表进行关联，以确定是否找到匹配项。将最新的Hive表用作时间表不需要任何额外的配置。使用以下属性配置Hive表缓存的TTL。在缓存过期后，将重新扫描Hive表以加载最新的数据。
登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。 数据结果参考如下：
PARQUET几种格式。创建DLI表时必须指定此关键字。 TBLPROPERTIES：用于为表添加key/value的属性。 在表存储格式为PARQUET时，可以通过指定TBLPROPERTIES(parquet.compression = 'zstd')来指定表压缩格式为zstd。 AS：使用CTAS创建表。
弹性资源池中创建队列，为提交作业准备所需的计算资源。请参考DLI弹性资源池与队列简介创建弹性资源池并添加队列。 您还可以通过自定义镜像增强DLI的计算环境，通过下载DLI提供的基础镜像再按需制作自定义镜像，将作业运行需要的依赖（文件、jar包或者软件）、私有能力等内置到自定义镜像
小写。资源类型和操作没有大小写，要求支持通配符号*，无需罗列全部授权项。 资源类型可以参考表4中的资源类型。 操作：操作以IAM服务中已经注册的action为准。 Condition 限制条件：使策略生效的特定条件，包括条件键和运算符。 条件键表示策略语句的 Condition
Kafka结果表 功能描述 DLI通过Kafka结果表将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件
GMT+08:00到2020-05-28 10:00:00 GMT+08:00这段 内持续使用。 优化建议。 通过以上分析，了解到sql和flink这两个队列几乎是在持续使用的，建议通过购买包周期队列来降低使用成本。另外，对于明确需要使用多少CU时的作业，也可以提前购买对应的CU时套餐包，来降低使用成本。
考费用账单。 按照存储在DLI服务中的表数据存储量（单位为“GB”）收取存储费用。 在估算存储费用时，请特别注意，DLI采用压缩存储，通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中，则DLI服务不收取存储费用，对应的费用由OBS服务收取。
资源的访问。 通过IAM，您可以在账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有DLI的使用权限，但是不希望他们拥有删除DLI等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用DL
Hive方言 简介 从Flink 1.11.0 开始，在使用Hive方言时，Flink允许用户用Hive语法来编写SQL语句。通过提供与Hive语法的兼容性，改善与Hive的互操作性，并减少用户需要在Flink和Hive之间切换来执行不同语句的情况。详情可参考：Apache Flink
典型场景示例：迁移Hive数据至DLI 本文为您介绍如何通过CDM数据同步功能，迁移MRS Hive数据至DLI。其他MRS Hadoop组件数据，均可以通过CDM与DLI进行双向同步。 前提条件 已创建DLI的SQL队列。创建DLI队列的操作可以参考创建DLI队列。 创建DLI
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
