检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink OpenSource SQL作业开发 从Kafka读取数据写入到RDS 从Kafka读取数据写入到DWS 从Kafka读取数据写入到Elasticsearch 从MySQL CDC源表读取数据写入到DWS 从PostgreSQL CDC源表读取数据写入到DWS Flink
使用Spark作业跨源访问数据源 概述 对接CSS 对接DWS 对接HBase 对接OpenTSDB 对接RDS 对接Redis 对接Mongo 父主题： Spark Jar作业开发指南
对接DWS scala样例代码 pyspark样例代码 java样例代码 父主题： 使用Spark作业跨源访问数据源
对接Redis scala样例代码 pyspark样例代码 java样例代码 故障处理 父主题： 使用Spark作业跨源访问数据源
SQL作业开发指南 使用Spark SQL作业分析OBS数据 在DataArts Studio开发DLI SQL作业 在Spark SQL作业中使用UDF 在Spark SQL作业中使用UDTF 在Spark SQL作业中使用UDAF
Flink作业开发指南 流生态作业开发指引 Flink OpenSource SQL作业开发 Flink Jar作业开发基础样例 使用Flink Jar写入数据到OBS开发指南 使用Flink Jar连接开启SASL_SSL认证的Kafka 使用Flink Jar读写DIS开发指南
db_url = "mysql://192.168.x.x:3306/test2", /* 格式为mysql://RDS数据库实例的内网地址:RDS数据库端口/RDS创建的数据库名 */ table_name = "tabletest2" /* RDS数据下的表名 */
Flink作业性能调优 性能调优相关基本概念 消费组积压 消费组积压可通过topic最新数据offset减去该消费组已提交最大offset计算得出，说明的是该消费组当前待消费的数据总量。 如果Flink作业对接的是kafka专享版，则可通过云监控服务(CES)进行查看。具体可选择“
RedisPassword', 'data-type' = 'sorted-set', "default-score" = '3', 'deploy-mode' = 'master-replica', 'schema-syntax' = 'array-scores' ); 语法格式
Hudi常见配置参数 本章节介绍Hudi重要配置的详细信息，更多配置请参考hudi官网：https://hudi.apache.org/cn/docs/0.11.0/configurations/。 提交DLI Spark SQL作业时，在SQL编辑器界面右上角的”设置”->”参数设置
参数格式为key=value。 Flink优化参数支持非敏感的全局变量替换。例如，在“全局配置”>“全局变量”中新增全局变量phase，Flink Jar作业就可以添加优化参数table.optimizer.agg-phase.strategy={{phase}}。
如需在Spark3.3.x版本中恢复Spark2.4.x的格式，可以通过设置spark.sql.legacy.nullValueWrittenAsQuotedEmptyStringCsv为 true来实现。
params.get("startOffset"); // 消费组标识，同一个消费组下的不同客户端可以同时消费同一个通道 String groupId = params.get("groupId"); // Checkpoint输出路径，格式
区域和可用区 什么是区域、可用区？ 区域和可用区用于描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region
不允许json_string和json_path为NULL json_string格式必须为合法的json串，否则函数返回NULL json_string为空字符串，则函数返回空字符串 json_path为空字串或路径不存在，则函数返回NULL JSON_VAL函数使用说明 语法
迁移数据场景概述 为了将分散在不同系统中的数据迁移到DLI，确保数据可以在DLI集中分析和管理，您可以通过云数据迁移服务CDM等迁移工具迁移数据至DLI，再使用DLI提交作业分析数据。 CDM支持数据库、数据仓库、文件等多种类型的数据源，通过可视化界面对数据源迁移任务进行配置，提高数据迁移和集成的效率
停止计费 包年/包月资源 对于包年/包月计费模式的资源，例如包年/包月的弹性资源池、包年/包月的队列等，用户在购买时会一次性付费，服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源，您可以执行退订操作，系统将根据资源是否属于五天无理由退订、是否使用代金券和折扣券等条件返还一定金额到您的账户
以样例代码为例，具体的流程是： 远程登录ECS，通过hbase shell命令查看表信息。其中，“hbtest”是要查询的表名。
欠费说明 用户在使用DLI服务时，账户的可用额度小于待结算的账单，即被判定为账户欠费。欠费后，可能会影响云服务资源的正常运行，请及时充值。 欠费原因 已购买套餐包，但使用量超出套餐包额度，进而产生按需费用，同时账户中的余额不足以抵扣产生的按需费用。请参考已购买套餐包，为什么仍然产生按需计费
手动在OBS表的分区目录下添加了数据，但是无法查询到数据怎么办？ 问题现象 手动在OBS表的分区目录下上传了分区数据，但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后，需要刷新OBS表的元数据信息。具体操作如下： MSCK REPAIR TABLE
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
