检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全CSS集群的证书，生成的keystore文件在OBS上的地址。 es.net.ssl.keystore.pass 安全CSS集群的证书，生成的keystore文件时的密码。 es.net.ssl.truststore.location 安全CSS集群的证书，生成的truststore文件在OBS上的地址。
idle_state_retention 否 Integer 空闲状态过期周期。 config_url 否 String 用户上传的config包OBS路径。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的程序包名，用户sql作业的udf jar通过该参数传入。 dirty_data_strategy
单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。 查询结果参考如下： +I(1,1,2022-04-02T15:00
单击OBS桶，获取对应作业的完整运行日志。 图2 查看运行日志 下载最新“jobmanager.log”文件，搜索“RUNNING to FAILED”关键字，通过上下文的错误栈，确认失败原因。 如果“jobmanager.log”文件中的信息不足以定位，可以在运行日志中找到对应的“taskmanager.log”日志，搜索“RUNNING
DLI不支持导入其他租户共享的OBS桶中的数据，主要是为了确保数据的安全性和数据隔离。 对于需要跨租户共享和分析数据的场景，建议先将数据脱敏后上传到OBS桶中，再进行数据分析，分析完成后及时删除OBS桶中的临时数据，以确保数据安全 父主题： DLI产品咨询类
table，则会导致批量数据写成非常大的log文件，对后续compaction形成很大压力需要更多资源才能完成。 Hudi表在Hive元数据中，应该会存在1张内部表（手动创建），2张外部表（写入数据后自动创建）。 2张外部表，表名_ro（用户只读合并后的parquet文件，即读优化视图表），_rt（
单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。 父主题： Hudi
参数 描述 是否必填 table 需要查询表的表名，支持database.tablename格式 是 clean_policy 清理老版本数据文件的策略，默认KEEP_LATEST_COMMITS 否 retain_commits 仅对KEEP_LATEST_COMMITS策略有效 否
单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。 查询结果参考如下： +I(1,1,2022-04-02T15:00
file_format 写入的文件格式，支持按CSV、Parquet、ORC、JSON、Avro格式。 file_format为csv时，options参数可以参考表3。 注意事项 通过配置“spark.sql.shuffle.partitions”参数可以设置非DLI表在OBS桶中插入的文件个数，同
原因分析 Flink jar包冲突。用户提交的flink jar 与 DLI 集群中的hdfs jar包存在冲突。 处理步骤 1. 将用户pom文件中的的hadoop-hdfs设置为： <dependency> <groupId>org.apache.hadoop</groupId>
按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取
ID。 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 obs_dir 是 String OBS路径，用于保存导出的作业文件。 is_selected 是 Boolean 是否导出指定的作业。 job_selected 否 Array of Longs 当“is
当前仅支持运行命令ANALYZE TABLE COMPUTE statistics noscan的配置单元存储表，和直接根据数据文件计算统计信息的基于文件的数据源表。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。 spark
Access Key sk：账号 Secret Access Key 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量xxx_SDK_AK和xxx_SDK_SK。
单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。 父主题： 创建源表
Access Key sk：账号 Secret Access Key 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量xxx_SDK_AK和xxx_SDK_SK。
按照如下方式查看taskmanager.out文件中的数据结果： 登录DLI管理控制台，选择“作业管理 > Flink作业”。 单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取
目录已经存在，系统将返回错误信息，无法执行导出操作。 “Overwrite”：覆盖。在指定目录下新建文件，会删除已有文件。 data_path 是 String 导入或导出的文件路径。 data_type 是 String 导入或导出的数据类型（当前支持csv和json格式）。 database_name
步骤。 View只能通过SQL语句进行创建，不能通过“创建表”页面进行创建。 注意事项 当OBS的目录下有同名文件夹和文件时，创建OBS表指向该路径会优先指向文件而非文件夹。 创建数据库和表时，有权限控制，需要对其他用户授权，其他用户才可查看该用户新建的数据库和表。具体请参考常用操作与系统权限关系。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
