检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
createdAt 建表时间戳 lastModified 最后一次修改的时间戳 partitionColumns 分区列 numFiles 表的最新版本中的文件个数 sizeInBytes 表的最新快照的大小（以字节为单位） properties 为此表设置的所有属性 minReaderVersion
单击对应的Flink作业名称，选择“运行日志”，单击“OBS桶”，根据作业运行的日期，找到对应日志的文件夹。 进入对应日期的文件夹后，找到名字中包含“taskmanager”的文件夹进入，下载获取taskmanager.out文件查看结果日志。 数据结果参考如下： +I(202103251202020001
批作业SQL语法的常用配置项。 表1 常用配置项 名称 默认值 描述 spark.sql.files.maxRecordsPerFile 0 要写入单个文件的最大记录数。如果该值为零或为负，则没有限制。 spark.sql.shuffle.partitions 200 为连接或聚合过滤数据时使用的默认分区数。
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 如果需要获取key的值，则可
open、run、close和cancel函数。实现完成后将该类编译打在jar中，通过sql编辑页的UDF Jar上传。 依赖的pom配置文件内容参考如下： <dependency> <groupId>org.apache.flink</groupId> <ar
导出CSV文件时保留特殊字符的引号 说明： Spark2.4.x： 在Spark 2.4.x版本中，导出CSV文件时，如果字段值中包含特殊字符如换行符（\n）和回车符（\r），并且这些特殊字符被引号（例如双引号"）包围，Spark会自动处理这些引号，在导出的CSV文件中舍弃这些引号。
] } 状态码 状态码如表5所示。 表5 状态码 状态码 描述 200 查询成功。 400 请求错误。 500 内部服务器错误。 错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 父主题： 队列相关API（推荐）
run archivelog on $tablename; // 执行archivelog合并清理元数据文件 关于清理、归档参数的值不宜设置过大，会影响Hudi表的性能，通常建议： hoodie.cleaner.commits.retained =
后续查看作业日志。 认证用的username和password等硬编码到代码中或者明文存储都有很大的安全风险，建议使用DEW管理凭证。配置文件或者环境变量中密文存放，使用时解密，确保安全。Flink Opensource SQL使用DEW管理访问凭据 语法格式 create table
单击所建桶“dli-test-obs01”，进入“对象”页面。 选择左侧列表中的“对象”，选择“上传对象”，将需要上传的文件，例如“flink-examples.jar”上传到指定目录，单击“确定”。 本例文件上传成功后，路径为“obs://dli-test-obs01/flink-examples.jar”。
存储计费 按照存储在DLI服务中的表数据存储量（单位为“GB”）收取存储费用。 在估算存储费用时，请特别注意，DLI采用压缩存储，通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中，则DLI服务不收取存储费用，对应的费用由OBS服务收取。 扫描量计费
按照存储在DLI服务中的表数据存储量（单位为“GB”）收取存储费用。 在估算存储费用时，请特别注意，DLI采用压缩存储，通常能压缩到原文件大小的 1/5 。DLI存储按照压缩后的大小计费。 如果数据存储在OBS服务中，则DLI服务不收取存储费用，对应的费用由OBS服务收取。 计费规则
单击所建桶“dli-test-obs01”，进入“对象”页面。 选择左侧列表中的“对象”，选择“上传对象”，将需要上传的文件，例如“spark-examples.jar”上传到指定目录，单击“确定”。 本例文件上传成功后，文件路径为“obs://dli-test-obs01/spark-examples.jar”。
PARTITION时指定了分区保存路径，那么在DROP PARTITION执行后，分区所在文件夹和数据不会被删除。如果ADD PARTITION时未指定分区保存路径，分区目录将从OBS上删除，数据会移到.Trash/Current文件夹。 ALTER TABLE table_name DROP [IF
无 String 上传“user.keytab”文件的OBS路径。如果开启了kerberos认证，则必须设置。 properties.connector.kerberos.krb5 否 无 String 上传“krb5.conf”文件的OBS路径。如果开启了kerberos认证，则必须设置。
DEFAULT CHARACTER SET = utf8mb4; 步骤3：创建DWS数据库和表 连接已创建的DWS集群。 请参考使用gsql命令行客户端连接DWS集群。 执行以下命令连接DWS集群的默认数据库“gaussdb”： gsql -d gaussdb -h DWS集群连接地址 -U
with "Provided" scope，否则本地调试运行时会加载不到pom文件中的依赖包。 具体操作以IntelliJ IDEA版本2020.2为例，参考如下： 在IntelliJ IDEA界面，选择调试的配置文件，单击“Edit Configurations”。 在“Run/Debug
选择需导入的作业配置文件的完整OBS路径。单击“下一步”。 配置同名作业策略。单击“下一步”。 勾选“配置同名替换”，如果待导入的作业名已存在，则覆盖已存在的作业配置，并且作业状态重置为草稿。 不勾选“配置同名替换”，如果待导入的作业名已存在，则不导入同名作业的配置。 确认“配置文件”和“同
"Task Managers" -> "Stdout"。 方法二：若在提交运行作业前选择了保存日志，则可以从日志的taskmanager.out文件中查看。 +I(47.29.201.179 - - [28/Feb/2019:13:17:10 +0000] "GET /?p=1 HTTP/2
于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对DLI服务，管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。DLI支持的API授权项请参见《权限策略和授权项》。 表1 DLI系统权限 系统角色/策略名称 描述 类别 依赖关系
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
