检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现详解 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org
队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 代码实现 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org
Flink Opensource SQL使用DEW管理访问凭据 操作场景 DLI将Flink作业的输出数据写入到Mysql或DWS时，需要在connector中设置账号、密码等属性。但是账号密码等信息属于高度敏感数据，需要做加密处理，以保障用户的数据隐私安全。 数据加密服务（Data
直接输入路径或单击选择OBS的路径，如果没有合适的桶可直接跳转OBS创建。 创建OBS表时指定的路径必须是文件夹，如果建表路径是文件将导致导入数据失败。 当OBS的目录下有同名文件夹和文件时，数据导入指向该路径会优先指向文件而非文件夹。 说明： 路径同时支持文件和文件夹。 obs://DLI/sampledata
查看赋权对象使用者权限信息 功能介绍 获取对象赋权用户的权限信息。 调试 您可以在API Explorer中调试该接口。 URI URI格式： GET /v1.0/{project_id}/authorization/privileges 参数说明： 表1 URI 参数 参数名称
location")\ .load() jdbdDF.show() 操作结果 提交Spark作业 将写好的python代码文件上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2（即将下线）或2.4
OBS授权给DLI服务 功能介绍 用户主动授权OBS桶的操作权限给DLI服务，用于保存用户作业的checkpoint、作业的运行日志等。 当前接口已废弃，不推荐使用。 调试 您可以在API Explorer中调试该接口。 URI URI格式 POST /v1.0/{project
提示OBS Bucket没有授权怎么办？ DLI更新委托后，将原有的dli_admin_agency升级为dli_management_agency。 dli_management_agency包含跨源操作、消息通知、用户授权操作所需的权限，除此之外的其他委托权限需求，都需自定义DLI委托。
如果设置为是，任务启动前会清除目标表中数据。 详细的参数配置可以参考：CDM配置DLI目的端参数。 单击“下一步”，进入到字段映射界面，CDM会自动匹配源和目的字段。 如果字段映射顺序不匹配，可通过拖拽字段调整。 如果选择在目的端自动创建类型，这里还需要配置每个类型的字段类型、字段名称。 CDM支
SDK列表 表1 Java SDK列表 类型 说明 OBS授权 介绍将OBS桶的操作权限授权给DLI的Java SDK使用说明。 队列相关 介绍创建队列、获取默认队列、查询所有队列、删除队列的Java SDK使用说明。 资源相关 介绍上传资源包、查询所有资源包、查询指定资源包、删除资源包的Java
跨源分析：数据免搬迁，就可以关联分析存在OBS中的各个渠道的销售汇总数据。 纯SQL操作：DLI已对接多个数据源，直接通过SQL建表就可以完成数据源的映射。 资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS，为后面使用DLI完成数据分析做准备。
sparkSession.sql("select * from test_dds").show() 提交Spark作业 将写好的python代码文件上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2（即将下线）或2.4
from dli_to_rds") jdbcDF_after.show() 操作结果 提交Spark作业 将写好的python代码文件上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 创建Spark作业完成后，在控制台单击右上角“执行”
添加分区（只支持OBS表） 功能描述 创建OBS分区表成功后，OBS表实际还没有生成分区信息。生成分区信息主要有以下两种场景： 给OBS分区表插入对应的分区数据，数据插入成功后OBS表才会生成分区元数据信息，后续则可以根据对应分区列进行查询等操作。 手工拷贝分区目录和数据到OBS分区表路
person".stripMargin).collect().foreach(println) 提交Spark作业 将写好的python代码文件上传至OBS桶中。 在Spark作业编辑器中选择对应的Module模块并执行Spark作业。 如果选择spark版本为2.3.2（即将下线）或2.4
= 'obs://xx/krb5.conf', 'properties.connector.kerberos.keytab' = 'obs://xx/user.keytab', 'properties.ssl.truststore.location' = 'obs://xx/truststore
DLI Flink作业提交运行后（已选择保存作业日志到OBS桶），提交运行失败的情形（例如：jar包冲突），有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时，对应生成的作业日志保存方式，包含以下三种情况： 提交失败，只会在submit-client下生成提交日志。
resource_name String 资源名。 status String "UPLOADING"表示正在上传。 "READY"表示资源包已上传。 "FAILED"表示资源包上传失败。 underlying_name String 资源包在队列中的名字。 owner String 资源包拥有者。
"UPLOADING"表示正在上传。 "READY"表示模块包已上传,。 "FAILED"表示模块包上传失败。 resources 否 Array of Strings 该模块包含的资源包名列表。 description 否 String 模块描述。 create_time 否 Long 模块上传的unix时间戳。
参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上述命令将该新增的分区信息刷新到元数据库中，通过“SHOW PARTITIONS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
