检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
output_format_classname partition_col_name partition_col_value partition_specs property_name property_value regex_expression result_expression row_format
SERDEPROPERTIES：Serde属性。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上
险，建议在配置文件或者环境变量中密文存放, 使用时解密, 确保安全。 本示例以ak和sk保存在环境变量中为例，运行本示例前请先在本地环境中设置环境变量xxx_SDK_AK和xxx_SDK_SK。 regionName ：所属区域名称 projectId ：项目ID 通过以下方式可
登录DLI管理控制台，在左侧导航栏单击“跨源管理”，在跨源管理界面，单击“增强型跨源”，单击“创建”。 在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。 弹性资源池：选择DLI的队列。（未添加至资源池的队列，请直接选择队列名称。） 虚拟私有云：选择步骤1：获取外部数据
Python开发环境配置 操作场景 在安装和使用Python SDK前，确保您已经完成开发环境的基本配置。 Python版本建议使用2.7.10和3.4.0以上版本，需要配置Visual C++编译环境Visual C++ build tools 或者 Visual Studio。
SERDEPROPERTIES：Serde属性。 参数说明 表1 参数描述 参数 描述 table_name 表名称。 partition_specs 分区字段。 obs_path OBS存储路径。 注意事项 该命令的主要应用场景是针对分区表，如当手动在OBS上面添加分区目录时，再通过上
sql作业，输入以下作业运行脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource (
sql作业，输入以下作业运行脚本，提交运行作业。 注意：创建作业时，在作业编辑界面的“运行参数”处，“Flink版本”选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。如下脚本中的加粗参数请根据实际环境修改。 CREATE TABLE kafkaSource (
登录DLI管理控制台，在左侧导航栏单击“跨源管理”，在跨源管理界面，单击“增强型跨源”，单击“创建”。 在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。 弹性资源池：选择DLI的队列。（未添加至资源池的队列，请直接选择队列名称。） 虚拟私有云：选择步骤1：获取外部数据
连接，请指定为集群“内网访问地址”或“内网访问域名”。如果通过弹性负载均衡连接，请指定为“弹性负载均衡地址”。 dbadmin：创建集群时设置的默认管理员用户名。 password ：默认管理员用户的密码。 在命令行窗口输入以下命令创建数据库“testdwsdb”。 CREATE
IntegerType, StringType, Row from pyspark.sql import SparkSession 创建会话并设置AK/SK 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 1
创建Flink OpenSource SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.15”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。 语法格式 1 2 3 4 5 6 7 8 9 create table printSink
登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 DLI Flink jar作业编辑界面设置作业参数。 类名 com.dli.demo.dew.DataGen2FileSystemSink 参数 --checkpoint.path
从DLI导入数据到OBS，数据量不一致怎么办？ 问题现象 使用DLI插入数据到OBS临时表文件，数据量有差异。 根因分析 出现该问题可能原因如下： 作业执行过程中，读取数据量错误。 验证数据量的方式不正确。 通常在执行插入数据操作后，如需确认插入数据量是否正确，建议通过查询语句进行查询。
图1 DLI计算资源模式 弹性资源池模式：计算资源的池化管理模式，提供计算资源的动态扩缩容能力，同一弹性资源池中的队列共享计算资源。通过合理设置队列的计算资源分配策略，可以提高计算资源利用率，应对业务高峰期的资源需求。 适用场景：适合业务量有明显波动的场合，如周期性的数据批处理任务或实时数据处理需求。
单引号（''）包围起来。 partition_specs 分区信息，key=value形式，key为分区字段，value为分区值。若分区字段为多个字段，可以不包含所有的字段，会删除匹配上的所有分区。“partition_specs”中的参数默认带有“( )”，例如：PARTITION
conf文件。 创建MRS HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。以样例代码为例，具体的流程是： 远程登录ECS，通过hbase shell命令查看表信息。其中，“hbtest”是要查询的表名。 describe 'hbtest' （可选）如果不存在
单引号（''）包围起来。 partition_specs 分区信息，key=value形式，key为分区字段，value为分区值。若分区字段为多个字段，可以不包含所有的字段，会删除匹配上的所有分区。“partition_specs”中的参数默认带有“( )”，例如：PARTITION
登录DLI管理控制台，在左侧导航栏单击“跨源管理”，在跨源管理界面，单击“增强型跨源”，单击“创建”。 在增强型跨源创建界面，配置具体的跨源连接参数。具体参考如下。 连接名称：设置具体的增强型跨源名称。本示例输入为：dli_kafka。 弹性资源池：选择步骤1：创建队列中已经创建的队列名称。（未添加至资源池的队列，请直接选择队列名称。）
户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
