检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ssDB）、消息队列（DMS）、数据仓库（DWS）、对象存储（OBS） 相比开源connector有较多易用性和稳定性提升。 仅提供开源connector。 开发与运维 监控、告警 支持对接华为云CES监控平台，支持对接华为云SMN告警系统，用户可通过邮件、短信、电话、第三方办公工具（webhook模式）
据倾斜、网络问题或任务过多导致的。 解决方案： 设置并发数：通过设置合适的并发数，可以启动多任务并行运行，从而提高作业的处理能力。 例如访问DWS大批量数据库数据时设置并发数，启动多任务的方式运行，避免作业运行超时。 具体并发设置可以参考对接DWS样例代码中的partitionC
与其他云服务的关系 与对象存储服务（OBS）的关系 对象存储服务（Object Storage Service）作为DLI的数据来源及数据存储，与DLI配合一起使用，关系有如下四种。 数据来源：使用DLI服务提供API，将OBS对应路径的数据导入到DLI。 具体API请参考《导入数据》。
DLI使用IAM进行精细的企业级多租户管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全地控制华为云资源的访问。 通过IAM，您可以在华为云账号中给员工创建IAM用户，并使用策略来控制他们对华为云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有DLI的使用权限，但是不
SQL读取Hudi表数据。 更多具体使用可参考开源社区文档：Hudi。 注意事项 建议Hudi作为Source表时设置限流 Hudi表作为Source表时，为防止数据上限超过流量峰值导致作业出现异常，建议设置限流（read.rate.limit），限流上限应该为业务上线压测的峰值。 及时对Hudi表进行Compaction，防止Hudi
关联OBS桶中嵌套的JSON格式数据如何创建表 如果需要关联OBS桶中嵌套的JSON格式数据，可以使用异步模式创建表。 以下是一个示例的建表语句，展示了如何使用 JSON 格式选项来指定 OBS 中的路径： create table tb1 using json options(path
句和参数设置信息，如果是 jar作业只可以看到参数设置信息。 在DLI管理控制台的左侧导航栏中，单击“作业管理”>“Flink作业”，进入Flink作业管理页面。 单击需要查看的作业名称，进入“作业详情”页面。 在“作业详情”页签，用户可以查看作业的SQL语句、参数设置信息和总费用。
COMMENT 语法 COMMENT ON TABLE name IS 'comments' 描述 设置表的注释信息，可以通过设置注释信息为NULL来删除注释。 示例 修改表users的注释为“master table”，表的注释语句可以通过show create table tablename语句查看：
怎样查看套餐包资源的使用情况？ 购买套餐包后，随着套餐包的使用您可以随时查看套餐包使用情况，了解套餐包详情。 操作步骤 登录华为云费用中心。 选择“资源包”。在“资源包列表”页签中单击目标资源包名称/ID，查看套餐包的详细信息。 图1 查看套餐包资源使用情况 父主题： 计费相关问题
Resource由<服务名:region:domainId:资源类型:资源路径>5个字段组成，通配符号*表示所有资源。5个字段可以灵活设置，资源路径可以按照场景需要，设置不同级别的权限控制。当需要设置该服务下的所有资源时，可以不指定该字段。Resource定义请参考表3。Resource中的资源类型和资源路径请参考表4。
按需计费DLI资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 处理欠费 欠费后需要及时充值，详细操作请参见账户充值。 若DLI的队列、弹性资源池等资源不再使用，您可以将他们删除，以免继续扣费。 您可以在“费用中心 > 总览”页面设置“可用额度预警”功能，当可用
DLI Spark 2.3.2版本停止服务（EOS）公告 公告说明 华为云计划于2023年12月31 00:00（北京时间）将Spark 2.3.2版本停止服务（EOS）。 影响 DLI Spark 2.3.2版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您
DLI Spark 3.1.1版本停止服务（EOS）公告 公告说明 华为云计划于2024年12月31 00:00（北京时间）将Spark 3.1.1版本停止服务（EOS）。 影响 DLI Spark 3.1.1版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您
内容也将作为该分区的记录。 您需要保证该分区目录下所有文件类型和文件内容与表的字段一致，否则查询将报错。 您可以在建表语句OPTIONS中设置“multiLevelDirEnable”为true以查询子目录下的内容，此参数默认值为false（注意，此配置项为表属性，请谨慎配置。Hive表不支持此配置项)。
在提交导入作业前，可选择通过data_type参数设置导入数据的类型，例如将data_type设置为csv。csv数据的具体格式通可过options参数设置，例如：csv的分隔符，转义符等。 当OBS桶目录下有文件夹和文件同名时，加载数据会优先指向该路径下的文件而非文件夹。建议创建OBS对象时，在同一级中不要出现同名的文件和文件夹。
Opensource SQL使用DEW管理访问凭据 操作场景 DLI将Flink作业的输出数据写入到Mysql或DWS时，需要在connector中设置账号、密码等属性。但是账号密码等信息属于高度敏感数据，需要做加密处理，以保障用户的数据隐私安全。 数据加密服务（Data Encryption
该参数用于配置服务器端是否使用加密来与客户端通信。当设置为true时，服务器将要求所有客户端使用加密连接，这可以提高通信的安全性。 true spark.authenticate 该参数用于配置是否对Spark应用程序的组件进行身份验证。启用身份验证可以防止未授权的访问。这个参数可以设置为true来启用身份验证。
入DLI或OBS中。 当前接口已废弃，不推荐使用。 该API为异步操作。 导入数据时，可选择已存在的OBS桶路径或新建OBS桶路径，但只能指定一个OBS桶路径。 若需新建OBS桶，需遵守以下命名规则： 需全局唯一，不能与已有的任何桶名称重复。 长度范围为3到63个字符，支持小写字母、数字、中划线（-）、英文句号（
设置是否将作业运行时的日志信息保存到OBS。 勾选后需配置下列参数： “OBS桶”：选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 作业异常告警 否 设置是否将作业异常告警信息，如作业出现运行异常或者欠费情况，以SMN的方式通知用户。 勾选后需配置下列参数： “SMN主题”：
总览”的“欠费金额”查看，华为云将在您充值时自动扣取欠费金额。 如果您在宽限期内仍未支付欠款，那么就会进入保留期，资源状态变为“已冻结”，您将无法对处于保留期的按需计费资源执行任何操作。 保留期到期后，若您仍未支付账户欠款，那么资源将被释放，数据无法恢复。 华为云根据客户等级定义了不同客户的宽限期和保留期时长。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
