检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
表4 FilterCriteria 参数 是否必选 参数类型 描述 name 是 String 当前可选值：database。 value 是 String database的名称。 operator 是 String 操作标识。 表5 TimeRange 参数 是否必选 参数类型
引用脚本模板和参数模板的使用介绍 使用场景 该功能适用于以下场景： Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
作业数据输入总数 展示用户Flink作业的数据输入总数，供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业数据输出总数 展示用户Flink作业的数据输出总数，供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业字节输入速率 展示用户Flink作业每秒输入的字节数
SQL作业。 图2 创建Spark SQL单任务作业 配置与Hudi相对应的Spark数据连接，并选中需要操作Hudi表对应的数据库。 图3 配置连接与数据库 根据实际情况配置compaction的调度周期。 图4 配置调度周期 填写Spark SQL的compaction语句，提交并运行作业。
port=21050, auth_mechanism='GSSAPI', kerberos_service_name='impala',database='default') cursor = conn.cursor() cursor.execute("show databases;")
据源为DLI时无需填写。 datasource_type 是 String 数据源类型 HIVE数据源 DWS数据源 DLI数据源 database_name 否 String 数据库名 注意：该值作为查询关键字时，不能与url同时存在，需要指定其一进行查询。 schema_name
脚本及作业中引用参数使用介绍 该章节介绍如何在脚本及作业中引用参数，以及引用后的生效范围、是否支持EL表达式和简易变量集等，让您更加清晰地了解工作空间级和脚本、作业级配置参数的使用方法。 工作空间环境变量参数、作业参数、脚本参数均可以配置参数，但作用范围不同；另外如果工作空间环境
Apache集群：Apache HDFS，Apache HBase，Apache Hive。 操作场景 当需要新建Hadoop类型连接时，建议先创建集群配置，以简化复杂的连接参数配置。 前提条件 已创建集群。 已参见表1获取相应Hadoop集群配置文件和Keytab文件。 获取集群配置文件和Keytab文件
Integer 每页大小。 offset Integer 页码。 count Integer 查询出来的条数。 quota Integer 可创建标签数量配额额。 tags Array of OpenTag objects 标签实体。 total Integer 已创建的标签总条数。 表5 OpenTag
permission_set_id 是 String 权限集id。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页显示的条目数量。 offset 否 Integer 偏移量，表示从此偏移量开始查询，该值大于等于0。 member_name 否 String 成员名称。
配置权限详见配置权限集或配置角色。 DWS联通性测试前，已完成用户同步，然后将当前登录账号切换为IAM子用户账号，且至少具有DWS Database Access权限。 已经为MRS Hive连接和MRS SPARK连接中的用户配置了代理权限，请参考参考：为MRS数据连接用户配置代理权限进行配置。
配置ClickHouse目的端参数 表1 ClickHouse作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
管理中心 DataArts Studio支持连接哪些数据源？ 创建数据连接需要注意哪些事项？ DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？ 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？ DWS数据连接开启SSL时测试连接失败怎么办？
\nPRIMARY KEY(class_id)\n);\nALTER TABLE ${database}.pd_test COMMENT '无';\nCREATE TABLE IF NOT EXISTS ${database}.logic_{}$A_2 (\n id VARCHAR(255)
"input_tables" : [ { "database" : "wk", "schema" : null, "table" : "wk_shuju1" } ], "output_tables" : [ { "database" : "wk", "schema"
BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.maxPollRecords 否 String 每次向Kafka请求数据限制最大请求记录数。 fromJobConfig.maxPollInterval 否 String
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
在模板的“表模型”Sheet页中，所需填写的参数，说明如下： 表6 表模型Sheet页参数说明 参数名 参数说明（导入DLI/POSTGRESQL/DWS/MRS_HIVE类型的表） 所属主题 需填写已有的主题的编码路径，以/分隔。如果您未新建主题信息，请参见主题设计进行新建。
批量导出作业 功能介绍 此接口可以批量导出DLF作业定义，包括作业依赖的脚本和CDM作业定义。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。 URI URI格式 POST /v1/{project_id}/jobs/batch-export 参数说明 表1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
