检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
OBS计费说明 OBS服务支持按需和包周期计费，套餐包暂不支持退订。本例中使用按需计费，完成后删除新建的存储桶即可；另外，DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，在退订DataArts Studio后可以一并删除。
配置权限详见配置权限集或配置角色。 DWS联通性测试前，已完成用户同步，然后将当前登录账号切换为IAM子用户账号，且至少具有DWS Database Access权限。 已经为MRS Hive连接和MRS SPARK连接中的用户配置了代理权限，请参考参考：为MRS数据连接用户配置代理权限进行配置。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
管理中心 DataArts Studio支持连接哪些数据源？ 创建数据连接需要注意哪些事项？ DWS/Hive/HBase数据连接无法获取数据库或表的信息怎么办？ 为什么在创建数据连接的界面上MRS Hive/HBase集群不显示？ DWS数据连接开启SSL时测试连接失败怎么办？
DM集群可以提供通信代理服务，请选择一个CDM集群，如果没有可用的CDM集群，请参考创建CDM集群进行创建。 数据集成配置 数据库名称 是 要连接的数据库。 直连模式 否 是否直连，适用于主节点网络通，副本节点网络不通场景。 属性配置 否 自定义连接属性，当前支持socketTi
作业数据输入总数 展示用户Flink作业的数据输入总数，供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业数据输出总数 展示用户Flink作业的数据输出总数，供监控和调试使用 ≥ records 实时处理集成作业 1分钟 作业字节输入速率 展示用户Flink作业每秒输入的字节数
数据进行转换过程中，替换内容包含特殊字符时，需要先使用\将该字符转义成普通字符。 表达式支持以下两个环境变量： value：当前字段值。 row：当前行，数组类型。 表达式支持的工具类用法罗列如下，未列出即表示不支持： 如果当前字段为字符串类型，将字符串全部转换为小写，例如将“aBC”转换为“abc”。
BINARY：适用于文件迁移场景，不解析数据内容原样传输。 CSV：以CSV格式解析源数据。 fromJobConfig.maxPollRecords 否 String 每次向Kafka请求数据限制最大请求记录数。 fromJobConfig.maxPollInterval 否 String
问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下： CDM的作业数据量太多，会造成数据库压力，建议定时清理不需要的作业。 短时间内下发大量作业，可能会导致集群资源耗尽异常等，您调用API时需要注意。 CDM是批量离线迁移工具，不建议客户创建大量小作业场景。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
配置GBase目的端参数 表1 GBase作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 SCHEMA_EXAMPLE 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
配置Oracle目的端参数 表1 Oracle作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。单击输入框后面的按钮可选择模式或表空间。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
配置DWS目的端参数 表1 DWS作为目的端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 待写入数据的数据库名称，支持自动创建Schema。 单击输入框后面的按钮可选择模式或表空间。 整库迁移时无该参数。 schema 表名 写入数据的目标表名，单击输入框后面的按钮可进入表的选择界面。
mycloud.com 端口 数据传输协议端口，https是443，http是80。 443 OBS桶类型 用户下拉选择即可，一般选择为“对象存储”。 对象存储 访问标识(AK) AK和SK分别为登录OBS服务器的访问标识与密钥。 您需要先创建当前账号的访问密钥，并获得对应的AK和SK。 您可以通过如下方式获取访问密钥。
linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String Redis数据库索引。 父主题： 连接参数说明
全，进一步提升企业数据安全能力，增强数据安全意识，挖掘数据价值，培育数据要素市场。 DSMM标准以组织的数据为中心，围绕数据的采集、传输、存储、处理、交换、销毁全生命周期，从组织建设、制度流程、技术工具、人员能力4个能力维度，按照1-5级成熟度，评价组织的数据安全能力。 图1 数据安全能力成熟度模型
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
