检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据开发调用数据质量算子并且作业运行的时候需要传入质量参数 由于数据质量作业在执行SQL语句时不支持传参，通过数据开发调用数据质量算子，运行的时候可以把数据质量作业的参数传递给数据质量算子作业，实现数据质量的参数传递。 使用场景 数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。
新建衍生指标 衍生指标是原子指标通过添加限定、维度卷积而成，限定、维度均来源于原子指标中的属性。发布衍生指标时，会自动生成一张汇总表，可在“汇总表-自动汇聚”下查看。 衍生指标=原子指标+统计维度+时间限定+通用限定。 原子指标：明确统计口径，即计算逻辑。 统计维度：用于观察和分
否：关闭时能提升写入性能，但如果HBase服务器宕机可能会造成数据丢失。 toJobConfig.transType 否 Boolean true：源端数据库中的Short、Int、Long、Float、Double、Decimal类型列的数据，会转换为Byte[]数组（二进制）写入HBase，
问DataArts Studio。 各组件API的流量限制请参见API概览。 数据集成API的约束如下： CDM的作业数据量太多，会造成数据库压力，建议定时清理不需要的作业。 短时间内下发大量作业，可能会导致集群资源耗尽异常等，您调用API时需要注意。 CDM是批量离线迁移工具，不建议客户创建大量小作业场景。
、数据目录等无法使用此连接。 在数据开发组件不支持通过可视化方式查看与管理该连接下的数据库、数据表和字段。特别的，仅当连接MRS 3.2.1以及之后版本的MRS集群时，支持通过可视化方式查看数据库、数据表和字段，但仍不支持可视化方式管理。 在数据开发组件的SQL编辑器运行SQL时，只能以日志形式显示执行结果。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
nternet访问CDM实例的操作系统。 密钥加密：用户在CDM上创建连接输入的各种数据源的密钥，CDM均采用高强度加密算法保存在CDM数据库。 无中间存储：数据在迁移的过程中，CDM只处理数据映射和转换，而不会存储任何用户数据或片段。 父主题： 数据集成（CDM作业）
SQL运行完以后，在执行结果中查看运行日志，增加一键跳转MRS Yarn查看日志的链接。 企业模式下，开发作业时，单击页面上方的“前往发布”跳转到任务发布页面。 支持对“已提交”、“未提交”、“已调度”和“未调度”的作业进行筛选。同时未提交的作业通过红色进行标识，未调度的作业通过黄色进行标识。 单任务作业支
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
权限来源。 datasource_type String 数据源类型。 cluster_name String 集群名称。 database String 数据库名。 schema String schema名。 table String 表名。 remark String 备注。 状态码：
linkConfig.password 是 String 连接Redis服务器的密码。 linkConfig.dbIndex 是 String Redis数据库索引。 父主题： 连接参数说明
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
集和角色）或权限申请和审批流程所获取的权限。 约束与限制 查看用户权限时，不展示其继承自用户组的权限。 当前暂不支持在成员权限视图页面直接对权限进行配置、回收。 查看数据访问日志 在DataArts Studio控制台首页，选择对应工作空间的“数据安全”模块，进入数据安全页面。
完成之后，就可以到CDM控制台，通过Internet迁移公网的数据上云了。例如：迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题： 数据集成（CDM作业）
消费Kafka时服务器将返回的每个分区的最大字节数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 properties.max.poll.records int 500 消费者每次poll时返回的最大消息条数。Kafka单条消息大的场景，可以适当调高每次获取的数据量，以提高性能。 目的端优化
支持通过宏定义变量表示符“${}”来完成时间类型的宏定义，当前支持两种类型：dateformat和timestamp。 通过时间宏变量+定时执行作业，可以实现数据库增量同步和文件增量同步。 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“
批量解锁 数据开发模块提供了批量解锁作业的功能，您可参照本节内容对锁定的作业进行批量解锁。 操作步骤 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
