检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
连接参数说明 关系数据库连接 OBS连接 HDFS连接 HBase连接 CloudTable连接 Hive连接 FTP/SFTP连接 MongoDB连接 Redis连接 Kafka连接 DIS连接 Elasticsearch/云搜索服务(CSS)连接 DLI连接 DMS Kafka连接
environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"]
层级（例如数据库、数据表或数据列）不允许选择多个对象进行批量授权。当前权限类型暂不支持选择为“禁止”。 值得注意的是，库、表、列的权限是分层管理的，例如仅授予库权限后，则被授权用户对表和列依然是无权限的，如需对表或列授权，要再次按照对应层级进行授权。 例如，选择数据库授权，当手动
16", "databases" : [ { "database_name" : "dlcatalog_2fe5", "description" : null }, { "database_name" : "dlcatalog_3e24",
行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据集成配置 域名 是 表示通过内部网络访问集群数据库的访问地址，可填写域名。内网访问域名地址在创建集群时自动生成，您可以通过管理控制台获取访问地址： 根据注册的账号登录DWS云服务管理控制台。
脚本保存后，在右侧的版本里面，会自动生成一个保存版本，支持版本回滚。保存版本时，一分钟内多次保存只记录一次版本。对于中间数据比较重要时，可以通过“新增版本”按钮手动增加保存版本。 父主题： 开发脚本
定义识别规则 您可以通过定义敏感数据识别规则，来有效识别数据库内的敏感数据字段。 值得注意的是，数据密级、数据分类和识别规则，均为DataArts Studio实例级别配置，各工作空间之间数据互通。这样在数据地图组件中，就可以根据一套标准的分级分类管理对数据进行统一管理。 识别规
参数名 说明 取值样例 基本参数 索引 Elasticsearch的索引，类似关系数据库中的数据库名称。索引名称只能全部小写，不能有大写。 index 类型 Elasticsearch的类型，类似关系数据库中的表名称。类型名称只能全部小写，不能有大写。 说明： Elasticsearch搜索引擎7
完成之后，就可以到CDM控制台，通过Internet迁移公网的数据上云了。例如：迁移本地数据中心FTP服务器上的文件到OBS、迁移第三方云上关系型数据库到云服务RDS。 父主题： 数据集成
生指标页面。 在左侧的主题目录中选中一个主题，然后单击“新建”按钮，开始新建衍生指标。 在新建衍生指标页面，根据页面提示配置参数。 图1 新建衍生指标 表1 新建衍生指标参数说明 参数名称 说明 *数据表 在下拉列表中选择即可。 *所属主题 显示所属的主题信息。 *原子指标 选择原子指标。
"from-link-name" : "css" } ] } 响应示例 状态码： 200 OK。 { "name" : "mysql2hive" } 状态码： 400 请求报错。 { "code" : "Cdm.0104", "errCode" : "Cdm.0104"
查看权限报告 通过全面的权限报告，查看资源配置权限策略及其详情。 数据权限管控说明 当前数据权限管控为白名单机制，是在待授权用户原有权限的基础上增加允许操作条件，不会影响用户的原有权限。如果仅需要当前数据权限管控所赋予的权限生效，则需要您手动去除待授权用户的原有权限。默认情况下，DataArts
0表示男 1表示女 2表示保密 rank Int 用户等级 有顺序的级别枚举，越高级别数字越大 register_time string 用户注册日期 单位：天 product_data.csv： product_id,a1,a2,a3,category,brand 200001,1,1
CDM的作业数据量太多，会造成数据库压力，建议定时清理不需要的作业。 短时间内下发大量作业，可能会导致集群资源耗尽异常等，您调用API时需要注意。 CDM是批量离线迁移工具，不建议客户创建大量小作业场景。 其他组件API更详细的限制请参见具体API的说明。 父主题： 使用前必读
配置LTS源端参数 表1 LTS作为源端时的作业参数 参数名 说明 取值样例 源连接名称 对应关系数据库的表名。 TABLENAME 单次查询数据条数 一次从日志服务查询的数据条数。 128 日志分组 日志组是云日志服务进行日志管理的基本单位。 _ 日志流 日志流是日志读写的基本单位。
字段血缘列表，列表大小：0至100 表5 TableInfoV2 参数 是否必选 参数类型 描述 catalog 否 String 目录名称 database 否 String 数据库名称 schema 否 String 逻辑库名称 table 否 String 表名称 表6 ColumnLineageV2
Ranger数据连接参数说明 MRS Presto数据连接参数说明 Doris数据连接参数说明 OpenSource ClickHouse数据连接参数说明 RDS数据连接参数说明 ORACLE数据连接参数说明 DIS数据连接参数说明 主机连接参数说明 OBS数据连接参数说明 Apache HDFS数据连接参数说明
符串写入。 该功能作用是：降低存储占用空间，存储更高效；特定场景下rowkey分布更均匀。 false：源端数据库中所有类型的数据，都会按照字符串写入HBase。 父主题： 目的端作业参数说明
示例场景说明 本实践通过DataArts Studio服务的数据集成CDM组件、数据开发DLF组件和数据仓库服务（DWS）对电影评分原始数据进行分析，输出评分最高和最活跃Top10电影。您可以学习到数据集成模块的数据迁移和数据开发模块的脚本开发、作业开发、作业调度等功能，以及DWS
新建脚本 数据开发模块的脚本开发功能支持新建、编辑、调试、执行各类SQL、Python和shell脚本，开发脚本前请先新建脚本。 前提条件 已完成新建数据连接和新建数据库等操作。 脚本在每个工作空间的最大配额为10000，脚本目录最多5000个，目录层级最多为10层。请确保当前数量未达到最大配额。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
