检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
environmentVariable importEnvParams 更新空间配置项 workspaceConfig updateWorkSpaceConfigs 上传文件 file uploadFile 配置空间委托 agency saveAgency 保存敏感变量 sensitiveParam saveSensitiveParam
行存储到硬盘分区上。 DWS_COLUMN：列存表。列存储是指将表按列存储到硬盘分区上。 DWS_VIEW：视图存表。视图存储是指将表按视图存储到硬盘分区上。 MRS_HIVE模型支持HIVE_TABLE和HIVE_EXTERNAL_TABLE。 MRS_SPARK模型支持HUDI_COW和HUDI_MOR。
管理工作空间 创建并管理工作空间 设置工作空间配额 （可选）修改作业日志存储路径
行存储到硬盘分区上。 DWS_COLUMN：列存表。列存储是指将表按列存储到硬盘分区上。 DWS_VIEW：视图存表。视图存储是指将表按视图存储到硬盘分区上。 MRS_HIVE模型支持HIVE_TABLE和HIVE_EXTERNAL_TABLE。 MRS_SPARK模型支持HUDI_COW和HUDI_MOR。
创建并配置简单模式工作空间 创建简单模式工作空间 设置工作空间配额 （可选）修改作业日志存储路径 父主题： 购买并配置DataArts Studio
源端作业参数说明 源端为关系数据库 源端为对象存储 源端为HDFS 源端为Hive 源端为HBase/CloudTable 源端为FTP/SFTP 源端为HTTP/HTTPS 源端为MongoDB/DDS 源端为Redis 源端为DIS 源端为Kafka 源端为Elasticsearch/云搜索服务
选择敏感数据所在的数据库。 *数据表 选择敏感数据所在的数据表。 单击“确定”，完成动态水印策略创建。 相关操作 水印提取：获得从数据开发下载的动态水印CSV数据文件后，参考水印提取进行水印溯源。 配置策略：在动态水印页面，单击对应任务操作栏中的“配置”，即可配置动态水印策略。 编辑策略状态：新增的水印
管理 > 配置”。 单击“环境变量”，在“环境变量配置”页面，选择“导入”。 在导入环境变量对话框中，选择已上传至OBS或者本地的环境变量文件，以及重命名策略。 图1 导入环境变量 导出环境变量 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。
说明： 作业级委托优先于工作空间级委托。 日志路径 选择作业日志的OBS存储路径。日志默认存储在以dlf-log-{Projectid}命名的桶中。 说明： 若您想自定义存储路径，请参见（可选）修改作业日志存储路径选择您已在OBS服务侧创建的桶。 请确保您已具备该参数所指定的OBS
更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 单击“添加文件”，选择编辑完成的导入模板。 单击“上传文件”，上传完成后，自动跳转到“上次导入”页签，查看已导入的数据。 单击“关闭”。 导出 可通过导出的方式将衍生指标导出到本地。
约束冲突处理配置为"insert into"，默认使用IGNORE，与唯一键值上的现有行重复的新行将被丢弃，任务不会终止。因为Mysql服务机制无法在操作过程中停止文件传输，此情况下，CDM界面显示写入记录与实际更新行数会不一致。 Mysql Local模式详情请参见：https://dev.mysql.com/doc/refman/8
限。 技术资产数量增量包： 不同版本的DataArts Studio实例，提供了不同的技术资产数量规格限制。该规格是以数据目录中表和OBS文件的数量计算的，您可以在新商业模式的DataArts Studio实例卡片上通过“更多 > 配额使用量”查看使用量。当您的技术资产数量接近或
更新：当数据重复时 系统中的原有数据为草稿状态，则会覆盖生成新的草稿数据。 系统中的原有数据为发布状态，则会生成下展数据。 单击“添加文件”，选择编辑完成的导入模板。 单击“上传文件”，上传完成后，自动跳转到“上次导入”页签，查看已导入的数据。 单击“关闭”退出该页面。 导入LDM 导入LDM模型
二进制）写入HBase，其他类型的按字符串写入。如果这几种类型中，有合并做rowkey的，就依然当字符串写入。 该功能作用是：降低存储占用空间，存储更高效；特定场景下rowkey分布更均匀。 false：源端数据库中所有类型的数据，都会按照字符串写入HBase。 父主题： 目的端作业参数说明
获取Spark作业的演示JAR包，并在数据开发模块中关联到此JAR包。 创建数据开发模块作业，通过DLI Spark节点提交Spark作业。 环境准备 已开通对象存储服务OBS，并创建桶，例如“obs://dlfexample”，用于存放Spark作业的JAR包。 已开通数据湖探索服务DLI，并创建Sp
获取CDM作业的JSON 修改JSON 创建DLF作业 获取CDM作业的JSON 进入CDM主界面，创建一个DWS到OBS的表/文件迁移作业。 在CDM“作业管理”界面的“表/文件迁移”页签下，找到已创建的作业，单击作业操作列的“更多 > 查看作业JSON”，如图1所示。 您也可以使用其它已创建好的CDM作业JSON。
单击“全量导出”，进入到“导出全量数据”页面，单击“确认”。导出完成后，请到下载中心查看导出的内容。 如果没有配置默认存储路径，单击“批量导出”后，配置存储路径，可以将该存储路径设为OBS默认地址。 当前导出数据量最大为30M，超过30M系统会自动截断。 导出的作业实例与作业节点存在对
uris配置项。例如：thrift://host-192-168-1-212:9083 IP与主机名映射 否 使用集群配置为否时，是必选项。 如果Hadoop配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。 KMS密钥 否 使用集群配置为是时，是必选项。
如表1所示。 表1 参数说明 参数名称 参数解释 APP secret 签名密钥，认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全。 string to sign 创建的待签字符串 假设APP secret为
二进制）写入HBase，其他类型的按字符串写入。如果这几种类型中，有合并做rowkey的，则依然当字符串写入。 该功能作用是：降低存储占用空间，存储更高效；特定场景下rowkey分布更均匀。 否：源端数据库中所有类型的数据，都会按照字符串写入HBase。 否 父主题： 配置CDM作业目的端参数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
