检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Studio工作空间。 约束与限制 由于鉴权缓存机制的限制，工作空间成员的角色发生变更后，不会直接生效。需要在工作空间成员暂停访问DataArts Studio控制台并等待6分钟后，才能使角色变更生效。 前提条件 修改工作空间的用户账号，需要满足如下任一条件： DAYU Administrator或Tenant
自动增加脚本参数DATE，脚本参数DATE的值支持使用EL表达式。如果是变量时间的话，需要使用DateUtil内嵌对象的表达式，平台会自动转换成历史日期。EL表达式用法可参考EL表达式。 补数据作业除了支持作业参数，脚本参数或者全局环境变量也支持。 约束条件 只有数据开发作业配置了周期调度，才支持使用补数据功能。
自动增加脚本参数DATE，脚本参数DATE的值支持使用EL表达式。如果是变量时间的话，需要使用DateUtil内嵌对象的表达式，平台会自动转换成历史日期。EL表达式用法可参考EL表达式。 补数据作业除了支持作业参数，脚本参数或者全局环境变量也支持。 约束条件 只有数据开发作业配置了周期调度，才支持使用补数据功能。
${dateformat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,DAY)}")}}，表示查找ts字段中大于时间宏转换后的值，即只导出昨天以后的数据。 参数配置后，CDM就只导出前一天内的数据，再将该作业配置为每天0点执行一次，就可以增量同步每天新生成的数据。
在详情页面，选择“日志信息”，在左侧日志列表中单击具体日志文件，即可实时查看作业的运行日志。 图1 日志信息1 图2 日志信息2 支持作业日志主题更换。 作业日志默认实时滚动更新，可在右上角去掉勾选“日志滚动”选项。 支持下载日志到本地，可单击右上角文件下载按钮进行下载。 父主题： 实时集成任务运维
区域项目中都生效；如果选择“指定区域项目资源”，则该权限仅对此项目生效。IAM用户授权完成后，访问DataArts Studio时，需要先切换至授权区域。 创建用户并加入用户组。 在IAM控制台创建用户，并将其加入步骤1中创建的用户组。 创建用户并加入用户组的具体操作，请参见创建用户并加入用户组。
Studio工作空间。 约束与限制 由于鉴权缓存机制的限制，工作空间成员的角色发生变更后，不会直接生效。需要在工作空间成员暂停访问DataArts Studio控制台并等待6分钟后，才能使角色变更生效。 前提条件 修改工作空间的用户账号，需要满足如下任一条件： DAYU Administrator或Tenant
值为空串的非空列。 解决方案 1. 修改源端DDL语句，新增列的默认值设置为非空字符串。 2. 如果无法修改DDL，则需要将DWS的数据库更换为mysql兼容模式，建库语句如：create database bigdata with encoding 'UTF-8' dbcompatibility
使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样，查询结果存到数据库是以YYYY-MM-DD格式，而页面显示查询结果是经过转换后的格式。 当前用户提交Spark SQL脚本到MRS时，默认提交至其绑定的租户队列（绑定队列即用户绑定的租户类型角色所对应的队列）中运行
Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 在数据开发主界面的左侧导航栏，选择开发环境，选择“数据开发 > 任务发布”。 在任务发布界面，切换到“发布包管理”，您可以看到开发者提交的待审批任务。您可以通过“查看详情”操作，查看当前任务相比上一版本的修改点。 如有问题，可以通过“撤
是否写WAL，不写WAL能提升性能，但如果HBase服务宕机可能会造成数据丢失。 是 匹配数据类型 是否匹配类型，例如数据库的int类型列数据按照int类型转换为二进制写入HBase。 否 父主题： 配置作业目的端参数
数据开发是编排、调度和运维的中心，数据开发是一个提供分析、设计、实施、部署及维护一站式数据解决方案，完成数据加工、转换和质量提升等。数据开发屏蔽了各种数据存储的差异，一站式满足从数据集成、数据清洗/转换、数据质量监控等全流程的数据处理，是数据治理实施的主战场。 数据质量 数据质量管理的目标在于保证
{dateformat(yyyy-MM-dd'T'HH:mm:ss.SSS'Z',-1,HOUR)}")}}，表示查找ts字段中大于时间宏转换后的值。 {'last_name': 'Smith'} 父主题： 配置CDM作业源端参数
数据安全”模块，进入数据安全页面。 单击左侧导航树中的“表权限视图”，进入表权限视图页面。 图1 表权限视图 在表权限视图页面，您可以通过切换页签，查看表权限的不同拥有对象： “表-用户”页签：默认展示当前实例下，通过授权对象为用户的权限申请和审批流程所获取的表权限。支持筛选不同
图1 选择并导出脚本 在弹出的“导出脚本”界面，选择需要导出的脚本的状态，单击“确定”。 图2 导出脚本 导出作业 单击脚本目录树上方的，切换到作业界面。 单击作业目录中的，选择“显示复选框”。 勾选需要导出的作业，单击 > 导出作业，可选择“只导出作业”或“导出作业及其依赖脚本
le、DIS、ECS），DataArts Studio通过管理中心的创建数据连接区分开发环境和生产环境的数据湖服务，在开发和生产流程中自动切换对应的数据湖。因此您需要准备两套数据湖服务（即两个集群），且两套数据湖服务的版本、规格、组件、区域、VPC、子网以及相关配置等信息，均应保持一致。
区域项目中都生效；如果选择“指定区域项目资源”，则该权限仅对此项目生效。IAM用户授权完成后，访问DataArts Studio时，需要先切换至授权区域。 创建用户并加入用户组。 在IAM控制台创建用户，并将其加入步骤1中创建的用户组。 创建用户并加入用户组的具体操作，请参见创建用户并加入用户组。
列的分类信息支持在新建采集任务时自动设置和在数据分类菜单中手动添加两种方式。其中仅DWS、DLI支持新建采集任务时自动设置分类。 在“变更记录”页签，查看数据表变更详情。 父主题： 查看工作空间数据地图
则此条数据为脏数据。 因此只要是写入失败的数据均被归类于脏数据。 例如，源端是VARCHAR类型的数据写到INT类型的目标列中，则会因为转换不合理导致脏数据不会成功写入目的端。用户可以在同步任务配置时，配置同步过程中是否写入脏数据，配置脏数据条数（单个分片的最大错误记录数）保证
使用SQL语句获取的系统日期和通过数据库工具获取的系统日期是不一样，查询结果存到数据库是以YYYY-MM-DD格式，而页面显示查询结果是经过转换后的格式。 Flink SQL作业支持语法检查。在编辑器上方，单击“语法检查”，可以对SQL语句进行语义校验。SQL语句校验完成后，可以在下方查看语法校验结果。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
