检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL和Spark SQL脚本执行失败,界面只显示执行失败,没有显示具体的错误原因? 数据开发节点运行中报TOKEN不合法? 作业开发时,测试运行后如何查看运行日志? 月周期的作业依赖天周期的作业,为什么天周期作业还未跑完,月周期的作业已经开始运行? 执行DLI脚本,报Invalid authentication怎么办?
在脚本目录中,双击脚本名称,进入脚本开发页面。 在页面右侧单击“版本”,查看版本提交记录,勾选需要对比的版本,单击“版本对比”。 图3 对比版本 单击“版本对比”后,将会打开新窗口,左右两边分别展示出不同版本的脚本内容。两个版本的不同之处将会被标识出来以便用户查看,右上角有上一个不同和下一个不同两个按钮,可以直接跳到上一个或者下一个修改的地方。
时,可以在勾选策略后,在列表上方单击“删除”。 删除操作无法撤销,请谨慎操作。 查看策略详情:在hetu权限同步页面,找到需要查看的策略,单击对应任务操作栏中的“详情”,即可查看策略详情。 图3 查看策略详情 父主题: 数据权限访问控制
D对应当前用户。用户可在对应页面下查看不同Region对应的项目ID、账号ID和用户ID。 注册并登录管理控制台。 在用户名的下拉列表中单击“我的凭证”。 在“API凭证”页面,查看账号名和账号ID、IAM用户名和IAM用户ID,在项目列表中查看项目和项目ID。 - 单次写入行数
用率、内存使用率、磁盘利用率、失败作业率等信息。 关于DataArts Studio支持的监控指标,以及如何创建监控告警规则等内容,请参见查看监控指标。 父主题: 安全
定义识别规则(部分高级特性) 定义识别规则分组 配置数据入湖检测规则(高级特性) 发现敏感数据 配置推荐识别(高级特性) 检测文件敏感数据(高级特性) 查看敏感数据分布 管控敏感数据 父主题: 数据安全
是 String 工作空间ID ,获取方法请参见实例ID和工作空间ID。 user_id 是 String 用户id,可在IAM侧用户信息中查询。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token,使用
数据库账号权限 类型名称 权限要求 源数据库连接账号 Oracle 库需要开启归档日志,同时需表查询权限和日志解析权限,开通对应权限详情请参考Oracle数据源如何开通归档日志、查询权限和日志解析权限?。 目标数据库连接账号 MRS用户需要拥有Hadoop和Hive组件的读写权限
配置Data_Quality_Monitor节点属性 配置调度周期。 图3 配置调度周期 提交版本并执行调度。 在“作业监控”查看作业运行日志。 图4 查看运行日志 父主题: 数据开发进阶实践
运维者:运维者具备工作空间内运维调度等业务的操作权限,但无法更改工作项及配置。建议将运维管理、状态监控的用户设置为运维者。 访客:访客可以查看工作空间内的数据,但无法操作业务。建议将只查看空间内容、不进行操作的用户设置为访客。 部署者:企业模式独有,具备工作空间内任务包发布的相关操作权限。在企业模式中,
以便后面查看,可通过该参数配置,写入脏数据前需要在CDM先配置好OBS连接。这里保持默认值“否”即可,不记录脏数据。 图8 任务配置 单击“保存并运行”,回到作业管理界面,在作业管理界面可查看作业执行进度和结果。 作业执行成功后,单击作业操作列的“历史记录”,可查看该作业的历史执行记录、读取和写入的统计数据。
审核通过后,完成发布。 查看发布历史 在数据指标控制台,单击左侧导航树的“指标开发”,然后选择“复合指标”页签,进入复合指标页面。 在复合指标列表中,找到需要查看的复合指标,单击“更多 > 发布历史”,将显示“发布历史”页面。 在“发布历史”中,您可以查看复合指标的发布历史和版本对比信息。
”一列中可以查看汇总表的同步状态。您可以切换生产环境和开发环境查看同步结果。 如果同步状态均显示成功,则说明汇总表发布成功,汇总表在数据库中已创建成功。 如果同步状态中存在失败,可单击该汇总表所在行的“更多 > 发布历史”,然后在展开的页面中进入“发布日志”页签查看日志。请根据错
ovies_item和ratings_item表数据是否符合预期。 查看movies_item表数据: SET SEARCH_PATH TO dgc; SELECT * FROM movies_item; 查看ratings_item表数据: SET SEARCH_PATH TO
语句,指定输出哪些数据是异常数据。系统支持对异常表SQL进行语义校验。 查看SQL 单击后可以查看异常表SQL语句。在查看异常表的SQL时,支持查看所创建的SQL和插入的SQL。 查看相同规则 单击后可查看如下相同规则: 能够根据表和字段判断规则的重复性。 提示已存在相关子规则和质量作业,您可看到已有规则。
数据目录 该模块提供企业级的元数据管理,厘清信息资产。通过数据地图,实现数据资产的数据血缘和数据全景可视,提供数据智能搜索和运营监控。 查看工作空间数据地图 配置数据访问权限(待下线) 配置数据安全策略(待下线) 采集数据源的元数据 数据目录典型场景教程
a Client节点上右键查看日志,可以发现MRS Hive SQL节点返回的二维数组[["2"]]已被清洗为2。 您可以将Kafka Client节点中的发送数据定义为#{Job.getNodeOutput("count95")},然后作业运行后查看Kafka Client节点日志,则可以验证MRS
抢锁”功能获取锁定后,才能继续编辑、保存或提交。 当前脚本/作业的锁定状态可以通过脚本/作业的目录树查看。 对于已被他人锁定状态的脚本/作业,您需要通过重新打开该脚本/作业,查看最近的保存/提交时的内容。已打开的脚本/作业内容不会实时刷新。 在DataArts Studio更新编
果右侧同时勾选了主题名称,则会递归导出选中的主题及其所有子主题。 管理主题设计 图7 主题设计区域 查找 您可以在主题的搜索框中,输入所需查找的关键字进行查找,在公共空间下可查找所有。 编辑 您可以在主题列表中,选择一个对象,然后单击其名称右侧的按钮进行编辑。已发布的主题在编辑后
”一列中可以查看事实表的同步状态。您可以切换生产环境和开发环境查看同步结果。 如果同步状态均显示成功,则说明事实表发布成功,事实表在数据库中已创建成功。 如果同步状态中存在失败,可单击该事实表所在行的“更多 > 发布历史”,然后在展开的页面中进入“发布日志”页签查看日志。请根据错