检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
httpclient; } private String login(){ HttpPost httpPost = new HttpPost("https://"+IAM_ENDPOINT+"/v3/auth/tokens"); String json = "{\r\n"+ "\"auth\":
请求Body参数 参数 是否必选 参数类型 描述 log_dump 否 Boolean 是否开启Obs日志转储功能,true表示开启,false表示关闭。 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg
如调用失败提示“Could not get any response”,可根据提示在Postman设置中关闭“SSL certificate verification”选项或关闭Proxy代理,然后再次尝试运行。 图11 调用API 父主题: 通过不同方式调用API
即使填写错误也不会提示,因此建议进行人工检查。 已开启对应MRS集群的Ranger鉴权功能,安全模式默认开启Ranger鉴权,普通模式默认关闭Ranger鉴权。详情请参考启用Ranger鉴权。 约束与限制 资源权限策略依赖于MRS集群的Ranger鉴权功能,当前仅支持对MRS资源进行权限控制。
约束限制 RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。 主机连接当前仅支持Linux系统主机。 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。 数据连接中的数据湖认证信息如果发生变化(
和正则表达式。 编辑识别规则状态:新增的识别规则默认为启用状态。当识别规则为关闭状态时,表示该规则将不可被添加到识别规则组。 需要修改识别规则状态时,在识别规则页面单击对应识别规则中的或,即可启用或关闭对应规则。 删除识别规则:在识别规则页面,单击对应识别规则操作栏中的“删除”,
“驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 驱动包下载地址:https://www.oracle.com/database/technologies/appdev/jdbc-downloads.html,推荐使用ojdbc8的12
Redis连接参数说明 Redis连接适用于用户在本地数据中心或ECS上自建的Redis,适用于将数据库或文件中的数据加载到Redis。 Redis连接不支持SSL加密的Redis数据源。 连接本地Redis数据库时,相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作
规则组包含一个或者多个规则,规则间是逻辑表达式。 定义规则A 支持从下拉框中选择已定义的规则。 单击,可插入多条规则。 订阅配置 通知状态 通过单击或来关闭或开启通知开关。 通知类型 包含如下类型: 触发告警 运行成功 选择主题 选择消息通知的主题。 说明: 当前仅支持“短信”、“邮件”这两种协议的订阅终端订阅主题。
再次运行业务场景实例。 运行日志 查看规则实例的详细运行日志信息。 更多 > 处理问题 对当前业务场景实例进行进一步处理。支持填写处理意见,关闭问题和移交他人。 如果实例的处理人是当前登录用户则可以对业务场景实例进行处理操作,包括填写意见和转交给他人处理。 更多 > 处理日志 可查看历史处理记录。
连接器与关系型数据库通信使用二进制协议开关,即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错,可以关闭此开关;开源MySQL数据库支持useCursorFetch参数,无需对此参数进行设置。 sslmode=require 引用符号 可选参
选择是否开启HBase的预写日志机制(WAL,Write Ahead Log)。 是:开启后如果出现HBase服务器宕机,则可以从WAL中回放执行之前没有完成的操作。 否:关闭时能提升写入性能,但如果HBase服务器宕机可能会造成数据丢失。 toJobConfig.transType 否 Boolean true
请求Body参数 参数 是否必选 参数类型 描述 log_dump 否 Boolean 是否开启LTS日志转储功能,true表示开启,false表示关闭。 log_group_id 否 String 日志组ID。 log_group_name 否 String 日志组名称。 log_stream_id
也可通过右键单击执行结果页签的名称,单击重命名。重命名不能超过16个字符。 可通过右键单击执行结果页签的名称关闭当前页签、关闭左侧页签、关闭右侧页签、关闭其它页签、关闭所有页签。 MRS集群为非安全集群、且未限制命令白名单时,在Hive SQL执行过程中,添加application
如调用失败提示“Could not get any response”,可根据提示在Postman设置中关闭“SSL certificate verification”选项或关闭Proxy代理,然后再次尝试运行。 图12 调用API 父主题: 通过不同方式调用API
开启基线任务,系统将会监控基线任务以及其依赖链上游的所有任务。 :关闭基线任务,系统不会监控基线任务以及其依赖链上游的所有任务。 报警开关 :开启报警开关,当系统预测到基线上任务无法在承诺时间前完成,或上游任务有出错或变慢的情况,将发送报警信息,用户将收到基线任务的报警信息。 :关闭报警开关,用户无法收到基线任务的报警信息。
保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。 支持单击右键,可快速复制脚本名称,同时可以快速的关闭已打开的脚本页签。 在MRS API连接模式下,MRS Spark SQL和MRS Hive SQL脚本运行完以后,在执行结果中查看运行日志,增加一键跳转MRS
SQL脚本,脚本名称为“hive_sql”。在编辑器中输入SQL语句,通过SQL语句来实现业务需求。 图1 开发脚本 关键说明: 图1中的脚本开发区为临时调试区,关闭脚本页签后,开发区的内容将丢失。您可以通过“提交”来保存并提交脚本版本。 数据连接:建立Hive的数据连接创建的连接。 开发Hive SQL作业
data Object 返回的数据信息。 请求示例 将标签ddd从ID为1217123755210469378的表上移除。 DELETE https://{endpoint}/v2/{project_id}/design/1217123755210469378/tags?tag=ddd
逻辑删除开关,changelog开启时必须关闭逻辑删除。 hoodie.write.liststatus.optimized boolean true - 写log文件时是否开启liststatus优化。涉及到大表和分区数据量多的作业,在启动时list会非常耗时,可能导致作业启动超时,建议关闭。 hoodie