检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
2021-03-24 16:10:06,0001,Alice,330106 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
Flink作业授权 表1 Flink作业授权参数说明 参数名称 描述 用户名 被授权用户的名称。 说明: 该用户名称是已存在的IAM用户名称。并且该用户需要登录过华为云,才能进行授权操作。 权限设置 全选:所有的权限都勾选上。 查看作业详情:查看此作业的作业详情。 更新作业:编辑修改此作业。 删除作业:删除此作业。
8,并使用默认的用户名和密码登录(通常为 admin/admin)。 下载数据驱动。获取Apach Hive驱动包,推荐使用pyhive 0.7.0版本。 安装操作指导请参考安装Hive驱动。 步骤3:配置SuperSet连接kyuubi 打开并登录Superset。 单击“Data
MySQL的安全组,添加入向规则使其对Flink的队列网段放通。参考测试地址连通性根RDS的地址测试队列连通性。如果能连通,则表示跨源已经绑定成功,否则表示未成功。 登录RDS MySQL,并使用下述命令在flink库下创建orders表,并插入数据。创建数据库的操作可以参考创建RDS数据库。 在flink数据库库下创建orders表:
表,页面上只可见该数据库下的表。如果不填写,后续创建数据集时,刷新表,页面上会显示所有数据库下的表。 其他选项不需要填写,也无需勾选“需要登录”选项。 图1 添加数据源配置 表2 数据库连接参数 参数 描述 URL URL的格式如下。 jdbc:dli://<endPoint>/<projectId>
MRS集群请开启Kerberos认证。 在”组件管理 > Kafka > 服务配置”中查找配置项” security.protocol”,并设置为”SASL_SSL”。 登录MRS集群的Manager,下载用户凭据:”系统设置 > 用户管理 ,单击用户名后的”更多 > 下载认证凭据”。 根据用户凭据生成相应的truststore
参数 默认值 是否必选 参数类型说明 fenodes -- 是 Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,在搜索框中搜索“http”查看。如果开启https,则搜索“https”。
接。 创建DLI访问DEW的委托并完成委托授权。详细步骤请参考自定义DLI委托权限。 在DEW创建通用凭证。详细操作请参考创建通用凭据。 登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 本例配置Mysql的凭据值: "MySQLUsername":"demo"
"user_name":"Alice","area_id":"330106"} 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
"00000000000000000000143", "table": "PRODUCTS" } 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
ClickHouseBalancer实例的IP地址: 登录MRS管理控制台,选择“集群名称 > 组件管理 > ClickHouse > 实例”,获取ClickHouseBalancer实例的业务IP。 ClickHouseBalancer端口: 登录MRS管理控制台,选择“集群名称 > 组件管理
创建DLI访问DEW的委托并完成委托授权。 详细步骤请参考自定义DLI委托权限。 在DEW创建通用凭证。详细操作请参考创建通用凭据。 登录DEW管理控制台 选择“凭据管理”,进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 DLI Spark jar作业编辑界面设置作业参数。
参数 默认值 是否必选 参数类型说明 fenodes -- Y Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,在搜索框中搜索“http”查看。如果开启https,则搜索“https”。
创建表参数 参数 说明 host OpenTSDB连接地址。 访问CloudTable OpenTSDB,填写OpenTSDB链接地址,具体可以登录CloudTable控制台,单击“集群模式 > 集群名称”,在集群信息获取OpenTSDB链接地址。 访问MRS OpenTSDB,若使用
"old":{ "weight":5.18 } } 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。
参数 默认值 是否必选 参数类型说明 fenodes -- 是 Doris FE ip地址和port, 多实例之间使用逗号分隔。其中port可登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”,在搜索框中搜索“http”查看。如果开启https,则搜索“https”。
添加或者修改SQL防御规则时请结合业务场景评估规则的开启、规则阈值是否合理,避免不合理的防御规则对相关SQL请求进行拦截或阻断后,对业务造成影响。 登录DLI管理控制台。 选择“全局配置 > SQL防御”,打开SQL防御页面。 单击“创建规则”,编辑规则信息。 表1 SQL防御规则参数配置
Jar作业 提交Spark jar作业的场景需要手动配置由LakeFormation提供元数据服务的Hudi锁实现类,请参照 Hudi锁配置说明。 登录DLI管理控制台,选择“作业管理 > Spark作业”,进入到Spark作业的界面。 提交Hudi相关的Spark jar作业需要选择Spark版本为3
如下所示,加粗的斜体字段需要根据实际值填写,其中username为用户名,domainname为用户所属的账号名称,********为用户登录密码,xxxxxxxxxxxxxxxxxx为project的名称,例如cn-north-1,可以从地区和终端节点中获取。 scope参数定
1589373560798, "type": "UPDATE" } 按照如下方式查看taskmanager.out文件中的数据结果: 登录DLI管理控制台,选择“作业管理 > Flink作业”。 单击对应的Flink作业名称,选择“运行日志”,单击“OBS桶”,根据作业运行的日期,找到对应日志的文件夹。