检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
第三方jar包跨平台(x86、TaiShan)支持 在客户端安装节点的/tmp目录下残留了很多blockmgr-开头和spark-开头的目录 ARM环境python pipeline运行报139错误码 Structured Streaming 任务提交方式变更 常见jar包冲突处理方式
jar,该jar包可在client目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink
jar,该jar包可在Kafka客户端目录下获取。 下面列出producer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink
步骤)。 kinit 组件业务用户 执行以下命令登录客户端工具。 zkCli.sh -server ZooKeeper角色实例所在节点业务IP: clientPort 执行以下命令,查看当前拓扑。 get /clickhouse/topo 如果ClickHouse安装了多服务,则执行命令get
KeytabFile /opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理
static void main(String[] args) throws Exception { String userPrincipal = "sparkuser"; String userKeytabPath = "/opt/FIclient/user.keytab";
界面显示如下信息,说明指定用户的属性已修改: Principal "testpol@<系统域名>" modified. 执行以下命令,查看Storm用户“testpol”用户的当前信息。 getprinc testpol 界面显示如下信息,说明指定用户使用了新的密码策略: Principal: testpol@<系统域名>
KeytabFile /opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理
KeytabFile /opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常。 连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理
运行Manager应用报错“illegal character in path at index” 问题 运行应用程序时,操作失败,日志显示如图1所示。 图1 操作失败日志 回答 可能的原因是URL中带空格导致服务器端无法正确识别URL。 需要去掉URL中的空格。 父主题: Manager应用开发常见问题
IAM同步 功能介绍 将IAM用户和用户组同步到manager,指定用户的情况下,会将该用户关联的IAM用户组也同步到manager。 调用方法 请参见如何调用API。 URI POST /v2/{project_id}/clusters/{cluster_id}/iam-sync-user
Kafka应用开发常见问题 Kafka常用API介绍 使用Kafka客户端SSL加密 配置Windows通过EIP访问集群Kafka 运行样例时提示Topic鉴权失败“TOPIC_AUTHORIZATION_FAILED” 运行Producer.java样例报错获取元数据失败“ERROR
该参数只有在目的字段为Hbase和Hive时才会显示。 单个分片的最大错误记录数 设置一个错误阈值,如果单个map任务的错误记录超过设置阈值则任务自动结束,已经获取的数据不回退。 说明: “generic-jdbc-connector”的“MYSQL”和“MPPDB”默认批量读写数据,每一批次数据最多只记录一次错误记录。
形式进行逻辑上的描述。 一张表包括行(Row)和列(Column),Row即用户的一行数据,Column用于描述一行数据中不同的字段。Column可以分为Key和Value两大类,从业务角度看,Key和Value可以分别对应维度列和指标列。 Doris的数据模型主要分为以下三类:
connector_id 是 String 参数解释: 连接ID。获取方法,请参见获取连接ID。 约束限制: 不涉及 取值范围: 只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 data_connector
stayTime: Int) def main(args: Array[String]) { String userPrincipal = "sparkuser"; String userKeytabPath = "/opt/FIclient/user.keytab";
stayTime: Int) def main(args: Array[String]) { String userPrincipal = "sparkuser"; String userKeytabPath = "/opt/FIclient/user.keytab";
在进行应用开发时,要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。 表1 开发环境 准备项 说明 安装Eclipse 开发环境的基本配置。版本要求:4.2。 安装JDK 版本要求:1.8版本。 父主题: 准备MapReduce应用开发环境
/usr/bin/”路径下面存在Python文件。 登录FusionInsight Manager,单击“主机”,查看并记录所有主机的业务IP。 以root用户登录1记录的节点,在所有节点都执行以下命令,在“/usr/bin/”目录下添加“python3”的软连接。 cd /usr/bin
Zone”,在区域列表页面中单击,添加安全区。 表1 安全区配置参数 参数名称 描述 示例 Zone Name 配置安全区的名称。 test Zone Description 配置安全区的描述信息。 - Admin Users/Admin Usergroups 配置安全区的管理用户/用户组,可在安全区中添加及修改相关资源的权限策略。