Java一站式开源的数据中台,适合中小企业的大数据解决方案附源码(java数据中台开发)

LarkMidTable 是一站式开源的数据中台,实现元数据管理,数据仓库开发,数据质量管理,数据的可视化,实现高效赋能数据前台并提供数据服务的产品。

产品愿景

1.满足许多的小企业,提供一站式的解决方案。

2.做出世界级别,能够媲美BAT大厂的产品。

3.创造价值,产生价值,让世界变得更加美好。

产品架构图

Java一站式开源的数据中台,适合中小企业的大数据解决方案附源码(java数据中台开发)

产品技术选型

组件

用途

clickhouse/doris

离线数仓

kafka

实时数仓

datax,flinkx

数据集成

flink,flinkcdc,seatunnel

数据开发

promicuse

数据监控

druid

数据服务

datart

数据可视化

cdh

大数据平台

dolphin

任务调度

产品效果图

Java一站式开源的数据中台,适合中小企业的大数据解决方案附源码(java数据中台开发)Java一站式开源的数据中台,适合中小企业的大数据解决方案附源码(java数据中台开发)Java一站式开源的数据中台,适合中小企业的大数据解决方案附源码(java数据中台开发)Java一站式开源的数据中台,适合中小企业的大数据解决方案附源码(java数据中台开发)Java一站式开源的数据中台,适合中小企业的大数据解决方案附源码(java数据中台开发)Java一站式开源的数据中台,适合中小企业的大数据解决方案附源码(java数据中台开发)

linux部署文档

系统要求

window系统和Linux需要安装python环境,并配置环境变量

  • java版本: Java 8
  • 数据库版本: Mysql5.7
  • 运行环境: MacOS, Windows,Linux,python

1.系统依赖包下载

1.获取flinkx-1.12-SNAPSHOT压缩包,关注公众号【LarkMidTable】发送 【flinkx】

2.将flinkx用压缩软件解压后

linux部署:

上传解压目录flinkx到linux**【注意: 修改Linux目录权限 chown -R 用户:用户 777】**

window部署:

解压后存放在window本地

2.web的安装

2.1 创建数据库

执行bin/db下面的web.sql文件(数据库版本5.1.0版本)

2.2编译打包

1.直接从Git上面获得源代码,在项目的根目录下执行如下命令

mvn clean install

2.执行成功后将会在工程的build目录下生成安装包

packages/admin_{VERSION}.tar.gz

2.3解压安装包

Linux方式部署的解压方式

解压安装包

tar -zxvf admin_2.1.2_1.tar.gz

window方式部署解压方式

解压 admin_2.1.2_1.tar.gz 安装包,使用winRAR解压

2.4安装配置

修改项目配置

1.修改路径admin/conf/ 下面的application.yml文件

#数据源 datasource: username: root password: root url: jdbc:mysql://localhost:3306/web?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8 driver-class-name: com.mysql.jdbc.Driver .... .... ....flinkx: job: accessToken: #i18n (default empty as chinese, "en" as english) i18n: ## triggerpool max size triggerpool: fast: max: 200 slow: max: 100 ### log retention days logretentiondays: 30 executor: flinkxHome: /home/hadoop/flinkx/flinkx.py jsonPath: /home/hadoop/flinkx/job/ logHome: /home/hadoop/flinkx/nohup.out

1.将localhost修改为数据库的地址

2.将flinkxHome,jsonPath,logHome 配置成flinkx所在目录

例如: Linux部署的配置**【获取flinkx-1.12-SNAPSHOT压缩包,关注公众号【LarkMidTable】发送 【flinkx】】**

executor: flinkxHome: /home/hadoop/flinkx/flinkx.py jsonPath: /home/hadoop/flinkx/job/ logHome: /home/hadoop/flinkx/nohup.out

例如:window部署的配置**【获取flinkx-1.12-SNAPSHOT压缩包,关注公众号【LarkMidTable】发送 【flinkx】】**

executor: flinkxHome: E:/flinkx/flinkx.py jsonPath: E:/flinkx/job/ logHome: E:/flinkx/nohup.out

2.5启动程序

Linux部署启动的方式:

[hadoop@mini4 bin]$ cd admin/bin[hadoop@mini4 bin]$ sh admin.sh start

window部署启动的方式:

运行adminbin下的admin.bat文件即可

2.6验证是否启动成功

Linux部署验证启动是否成功:

[hadoop@mini4 bin]$ jps24931 AdminApplication

window部署验证启动是否成功:

09:10:58.619 admin [main] INFO c.l.a.AdminApplication - Access URLs:---------------------------------------------------------- Local-API: http://127.0.0.1:8080/doc.html External-API: http://192.168.1.22:8080/doc.html web-URL: http://127.0.0.1:8080/index.html ----------------------------------------------------------09:11:01.001 admin [web, admin JobScheduleHelper#scheduleThread] INFO c.l.a.c.t.JobScheduleHelper - >>>>>>>>> init web admin scheduler success.

2.7访问首页

启动成功后打开页面(默认管理员用户名:admin 密码:123456) http://{ip}:8080/index.html#/dashboard

应用领域

智慧校园 、智慧交通 、智慧金融 、智慧农业、智慧医疗、智慧政务 等多个大数据领域

如果你想要源码,请记得转发 关注 私信

私信回复【一站式大数据中台

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2022年8月2日 上午10:23
下一篇 2022年8月2日 上午10:25

相关推荐

  • 患者监护系统软件项目管理

    患者监护系统软件项目管理 患者监护系统软件是医院管理中不可或缺的一部分,能够实时监测患者的健康状况,为医生提供重要的决策支持。项目开发团队需要确保患者监护系统软件的高效、可靠、安全…

    科研百科 2025年7月12日
    1
  • 档案管理软件单机版

    档案管理软件单机版 档案管理软件单机版是一种简单的档案管理软件,它允许用户通过计算机安装并管理档案。它通常用于个人或小型商业组织,用于存储和管理文件、文档、图片、音频和视频等。 档…

    科研百科 2024年8月31日
    36
  • 企业标准文件格式

    企业标准文件格式企业标准文件格式、审稿、引用、引用、复印等方面的名称、名称,图片、文字和文字,直接上图图文。正式标题:China drop of the becoming of s…

    科研百科 2024年11月22日
    0
  • 以科技创新和深化改革为引擎 天天拍车引领二手车市场新发展(天天拍车 二手车网)

    随着2023年中央经济工作会议的圆满闭幕,中国经济站在了一个新的历史起点。会议强调了科技创新在推动高质量发展中的重要性,以及深化供给侧结构性改革和扩大有效需求的必要性。在这一背景下…

    科研百科 2024年4月2日
    141
  • 工程项目管理系统调研

    工程项目管理系统调研 随着工程项目的不断增长,如何有效地管理工程项目成为了一个紧迫的问题。传统的手动管理方式已经无法满足现代项目管理的需求,因此开发一款专业的工程项目管理系统已经成…

    科研百科 2025年1月7日
    0
  • 衡阳项目管理系统哪家好

    衡阳项目管理系统哪家好 衡阳是湖南省的一个地级市,是一个充满活力的城市,也是一个不断发展的城市。衡阳项目管理系统是用于管理项目的软件系统,可以帮助企业提高工作效率,降低成本,提高客…

    科研百科 2025年1月21日
    1
  • 四川省科技厅科研项目经费管理办法

    四川省科技厅科研项目经费管理办法 为加强科研项目经费管理,提高科研项目资金使用效率,根据《中华人民共和国科学技术法》等相关法律法规,四川省科技厅制定了科研项目经费管理办法。 该办法…

    科研百科 2024年11月6日
    17
  • 美甲APP开发如何帮助线下美甲店转型升级(美甲店怎么做线上)

     美容作为线下零售的典型代表,被业界称为继房地产、汽车、电子通讯、旅游之后的“第五大消费热点”,随着人们生活水平的提高,美甲已自然而然的融入到女性生活,而且现在美甲店铺越来越多,同…

    科研百科 2022年9月28日
    300
  • 弱电工程项目管理规章制度

    弱电工程项目管理规章制度 一、项目概述 本规章制度适用于弱电工程项目的项目管理。该项目包括弱电线路、设备的安装、调试、维护和升级。项目的目的是满足用户的需求,提高用户的工作效率和生…

    科研百科 2024年8月28日
    43
  • 建筑行业用什么财务管理软件?(建筑行业用什么财务管理软件好)

    建筑行业是一个高度复杂和多变的行业,涉及众多参与者、项目和合同。每个项目从初期设计到最终交付,环节繁多且相互关联,任何一个环节的失误都可能导致严重的经济损失和项目延误。 建筑项目通…

    科研百科 2024年7月18日
    69