Skip to content

学习地图

数据集成工具

Flink CDC 是一个基于流的数据集成工具,旨在为用户提供一套功能更加全面的编程接口(API)。

SeaTunnel

Apache SeaTunnel 是新一代高性能、分布式、海量数据集成工具,支持上百种数据源 ( Database/Cloud/SaaS ), 支持海量数据的实时 CDC 和批量同步,可以稳定高效地同步万亿级数据。

DataX

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、HBase、OTS、ODPS、MaxCompute(原ODPS)等各种异构数据源之间高效的数据同步功能。

Kettle

Kettle 是一个开源的数据集成工具,它提供了一组工具和库,可以用来构建各种类型的应用程序,包括数据集成、数据转换等。

开源数据库

Doris

Doris 是一个基于 MPP 架构的高性能、分布式、列式存储的 MPP 数据库。

Paimon

Apache Paimon是一种流批统一的湖存储格式,支持高吞吐的写入和低延迟的查询。

StarRocks

StarRocks 是一个 MPP 架构的极速 MPP 数据库,支持超大规模数据。

DuckDB

DuckDB 是一个开源的 SQL 数据库引擎,它拥有非常低的资源消耗和极快的查询速度。

Hive

Hive 是一个基于 Hadoop 的数据仓库基础架构。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。

ClickHouse

ClickHouse 是一个用于联机分析 (OLAP) 的列式数据库管理系统 (DBMS)。

OcenBase

OceanBase 是一个分布式数据库系统,由蚂蚁集团开发。它支持高并发、高可用、高性能的数据存储和处理。号称:为关键业务负载打造的分布式数据库

分布式存储

Hadoop

Hadoop 是一个分布式系统基础架构,由 Apache 基金会开发。通俗来讲,Hadoop用来解决海量数据的存储和大规模数据的计算问题。

MinIO

MinIO 是一个高性能的、S3 兼容的分布式对象存储系统。 它专为大规模 AI/ML、数据湖和数据库工作负载而构建。并且它是由软件定义的存储,不需要购买任何专有硬件,就可以在云上和普通硬件上拥有分布式对象存储。并且 100% 开源,主要许可证是 GNU AGPL v3。

任务调度工具

DolphinScheduler

Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统,旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的关系。

Airflow

Apache Airflow 是一个开源的、可扩展的任务调度工具,它可以帮助用户自动化、监控和调度各种任务。

数据可视化工具

Grafana

Grafana是一个开源的数据可视化和监控平台,可以通过创建仪表盘和图表来实时监控、分析和可视化各种数据源的数据。

Superset

Apache Superset 是一个现代的企业级商业智能Web 应用程序。它快速、轻量、直观,并加载了各种选项,使所有技能的用户都可以轻松探索和可视化他们的数据,从简单的饼图到高度详细的 Deck.gl地理空间图表。

Seaborn

Seaborn是基于Python的可视化库。Seaborn在Matplotlib的基础上,进行了更高级的封装,使得制作图形更加方便快捷,同时也更加美观。

图数据库

Apache HugeGraph

Apache HugeGraph 是一个分布式、可扩展的图数据库,它提供多种语言的 API,包括 Java、Python、Go、RESTful API 和命令行接口 (CLI)。

Apache TinkerPark

TinkerPark 是一个基于 Apache TinkerPark 的图数据库,它支持图数据库的图查询语言 (GQL) 和图查询引擎 (GPE)。

Neo4j

Neo4j 是一个高性能的、开源的图形数据库,它将结构化数据存储在网络上而不是表中。Neo4j 是一个用于处理关系数据库的替代方案。

ArangoDB

ArangoDB 是一个高性能的、开源的、分布式的 NoSQL 数据库,它支持文档、图和 JSON 数据模型。

OrientDB

OrientDB 是一个开源的、高性能的、面向文档的、分布式数据库。

Agent开发工具

LangChain

LangChain 是一个用于构建基于 LLM 的应用程序的框架。它提供了一组工具和库,可以用来构建各种类型的应用程序,包括聊天机器人、代码生成器、文档生成器等。

Dify

Dify 是一个基于 LLM 的开源框架,它提供了一组工具和库,可以用来构建各种类型的应用程序,包括聊天机器人、代码生成器、文档生成器等。

Stable Diffusion

Stable Diffusion 是一种免费、开源的AI绘画生成工具。

Midjourney

Midjourney是一款AI制图工具,只要关键字,就能透过AI算法生成相对应的图片,只需要不到一分钟。

ComfyUI

ComfyUI 是一个基于节点工作流式的 Stable Diffusion 算法的另一种 WebUI。通过将Stable Diffusion的流程拆分成节点,实现了更加精准的工作流定制和完善的可复现性。

大语言模型

ChatGPT

ChatGPT 是一个基于 GPT-3.5-turbo 模型的聊天机器人,它能够与用户进行自然语言交互。

Gemini

Gemini由Google DeepMind开发,号称谷歌最大,能力最强的人工智能模型。Gemini从一开始就为多模式构建——在文本、图像、视频、音频和代码之间无缝推理。

文心一言

文心一言(Wenxin One)是百度推出的一款大语言模型,它能够理解和生成自然语言文本,并具有强大的推理能力。

MTEB榜单

MTEB(Massive Text Embedding Benchmark)是衡量文本嵌入模型(Embedding模型)的评估指标的合集,是目前业内评测文本向量模型性能的重要参考。

Web 开发框架

Django

Django 是一个由Python编写的开源免费的Web应用程序框架。它遵循了MVT(Model-View-Template)的设计模式,旨在帮助开发人员快速构建高质量、易维护的Web应用程序。

Flask

Flask是一个用Python编写的轻量的Web应用程序框架,基于Werkzeug WSGI工具包和Jinja2模板引擎。Flask 也被称为 “microframework”,因为它使用简单的核心,用 extension 增加其他功能。

FastAPI

FastAPI是一个用于构建API的现代、快速(高性能)的web框架。FastAPI 框架,高性能,易于学习,高效编码,生产可用。

GUI开发框架

Flet

Flet 是一个框架,允许使用您最喜欢的语言构建交互式多用户 Web、桌面和移动应用程序,而无需具备前端开发经验。

PyQt

PyQt 是一个基于 Python 的 GUI 开发框架,它允许开发人员使用 Python 语言来创建 GUI 应用程序。

高效开发工具

Apifox

Apifox 是集 API 文档、API 调试、API Mock、API 自动化测试多项实用功能为一体的 API 管理平台,定位为 Postman + Swagger + Mock + JMeter。旨在通过一套系统、一份数据,解决多个工具之间的数据同步问题。

PDManer

PDManer(全称:PDManer 元数建模)是一款多操作系统、开源、免费的关系数据库模型建模工具,支持Windows、Mac、Linux等操作系统。

DBeaver

DBeaver 是一个开源的数据库管理工具,它支持多种数据库,并提供了可视化的界面,方便用户进行数据库操作。

Postman

Postman 是一个功能强大的 API 测试工具,它可以帮助用户发送 HTTP 请求并测试 API 接口。

编程语言

Mojo

Mojo🔥是AI开发者专属编程语言,将Python的可用性与C的性能相结合,解锁了AI硬件无与伦比的可编程性和AI模型的可扩展性。

遇码MeetCoding 开源技术社区