学习地图
数据集成工具
Flink CDC
Flink CDC 是一个基于流的数据集成工具,旨在为用户提供一套功能更加全面的编程接口(API)。
SeaTunnel
Apache SeaTunnel 是新一代高性能、分布式、海量数据集成工具,支持上百种数据源 ( Database/Cloud/SaaS ), 支持海量数据的实时 CDC 和批量同步,可以稳定高效地同步万亿级数据。
DataX
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、HBase、OTS、ODPS、MaxCompute(原ODPS)等各种异构数据源之间高效的数据同步功能。
Kettle
Kettle 是一个开源的数据集成工具,它提供了一组工具和库,可以用来构建各种类型的应用程序,包括数据集成、数据转换等。
开源数据库
Doris
Doris 是一个基于 MPP 架构的高性能、分布式、列式存储的 MPP 数据库。
Paimon
Apache Paimon是一种流批统一的湖存储格式,支持高吞吐的写入和低延迟的查询。
StarRocks
StarRocks 是一个 MPP 架构的极速 MPP 数据库,支持超大规模数据。
DuckDB
DuckDB 是一个开源的 SQL 数据库引擎,它拥有非常低的资源消耗和极快的查询速度。
Hive
Hive 是一个基于 Hadoop 的数据仓库基础架构。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。
ClickHouse
ClickHouse 是一个用于联机分析 (OLAP) 的列式数据库管理系统 (DBMS)。
OcenBase
OceanBase 是一个分布式数据库系统,由蚂蚁集团开发。它支持高并发、高可用、高性能的数据存储和处理。号称:为关键业务负载打造的分布式数据库
分布式存储
Hadoop
Hadoop 是一个分布式系统基础架构,由 Apache 基金会开发。通俗来讲,Hadoop用来解决海量数据的存储和大规模数据的计算问题。
MinIO
MinIO 是一个高性能的、S3 兼容的分布式对象存储系统。 它专为大规模 AI/ML、数据湖和数据库工作负载而构建。并且它是由软件定义的存储,不需要购买任何专有硬件,就可以在云上和普通硬件上拥有分布式对象存储。并且 100% 开源,主要许可证是 GNU AGPL v3。
任务调度工具
DolphinScheduler
Apache DolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统,旨在解决复杂的大数据任务依赖关系,并为应用程序提供数据和各种 OPS 编排中的关系。
Airflow
Apache Airflow 是一个开源的、可扩展的任务调度工具,它可以帮助用户自动化、监控和调度各种任务。
数据可视化工具
Grafana
Grafana是一个开源的数据可视化和监控平台,可以通过创建仪表盘和图表来实时监控、分析和可视化各种数据源的数据。
Superset
Apache Superset 是一个现代的企业级商业智能Web 应用程序。它快速、轻量、直观,并加载了各种选项,使所有技能的用户都可以轻松探索和可视化他们的数据,从简单的饼图到高度详细的 Deck.gl地理空间图表。
Seaborn
Seaborn是基于Python的可视化库。Seaborn在Matplotlib的基础上,进行了更高级的封装,使得制作图形更加方便快捷,同时也更加美观。
图数据库
Apache HugeGraph
Apache HugeGraph 是一个分布式、可扩展的图数据库,它提供多种语言的 API,包括 Java、Python、Go、RESTful API 和命令行接口 (CLI)。
Apache TinkerPark
TinkerPark 是一个基于 Apache TinkerPark 的图数据库,它支持图数据库的图查询语言 (GQL) 和图查询引擎 (GPE)。
Neo4j
Neo4j 是一个高性能的、开源的图形数据库,它将结构化数据存储在网络上而不是表中。Neo4j 是一个用于处理关系数据库的替代方案。
ArangoDB
ArangoDB 是一个高性能的、开源的、分布式的 NoSQL 数据库,它支持文档、图和 JSON 数据模型。
OrientDB
OrientDB 是一个开源的、高性能的、面向文档的、分布式数据库。
Agent开发工具
LangChain
LangChain 是一个用于构建基于 LLM 的应用程序的框架。它提供了一组工具和库,可以用来构建各种类型的应用程序,包括聊天机器人、代码生成器、文档生成器等。
Dify
Dify 是一个基于 LLM 的开源框架,它提供了一组工具和库,可以用来构建各种类型的应用程序,包括聊天机器人、代码生成器、文档生成器等。
Stable Diffusion
Stable Diffusion 是一种免费、开源的AI绘画生成工具。
Midjourney
Midjourney是一款AI制图工具,只要关键字,就能透过AI算法生成相对应的图片,只需要不到一分钟。
ComfyUI
ComfyUI 是一个基于节点工作流式的 Stable Diffusion 算法的另一种 WebUI。通过将Stable Diffusion的流程拆分成节点,实现了更加精准的工作流定制和完善的可复现性。
大语言模型
ChatGPT
ChatGPT 是一个基于 GPT-3.5-turbo 模型的聊天机器人,它能够与用户进行自然语言交互。
Gemini
Gemini由Google DeepMind开发,号称谷歌最大,能力最强的人工智能模型。Gemini从一开始就为多模式构建——在文本、图像、视频、音频和代码之间无缝推理。
文心一言
文心一言(Wenxin One)是百度推出的一款大语言模型,它能够理解和生成自然语言文本,并具有强大的推理能力。
MTEB榜单
MTEB(Massive Text Embedding Benchmark)是衡量文本嵌入模型(Embedding模型)的评估指标的合集,是目前业内评测文本向量模型性能的重要参考。
Web 开发框架
Django
Django 是一个由Python编写的开源免费的Web应用程序框架。它遵循了MVT(Model-View-Template)的设计模式,旨在帮助开发人员快速构建高质量、易维护的Web应用程序。
Flask
Flask是一个用Python编写的轻量的Web应用程序框架,基于Werkzeug WSGI工具包和Jinja2模板引擎。Flask 也被称为 “microframework”,因为它使用简单的核心,用 extension 增加其他功能。
FastAPI
FastAPI是一个用于构建API的现代、快速(高性能)的web框架。FastAPI 框架,高性能,易于学习,高效编码,生产可用。
GUI开发框架
Flet
Flet 是一个框架,允许使用您最喜欢的语言构建交互式多用户 Web、桌面和移动应用程序,而无需具备前端开发经验。
PyQt
PyQt 是一个基于 Python 的 GUI 开发框架,它允许开发人员使用 Python 语言来创建 GUI 应用程序。
高效开发工具
Apifox
Apifox 是集 API 文档、API 调试、API Mock、API 自动化测试多项实用功能为一体的 API 管理平台,定位为 Postman + Swagger + Mock + JMeter。旨在通过一套系统、一份数据,解决多个工具之间的数据同步问题。
PDManer
PDManer(全称:PDManer 元数建模)是一款多操作系统、开源、免费的关系数据库模型建模工具,支持Windows、Mac、Linux等操作系统。
DBeaver
DBeaver 是一个开源的数据库管理工具,它支持多种数据库,并提供了可视化的界面,方便用户进行数据库操作。
Postman
Postman 是一个功能强大的 API 测试工具,它可以帮助用户发送 HTTP 请求并测试 API 接口。
编程语言
Mojo
Mojo🔥是AI开发者专属编程语言,将Python的可用性与C的性能相结合,解锁了AI硬件无与伦比的可编程性和AI模型的可扩展性。