Skip to content

About

基于官方的redis思想,实现的一个多线程版本的redis

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

11 Commits

Folders and files

Repository files navigation

MultiThreading-Redis

基于 C++ 实现的多线程 Redis-like KVStore,采用自研 Reactor 网络框架构建高并发 TCP 服务,支持 RESP 协议解析、AOF/RDB 持久化以及多线程并发访问。


项目特点

  • 基于 epoll 实现 Reactor 网络模型
  • 支持多线程并发请求处理
  • 支持 RESP 协议解析
  • 支持 GET / SET / DEL 等基础命令
  • 支持 AOF 持久化
  • 支持 RDB 快照持久化
  • 支持非阻塞 IO
  • 基于时间轮实现连接超时管理
  • 基于 CMake 实现跨平台构建

系统架构

                ┌────────────────────┐
                │      Client         │
                └─────────┬──────────┘
                          │ TCP
                          ▼
                ┌────────────────────┐
                │    TcpServer       │
                │  (Reactor Model)   │
                └─────────┬──────────┘
                          │
        ┌─────────────────┴─────────────────┐
        ▼                                   ▼
┌──────────────────┐             ┌──────────────────┐
│   EventLoop       │             │   Worker Thread  │
│  epoll + Channel  │             │  Command Handle  │
└──────────────────┘             └─────────┬────────┘
                                           │
                                           ▼
                              ┌────────────────────┐
                              │      KV Store       │
                              │ unordered_map       │
                              └─────────┬──────────┘
                                        │
                       ┌────────────────┴───────────────┐
                       ▼                                ▼
              ┌────────────────┐              ┌────────────────┐
              │      AOF        │              │      RDB        │
              │ Append Only Log │              │ Snapshot Save   │
              └────────────────┘              └────────────────┘

项目结构

MultiThreading-Redis/
├── build/                         # CMake 构建目录
│
├── reactor/                       # 自研 Reactor 网络库
│
│ ├── include/
│ │
│ ├── Fcw_Acceptor.hpp             # 新连接接收器
│ ├── Fcw_Channel.hpp              # 事件通道
│ ├── Fcw_EventLoop.hpp            # Reactor 事件循环
│ ├── Fcw_Poller.hpp               # epoll 封装
│ ├── Fcw_Connection.hpp           # TCP 连接封装
│ ├── Fcw_TcpServer.hpp            # TCP 服务器
│ ├── Fcw_Buffer.hpp               # 非连续缓冲区
│ ├── Fcw_TimerWheel.hpp           # 时间轮定时器
│ ├── Fcw_Socket.hpp               # Socket 封装
│ └── Fcw_Util.hpp                 # 工具函数
│
│ └── src/                         # Reactor 实现
│
├── multiThread_redis/             # Redis 核心模块
│
│ ├── include/
│ │
│ ├── Fcw_Kv.hpp                   # KV 存储模块
│ ├── Fcw_Command.hpp              # 命令处理模块
│ ├── Fcw_Resp.hpp                 # RESP 协议解析
│ ├── Fcw_Aof.hpp                  # AOF 持久化
│ ├── Fcw_Rdb.hpp                  # RDB 快照
│ ├── Fcw_DateStruct.hpp           # 数据结构封装
│ └── Fcw_Config.hpp               # 配置模块
│
│ └── src/
│
│ ├── Fcw_Kv.cc                    # KV 实现
│ ├── Fcw_Command.cc               # 命令实现
│ ├── Fcw_Resp.cc                  # RESP 实现
│ ├── Fcw_Aof.cc                   # AOF 实现
│ ├── Fcw_Rdb.cc                   # RDB 实现
│ └── Fcw_DateStruct.cc            # 数据结构实现
│
├── testfile/                      # 测试文件
│
│ ├── testResp.cc                  # RESP 协议测试
│ ├── testRdb.cc                   # RDB 测试
│ ├── test_redis.cpp               # Redis 功能测试
│ └── test_only_reactor/           # Reactor 网络测试
│
├── main.cc                        # 程序入口
├── CMakeLists.txt                 # CMake 配置
└── README.md

核心模块说明

Reactor 网络模块

基于 epoll 实现 Reactor 高并发网络模型:

  • EventLoop:事件循环
  • Poller:epoll 封装
  • Channel:事件与回调绑定
  • TcpServer:连接管理与线程池调度

采用:

One Loop Per Thread

提升高并发场景下的请求处理能力。


RESP 协议解析

实现 Redis RESP 协议解析器:

支持:

  • Simple String
  • Bulk String
  • Array

用于客户端请求解析与命令分发。


KV 存储模块

基于:

unordered_map

实现核心 KV 存储结构。

支持:

  • GET
  • SET
  • DEL

等基础命令。


AOF 持久化

实现 Append Only File:

命令执行
    ↓
追加写入 AOF 日志
    ↓
服务重启恢复数据

保证数据可恢复性。


RDB 快照

实现内存数据快照:

  • 定时生成 dump.rdb
  • 支持服务重启数据恢复
  • 降低 AOF 文件膨胀问题

时间轮模块

基于时间轮实现连接超时管理:

  • 自动清理失活连接
  • 降低定时器遍历开销

技术栈

  • C++17
  • Linux
  • epoll
  • Reactor
  • 多线程
  • RESP
  • AOF
  • RDB
  • CMake

构建方式

mkdir build
cd build
cmake ..
make -j

启动服务

./bin/redis_server

测试

使用 redis-cli 测试

redis-cli -p 6379

示例:

SET name fcw
GET name
DEL name

项目收获

  • 理解 Reactor 高并发网络模型
  • 理解 epoll 事件驱动机制
  • 学习 RESP 协议解析
  • 理解 Redis 持久化机制
  • 熟悉多线程并发编程
  • 理解高性能服务器架构设计
  • AOF重写时,采用forkless技术避免fork子进程

About

基于官方的redis思想,实现的一个多线程版本的redis

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages