EFCore.Sharding(EFCore开源分表框架)
已收录 11070

 

简介

本框架旨在为 EF Core 提供Sharding(即读写分离分库分表)支持,不仅提供了一套强大的普通数据操作接口,并且降低了分表难度,支持按时间自动分表扩容,提供的操作接口简洁统一.

源码地址:EFCore.SHarding https://github.com/Coldairarrow/EFCore.Sharding

引言

读写分离分库分表一直是数据库领域中的重难点,当数据规模达到单库极限的时候,就不得不考虑分表方案。EF Core 作为.NET Core 中最为主流的 ORM,用起来十分方便快捷,但是官方并没有相应的 Sharding 支持,鄙人不才,经过一番摸索之后终于完成这个框架.

开始

准备

首先根据需要安装对应的 Nuget 包

包名 说明
EFCore.Sharding 必装包,3.x 版本对应 EF Core3.x,2.x 版本对应 EF Core2.x
EFCore.Sharding.MySql MySql 支持
EFCore.Sharding.PostgreSql PostgreSql 支持
EFCore.Sharding.SQLite SQLite 支持
EFCore.Sharding.SqlServer SqlServer 支持
EFCore.Sharding.Oracle Oracle 支持(暂不支持 3.x)

配置

class Base_UnitTestShardingRule : ModShardingRule<Base_UnitTest>
{
    protected override string KeyField => "Id";
    protected override int Mod => 3;
}

ShardingConfig.Init(config =>
{
    config.AddAbsDb(DatabaseType.SQLite)
        .AddPhysicDb(ReadWriteType.Read | ReadWriteType.Write, "DataSource=db.db")
        .AddPhysicDbGroup()
        .AddPhysicTable<Base_UnitTest>("Base_UnitTest_0")
        .AddPhysicTable<Base_UnitTest>("Base_UnitTest_1")
        .AddPhysicTable<Base_UnitTest>("Base_UnitTest_2")
        .SetShardingRule(new Base_UnitTestShardingRule());
});

上述代码中完成了 Sharding 配置

  • AddAbsDb是指添加抽象数据库,抽象数据库就是将多个分库看成同一个数据库来进行操作
  • AddPhysicDbGroup是指添加物理数据库组,在同一组物理数据库中,它们数据库类型相同,拥有的表相同,每个数据库拥有的数据是一致的(之间通过主主复制或主从复制进行数据同步)
  • AddPhysicTable是指添加物理数据表,传入的 Base_UnitTest 是抽象数据表(即将 Base_UnitTest 拆分为 Base_UnitTest_0~2)
  • Base_UnitTestShardingRule是采用的分表规则,上述代码中采用的是哈希取模的分表方式

使用

配置完成，下面开始使用，使用方式非常简单，与平常使用基本一致
首先获取分片仓储接口 IShardingRepository

using(IShardingRepository _db = DbFactory.GetShardingRepository())
{

}

然后即可进行数据操作：

Base_UnitTest _newData  = new Base_UnitTest
{
    Id = Guid.NewGuid().ToString(),
    UserId = "Admin",
    UserName = "超级管理员",
    Age = 22
};
List<Base_UnitTest> _insertList = new List<Base_UnitTest>
{
    new Base_UnitTest
    {
        Id = Guid.NewGuid().ToString(),
        UserId = "Admin1",
        UserName = "超级管理员 1",
        Age = 22
    },
    new Base_UnitTest
    {
        Id = Guid.NewGuid().ToString(),
        UserId = "Admin2",
        UserName = "超级管理员 2",
        Age = 22
    }
};
//添加单条数据
_db.Insert(_newData);
//添加多条数据
_db.Insert(_insertList);
//清空表
_db.DeleteAll<Base_UnitTest>();
//删除单条数据
_db.Delete(_newData);
//删除多条数据
_db.Delete(_insertList);
//删除指定数据
_db.Delete<Base_UnitTest>(x => x.UserId == "Admin2");
//更新单条数据
_db.Update(_newData);
//更新多条数据
_db.Update(_insertList);
//更新单条数据指定属性
_db.UpdateAny(_newData, new List<string> { "UserName", "Age" });
//更新多条数据指定属性
_db.UpdateAny(_insertList, new List<string> { "UserName", "Age" });
//更新指定条件数据
_db.UpdateWhere<Base_UnitTest>(x => x.UserId == "Admin", x =>
{
    x.UserId = "Admin2";
});
//GetList 获取表的所有数据
var list=_db.GetList<Base_UnitTest>();
//GetIQPagination 获取分页后的数据
var list=_db.GetIShardingQueryable<Base_UnitTest>().GetPagination(pagination);
//Max
var max=_db.GetIShardingQueryable<Base_UnitTest>().Max(x => x.Age);
//Min
var min=_db.GetIShardingQueryable<Base_UnitTest>().Min(x => x.Age);
//Average
var min=_db.GetIShardingQueryable<Base_UnitTest>().Average(x => x.Age);
//Count
var min=_db.GetIShardingQueryable<Base_UnitTest>().Count();
//事务,使用方式与普通事务一致
bool succcess = _db.RunTransaction(() =>
{
    _db.Insert(_newData);
    var newData2 = _newData.DeepClone();
    _db.Insert(newData2);
}).Success;
Assert.AreEqual(succcess, false);

上述操作中表面上是操作 Base_UnitTest 表，实际上却在按照一定规则使用 Base_UnitTest_0~2 三张表，使分片对业务操作透明，极大提高开发效率
具体使用方式请参考单元测试源码：连接

按时间自动分表

上面的哈希取模的方式虽然简单,但是却十分不实用,因为当 3 张分表到达瓶颈时,将会面临扩容的问题，这种方式扩容需要进行大量的数据迁移，这无疑是十分麻烦的。因此需要一种方式能够系统自动建表扩容，并且无需人工干预，这就是按时间自动分表.


using Demo.Common;
using EFCore.Sharding;
using System;
using System.Collections.Generic;
using System.Threading;
using System.Threading.Tasks;

namespace Demo.AutoExpandByDate
{
    class Base_UnitTestShardingRule : AbsShardingRule<Base_UnitTest>
    {
        public override DateTime BuildDate(Base_UnitTest obj)
        {
            return obj.CreateTime;
        }
    }

    class Program
    {
        /// <summary>
        /// 表都在同一个数据库中
        /// </summary>
        public static void OneGroup()
        {
            DateTime startTime = DateTime.Now.AddMinutes(-5);
            DateTime endTime = DateTime.MaxValue;

            //配置初始化
            ShardingConfig.Init(config =>
            {
                config.AddAbsDb(DatabaseType.SqlServer)//添加抽象数据库
                    .AddPhysicDbGroup()//添加物理数据库组
                    .AddPhysicDb(ReadWriteType.Read | ReadWriteType.Write, Config.ConString1)//添加物理数据库 1
                    .SetShardingRule(new Base_UnitTestShardingRule())//设置分表规则
                    .AutoExpandByDate<Base_UnitTest>(//设置为按时间自动分表
                        ExpandByDateMode.PerMinute,
                        (startTime, endTime, ShardingConfig.DefaultDbGourpName)
                        );
            });
            var db = DbFactory.GetShardingRepository();
            while (true)
            {
                db.Insert(new Base_UnitTest
                {
                    Id = Guid.NewGuid().ToString(),
                    Age = 1,
                    UserName = Guid.NewGuid().ToString(),
                    CreateTime = DateTime.Now
                });

                var count = db.GetIShardingQueryable<Base_UnitTest>().Count();
                Console.WriteLine($"当前数据量:{count}");

                Thread.Sleep(50);
            }
        }

        /// <summary>
        /// 表分布在两个数据库测试
        /// </summary>
        public static void TwoGroup()
        {
            DateTime startTime1 = DateTime.Now.AddMinutes(-5);
            DateTime endTime1 = DateTime.Now.AddMinutes(5);
            DateTime startTime2 = endTime1;
            DateTime endTime2 = DateTime.MaxValue;

            string group1 = "group1";
            string group2 = "group2";

            //配置初始化
            ShardingConfig.Init(config =>
            {
                config.AddAbsDb(DatabaseType.SqlServer)//添加抽象数据库
                    .AddPhysicDbGroup(group1)//添加物理数据库组 1
                    .AddPhysicDbGroup(group2)//添加物理数据库组 2
                    .AddPhysicDb(ReadWriteType.Read | ReadWriteType.Write, Config.ConString1, group1)//添加物理数据库 1
                    .AddPhysicDb(ReadWriteType.Read | ReadWriteType.Write, Config.ConString2, group2)//添加物理数据库 2
                    .SetShardingRule(new Base_UnitTestShardingRule())//设置分表规则
                    .AutoExpandByDate<Base_UnitTest>(//设置为按时间自动分表
                        ExpandByDateMode.PerMinute,
                        (startTime1, endTime1, group1),
                        (startTime2, endTime2, group2)
                        );
            });

            List<Task> tasks = new List<Task>();
            for (int i = 0; i < 4; i++)
            {
                tasks.Add(Task.Run(() =>
                {
                    var db = DbFactory.GetShardingRepository();
                    while (true)
                    {
                        db.Insert(new Base_UnitTest
                        {
                            Id = Guid.NewGuid().ToString(),
                            Age = 1,
                            UserName = Guid.NewGuid().ToString(),
                            CreateTime = DateTime.Now
                        });

                        var count = db.GetIShardingQueryable<Base_UnitTest>().Count();
                        Console.WriteLine($"当前数据量:{count}");

                        Thread.Sleep(50);
                    }
                }));
            }

            Console.ReadLine();
        }

        static void Main(string[] args)
        {
            OneGroup();

            Console.ReadLine();
        }
    }
}

上面 Demo 都在源码中

上面的代码实现了将 Base_UnitTest 表按照时间自动分表，每分钟创建一张表，实际使用中根据业务需求设置 ExpandByDateMode 参数，常用按天、按月分表

自动分表效果
EFCore.Sharding(EFCore 开源分表框架)
全程无需人工干预，系统会自动定时创建分表，十分简单好用

性能测试

using Demo.Common;
using EFCore.Sharding;
using System;
using System.Diagnostics;
using System.Linq;

namespace Demo.Performance
{
    class Base_UnitTestShardingRule : ModShardingRule<Base_UnitTest>
    {
        protected override string KeyField => "Id";
        protected override int Mod => 3;
    }

    class Program
    {
        static void Main(string[] args)
        {
            ShardingConfig.Init(config =>
            {
                config.AddAbsDb(DatabaseType.SqlServer)
                    .AddPhysicDb(ReadWriteType.Read | ReadWriteType.Write, Config.ConString1)
                    .AddPhysicDbGroup()
                    .AddPhysicTable<Base_UnitTest>("Base_UnitTest_0")
                    .AddPhysicTable<Base_UnitTest>("Base_UnitTest_1")
                    .AddPhysicTable<Base_UnitTest>("Base_UnitTest_2")
                    .SetShardingRule(new Base_UnitTestShardingRule());
            });

            var db = DbFactory.GetRepository(Config.ConString1, DatabaseType.SqlServer);
            Stopwatch watch = new Stopwatch();
            var q = db.GetIQueryable<Base_UnitTest>()
                .Where(x => x.UserName.Contains("00001C22-8DD2-4D47-B500-407554B099AB"))
                .OrderByDescending(x => x.Id)
                .Skip(0)
                .Take(30);

            q.ToList();
            q.ToSharding().ToList();
            watch.Restart();
            var list1 = q.ToList();
            watch.Stop();
            Console.WriteLine($"未分表耗时:{watch.ElapsedMilliseconds}ms");
            watch.Restart();
            var list2 = q.ToSharding().ToList();
            watch.Stop();
            Console.WriteLine($"分表后耗时:{watch.ElapsedMilliseconds}ms");

            Console.WriteLine("完成");
        }
    }
}

分表 Base_UnitTest_0-2 各有 100 万数据,然后将这三张表的数据导入 Base_UnitTest 中(即 Base_UnitTest 表的数据与 Base_UnitTest_0-2 三张表总合数据一致)

分表与不分表测试结果如下

EFCore.Sharding(EFCore 开源分表框架)

这里仅仅分了 3 张表，其效果立杆见影，若分表几十张，那效果想想就很棒

其它简单操作(非 Sharing)

框架不仅支持 Sharing,而且封装了常用数据库操作,使用比较简单
详细使用方式参考 链接

来源： 寒空飞箭 https://www.cnblogs.com/coldairarrow/p/12733886.html

© 版权声明
博主的文章没有高度、深度和广度，只是凑字数。利用读书、参考、引用、抄袭、复制和粘贴等多种方式打造成自己的纯镀 24k 文章！如若有侵权，请联系博主删除。

☆ END ☆
后端开发
# .net core# Nginx# Linux# EFCore
喜欢就点个赞吧
点赞0 分享
相关推荐
图片正在生成中，请稍后...