主页-佰创娱乐挂机「主页，本文章收录在MySQL性能优化原理实战专栏点击此处查看更多优质内容。

　　通过前边的内容相信大家都知道了表空间是一个抽象的概念对于系统表空间来说对应着文件系统中一个或多个实际文件对于每个独立表空间来说对应着文件系统中一个名为表名.ibd的实际文件。

　　大家可以把表空间想象成被切分为许多个页的池子当我们想为某个表插入一条记录的时候就从池子中捞出一个对应的页来把数据写进去。

　　本章内容会深入到表空间的各个细节中带领大家在InnoDB存储结构的池子中畅游。由于本章中将会涉及比较多的概念虽然这些概念都不难但是却相互依赖所以奉劝大家看的时候不要跳着看

　　在这里再次强调一下InnoDB是以页为单位管理存储空间的我们的聚簇索引也就是完整的表数据和其他的二级索引都是以B树的形式保存到表空间的而B树的节点就是数据页。我们前边说过这个数据页的类型名其实是fil_page_index。除了这种存放索引数据的页面类型之外InnoDB也为了不同的目的设计了若干种不同类型的页面下面这张表相信大家一定很熟悉了

　　我们在之前文章MySQL之数据页结构中说过数据页也就是index类型的页由7个部分组成其中的两个部分是所有类型的页面都通用的当然我不能寄希望于你把我说的线c;所以在这里重新强调一遍任何类型的页面都有下边这种通用的结构

　　从上图中可以看出任何类型的页都会包含这两个部分

　　现在除了名称里边儿带有LSN的两个字段大家可能看不懂以外其他的字段肯定都是非常熟悉了不过我们仍要强调这么几点

　　某些类型的页可以组成链表链表中的页可以不按照物理顺序存储而是根据fil_page_prev和fil_page_next来存储上一个页和下一个页的页号。需要注意的是这两个字段主要是为了index类型的页也就是我们之前一直说的数据页建立B树后为每层节点建立双向链表用的一般类型的页是不使用这两个字段的

　　每个页的类型由fil_page_type表示比如像数据页的该字段的值就是0x45bf我们后边会介绍各种不同类型的页不同类型的页在该字段上的值是不同的

　　我们知道InnoDB支持许多种类型的表空间本文重点关注独立表空间和系统表空间的结构。它们的结构比较相似但是由于系统表空间中额外包含了一些关于整个系统的信息所以我们先挑简单一点的独立表空间来介绍稍后再说系统表空间的结构

　　表空间中的页实在是太多了为了更好的管理这些页面InnoDB提出了区英文名extent的概念。对于16KB的页来说连续的64个页就是一个区也就是说一个区默认占用1MB空间大小。不论是系统表空间还是独立表空间都可以看成是由若干个区组成的每256个区被划分成一组。画个图表示就是这样

　　第一个组最开始的3个页面的类型是固定的也就是说extent 0这个区最开始的3个页面的类型是固定的分别是

　　宏观的结构就是这样了里边的名词大家也不用记的太清楚只要大致记得表空间被划分为许多连续的区每个区默认由64个页组成每256个区划分为一组每个组的最开始的几个页面类型是固定的就好了

　　如果我们表中数据量很少的线c;如你的表中只有几十条、几百条数据的线c;的确用不到区的概念因为简单的几个页就能把对应的数据存储起来但是后期你架不住表里的记录越来越多。

　　从理论上说不引入区的概念只使用页的概念对存储引擎的运行并没啥影响但是我们来考虑一下下边这个场景

　　代表的B树的节点中插入数据。而B树的每一层中的页都会形成一个双向链表如果是

　　以页为单位来分配存储空间的线c;双向链表相邻的两个页之间的物理位置可能离得非常远

　　然后沿着双向链表一直扫描就可以了而如果链表中相邻的两个页

　　磁盘的速度和内存的速度差了好几个数量级随机I/O是非常慢的所以我们应该尽量让链表中相邻的页的物理位置也相邻这样进行范围查询的时候才可以使用所谓的顺序I/O。

　　所以才引入了区extent的概念一个区就是在物理位置上连续的64个页1M。在表中数据量大的时候为某个索引分配空间的时候就不再按照页为单位分配了而是按照区为单位分配甚至在表中的数据十分非常特别多的时候可以一次性分配多个连续的区。虽然可能造成一点点空间的浪费数据不足填充满整个区但是从性能角度看可以消除很多的随机I/O功大于过。

　　我们提到的范围查询其实是对B树叶子节点中的记录进行顺序扫描而如果不区分叶子节点和非叶子节点统统把节点代表的页面放到申请到的区中的线c;进行范围扫描的效果就大打折扣了。所以InnoDB对B树的叶子节点和非叶子节点进行了区别对待也就是说叶子节点有自己独有的区非叶子节点也有自己独有的区。存放叶子节点的区的集合就算是一个段segment存放非叶子节点的区的集合也算是一个段。也就是说一个索引会生成2个段一个叶子节点段一个非叶子节点段。

　　默认情况下一个使用InnoDB存储引擎的表只有一个聚簇索引一个索引会生成2个段而段是以区为单位申请存储空间的一个区默认占用1M存储空间所以默认情况下一个只存了几条记录的小表也需要2M的存储空间么以后每次添加一个索引都要多申请2M的存储空间么

　　这对于存储记录比较少的表简直是天大的浪费。InnoDB挺节俭的当然也考虑到了这种情况。这个问题的症结在于到现在为止我们介绍的区都是非常纯粹的也就是一个区被整个分配给某一个段或者说区中的所有页面都是为了存储同一个段的数据而存在的即使段的数据填不满区中所有的页面那余下的页面也不能挪作他用。现在为了考虑以完整的区为单位分配给某个段对于数据量较小的表太浪费存储空间的这种情况InnoDB提出了一个碎片fragment区的概念也就是在一个碎片区中并不是所有的页都是为了存储同一个段的数据而存在的而是碎片区中的页可以用于不同的目的比如有些页用于段A有些页用于段B有些页甚至哪个段都不属于。碎片区直属于表空间并不属于任何一个段。所以此后为某个段分配存储空间的策略是这样的

　　在刚开始向表中插入数据的时候段是从某个碎片区以单个页面为单位来分配存储空间的

　　当某个段已经占用了32个碎片区页面之后就会以完整的区为单位来分配存储空间

　　所以现在段不能仅定义为是某些区的集合更精确的应该是某些零散的页面以及一些完整的区的集合。除了索引的叶子节点段和非叶子节点段之外InnoDB中还有为存储一些特殊的数据而定义的段比如回滚段当然我们现在并不关心别的类型的段现在只需要知道段是一些零散的页面以及一些完整的区的集合就好了。

　　表空间的是由若干个区组成的这些区大体上可以分为4种类型

　　没有剩余空间的碎片区表示碎片区中的所有页面都被使用没有空闲页面。

　　附属于某个段的区每一个索引都可以分为叶子节点段和非叶子节点段除此之外InnoDB还会另外定义一些特殊作用的段在这些段中的数据量很大时将使用区来作为基本的分配单位。

　　如果把表空间比作是国家段就相当于省区就相当于市。一般的市都是属于某个省就像fseg状态的区全部属于某个段。而free、free_frag以及full_frag这三种状态的区却直接隶属于表空间就像北京市、天津市、上海市是直接属于国家管理一样。

　　每一个段都有一个唯一的编号用ID表示此处的Segment ID字段表示就是该区所在的段。当然前提是该区已经被分配给某个段了不然的话该字段的值没啥意义。

　　如果我们想定位表空间内的某一个位置的线c;只需指定页号以及该位置在指定页号中的页内偏移量即可。所以

　　这个部分共占用16个字节也就是128个比特位。我们说一个区默认有64个页这128个比特位被划分为64个部分每个部分2个比特位对应区中的一个页。比如Page State Bitmap部分的第1和第2个比特位对应着区中的第1个页面第3和第4个比特位对应着区中的第2个页面依此类推Page State Bitmap部分的第127和128个比特位对应着区中的第64个页面。 傲世皇朝注册，这两个比特位的第一个位表示对应的页是否是空闲的第二个比特位还没有用

　　到现在为止我们已经提出了区、段、碎片区、附属于段的区、XDES Entry等概念我们把事情搞这么麻烦的初心仅仅是想提高向表插入数据的效率又不至于数据量少的表浪费空间。现在我们知道向表中插入数据本质上就是向表中各个索引的叶子节点段、非叶子节点段插入数据也知道了不同的区有不同的状态再回到最初的起点捋一捋向某个段中插入数据的过程

　　当段中数据较少的时候首先会查看表空间中是否有状态为free_frag的区也就是找还有空闲空间的碎片区如果找到了那么从该区中取一些零散的页把数据插进去否则到表空间下申请一个状态为free的区也就是空闲的区把该区的状态变为free_frag然后从该新申请的区中取一些零散的页把数据插进去。之后不同的段使用零散页的时候都会从该区中取直到该区中没有空闲空间然后该区的状态就变成了full_frag。

　　这样每当我们想找一个free_frag状态的区时就直接把free_frag链表的头节点拿出来从这个节点中取一些零散的页来插入数据当这个节点对应的区用完时就修改一下这个节点的state字段的值然后从free_frag链表中移到full_frag链表中。同理如果free_frag链表中一个节点都没有那么就直接从free链表中取一个节点移动到free_frag链表的状态并修改该节点的state字段值为free_frag然后从这个节点对应的区中获取零散的页就好了。

　　当段中数据已经占满了32个零散的页后就直接申请完整的区来插入数据了。

　　还是那个问题我们怎么知道哪些区属于哪个段的呢再遍历各个XDES Entry结构遍历是不可能遍历的这辈子都不可能遍历的有链表还遍历个毛线啊。所以我们把状态为fseg的区对应的xdes entry结构都加入到一个链表喽傻呀不同的段哪能共用一个区呢你想把索引a的叶子节点段和索引b的叶子节点段都存储到一个区中么显然我们想要每个段都有它独立的链表所以可以根据段号也就是segment id来建立链表有多少个段就建多少个链表好像也有点问题因为一个段中可以有好多个区有的区是完全空闲的有的区还有一些页面可以用有的区已经没有空闲页面可以用了所以我们有必要继续细分innodb为每个段中的区对应的xdes entry结构建立了三个链表

　　强调一遍每一个索引都对应两个段每个段都会维护上述的3个链表。举个例子比如下边这个表

　　这个表t共有两个索引一个聚簇索引一个二级索引idx_c2所以这个表共有4个段每个段都会维护上述3个链表总共是12个链表加上我们上边说过的直属于表空间的3个链表整个独立表空间共需要维护15个链表。所以段在数据量比较大时插入数据的线c;会先获取not_full链表的头节点直接把数据插入这个头节点对应的区中即可如果该区的空间已经被用完就把该节点移到full链表中。

　　上边介绍了很多链表怎么找到这些链表呢或者说怎么找到某个链表的头节点或者尾节点在表空间中的位置呢InnoDB当然考虑了这个问题设计了一个叫List Base Node的结构翻译成中文就是链表的基节点。这个结构中包含了链表的头节点和尾节点的指针以及这个链表中包含了多少节点的信息我们画图看一下这个结构的示意图

　　一般我们把某个链表对应的List Base Node结构放置在表空间中固定的位置这样想找定位某个链表就变得非常简单啦。

　　综上所述表空间是由若干个区组成的每个区都对应一个XDES Entry的结构直属于表空间的区对应的XDES Entry结构可以分成free、free_frag和full_frag这3个链表每个段可以附属若干个区每个段中的区对应的XDES Entry结构可以分成free、not_full和full这3个链表。每个链表都对应一个List Base Node的结构这个结构里记录了链表的头、尾节点的位置以及该链表中包含的节点数。正是因为这些链表的存在管理这些区才变成了一件非常简单的事情。

　　我们前边说过段其实不对应表空间中某一个连续的物理区域而是一个逻辑上的概念由若干个零散的页面以及一些完整的区组成。像每个区都有对应的XDES Entry来记录这个区中的属性一样InnoDB为每个段都定义了一个INODE Entry结构来记录一下段中的属性。大家看一下示意图

　　段是一些零散页面和一些完整的区的集合每个Fragment Array Entry结构都对应着一个零散的页面这个结构一共4个字节表示一个零散页面的页号。

　　结合着这个INODE Entry结构大家可能对段是一些零散页面和一些完整的区的集合的理解再次深刻一些

　　表空间的第一个页面页号为0。这个页面的类型是FSP_HDR它存储了表空间的一些整体属性以及第一个组内256个区的对应的XDES Entry结构直接看这个类型的页面的示意图

　　一个完整的FSP_HDR类型的页面大致由5个部分组成各个部分的具体释义如下表

　　这个部分是用来存储表空间的一些整体属性信息的详看下图

　　这三个大家看着太亲切了分别是直属于表空间的FREE链表的基节点、FREE_FRAG链表的基节点、FULL_FRAG链表的基节点这三个链表的基节点在表空间的位置是固定的就是在表空间的第一个页面也就是FSP_HDR类型的页面的File Space Header部分。所以之后定位这几个链表就很简单啦。

　　我们知道表空间都对应着具体的磁盘文件一开始我们创建表空间的时候对应的磁盘文件中都没有数据所以我们需要对表空间完成一个初始化操作包括为表空间中的区建立XDES Entry结构为各个段建立INODE Entry结构建立各种链表的各种操作。我们可以一开始就为表空间申请一个特别大的空间但是实际上有绝大部分的区是空闲的我们可以选择把所有的这些空闲区对应的XDES Entry结构加入FREE链表也可以选择只把一部分的空闲区加入FREE链表等啥时候空闲链表中的XDES Entry结构对应的区不够使了再把之前没有加入FREE链表的空闲区对应的XDES Entry结构加入FREE链表中心思想就是啥时候用到啥时候初始化InnoDB采用的就是后者他们为表空间定义了FREE Limit这个字段在该字段表示的页号之前的区都被初始化了之后的区尚未被初始化。

　　表中每个索引都对应2个段每个段都有一个唯一的ID那当我们为某个表新创建一个索引的时候就意味着要创建两个新的段。那怎么为这个新创建的段找一个唯一的ID呢去遍历现在表空间中所有的段么我们说过遍历是不可能遍历的这辈子都不可能遍历InnoDB提出了这个名叫Next Unused Segment ID的字段该字段表明当前表空间中最大的段ID的下一个ID这样在创建新段的时候赋予新段一个唯一的ID值就so easy啦直接使用这个字段的值就好了。

　　表空间对于一些布尔类型的属性或者只需要寥寥几个比特位搞定的属性都放在了这个Space Flags中存储虽然它只有4个字节32个比特位大小却存储了好多表空间的属性详细情况如下表

　　由于我们现在还没有详细介绍INODE类型页所以等会说过INODE类型的页之后再回过头来看着两个链表。

　　因为每个区对应的XDES Entry结构的地址是固定的所以我们访问这些结构就非常简单啦。

　　每一个XDES Entry结构对应表空间的一个区虽然一个XDES Entry结构只占用40字节但你抵不住表空间的区的数量也多啊。在区的数量非常多时一个单独的页可能就不够存放足够多的XDES Entry结构所以我们把表空间的区分为了若干个组每组开头的一个页面记录着本组内所有的区对应的XDES Entry结构。由于第一个组的第一个页面有些特殊因为它也是整个表空间的第一个页面所以除了记录本组中的所有区对应的XDES Entry结构以外还记录着表空间的一些整体属性这个页面的类型就是我们刚刚说完的FSP_HDR类型整个表空间里只有一个这个类型的页面。除去第一个分组以外之后的每个分组的第一个页面只需要记录本组内所有的区对应的XDES Entry结构即可不需要再记录表空间的属性了为了和FSP_HDR类型做区别我们把之后每个分组的第一个页面的类型定义为XDES它的结构和FSP_HDR类型是非常相似的

　　与FSP_HDR类型的页面对比除了少了File Space Header部分之外也就是除了少了记录表空间整体属性的部分之外其余的部分是一样一样的。

　　每个分组的第二个页面的类型都是IBUF_BITMAP这种类型的页里边记录了一些有关Change Buffer的信息。

　　再次对比前边介绍表空间的图第一个分组的第三个页面的类型是INODE。我们前边说过InnoDB为每个索引定义了两个段而且为某些特殊功能定义了些特殊的段。为了方便管理他们又为每个段设计了一个INODE Entry结构这个结构中记录了关于这个段的相关属性。而我们这会儿要介绍的这个INODE类型的页就是为了存储INODE Entry结构而存在的。

　　首先看INODE Entry部分我们前边已经详细介绍过这个结构的组成了主要包括对应的段内零散页面的地址以及附属于该段的FREE、NOT_FULL和FULL链表的基节点。每个INODE Entry结构占用192字节一个页面里可以存储85个这样的结构。

　　想必大家已经认出这两个链表了我们前边提到过这两个链表的基节点就存储在File Space Header里边也就是说这两个链表的基节点的位置是固定的所以我们可以很轻松的访问到这两个链表。以后每当我们新创建一个段创建索引时就会创建段时都会创建一个INODE Entry结构与之对应存储INODE Entry的大致过程就是这样的

　　我们知道一个索引会产生两个段分别是叶子节点段和非叶子节点段而每个段都会对应一个INODE Entry结构那我们怎么知道某个段对应哪个INODE Entry结构呢所以得找个地方记下来这个对应关系。记得之前学习过的数据页MySQL之数据页结构也就是INDEX类型的页有一个Page Header部分所以把Page Header部分粘一下

　　这样子就很清晰了PAGE_BTR_SEG_LEAF记录着叶子节点段对应的INODE Entry结构的地址是哪个表空间的哪个页面的哪个偏移量PAGE_BTR_SEG_TOP记录着非叶子节点段对应的INODE Entry结构的地址是哪个表空间的哪个页面的哪个偏移量。这样子索引和其对应的段的关系就建立起来了。不过需要注意的一点是因为一个索引只对应两个段所以只需要在索引的根页面中记录这两个结构即可。

　　上边的这些概念已经压的快喘不过气了。不过独立表空间有那么大么我到数据目录里看了一个新建的表对应的.ibd文件只占用了96K才6个页面大小上边的说了那么多概念那么大的空间占用为什么只有96KB大小

　　一开始表空间占用的空间自然是很小因为表里边都没有数据。.ibd文件是自扩展的随着表中数据的增多表空间对应的文件也逐渐增大。

　　了解完了独立表空间的基本结构系统表空间的结构也就好理解多了系统表空间的结构和独立表空间基本类似只不过由于整个MySQL进程只有一个系统表空间在系统表空间中会额外记录一些有关整个系统信息的页面所以会比独立表空间多出一些记录这些信息的页面。因为这个系统表空间最厉害相当于是表空间之首所以它的表空间 IDSpace ID是0。

　　系统表空间与独立表空间的一个非常明显的不同之处就是在表空间开头有许多记录整个系统属性的页面如图

　　使用这个TABLE_ID到SYS_COLUMNS表中就可以获取到属于该表的所有列的信息。

　　使用这个TABLE_ID还可以到SYS_INDEXES表中获取所有的索引的信息索引的信息中包括对应的INDEX_ID还记录着该索引对应的B数根页面是哪个表空间的哪个页面。

　　使用INDEX_ID就可以到SYS_FIELDS表中获取所有索引列的信息。

　　也就是说这4个表是表中之表那这4个表的元数据去哪里获取呢没法搞了只能把这4个表的元数据就是它们有哪些列、哪些索引等信息硬编码到代码中InnoDB拿出一个固定的页面来记录这4个表的聚簇索引和二级索引对应的B树位置这个页面就是页号为7的页面类型为SYS记录了Data Dictionary Header也就是数据字典的头部信息。除了这4个表的5个索引的根页面信息外这个页号为7的页面还记录了整个InnoDB存储引擎的一些全局属性

　　可以看到这个页面里竟然有Segment Header部分意味着InnoDB把这些有关数据字典的信息当成一个段来分配存储空间我们就姑且称之为数据字典段吧。由于目前我们需要记录的数据字典信息非常少可以看到Data Dictionary Header部分仅占用了56字节所以该段只有一个碎片页也就是页号为7的这个页。

　　Max Space IDInnoDB存储引擎中的所有的表空间都对应一个唯一的ID每次新建一个表空间时就会把本字段的值作为该表空间的ID然后自增本字段的值。

　　以上就是页号为7的页面的全部内容看一次肯定懵一定要反复多看几次。

　　今天我们学习了关于InnoDB存储引擎表空间的结构通篇几乎全是概念、图片这部分知识本就枯燥乏味但是’春天’马上就到来最枯燥乏味的内容马上结束了。由于今天的内容都是偏理论的概念加上篇幅原因就不做知识点总结了。

　　今天的文章我第一次读原著时一脸懵逼好像知道了表空间结构是怎么一回事儿但是好像又讲不出来什么所以建议大家多看几次我相信一句线a;书读百遍其义自见。当你一次看不懂的时候就一定要多看几次。同时建议大家多动手画一画结构图这样理解起来更加深刻。

　　通过本文的学习知道了MySQL数据库设计之复杂、精妙。原书作者小孩子4919大佬钻研技术的深度是我目前所不能及的所以跟紧大佬的步伐每天进步一点点愿大家终将都会成为别人眼中的大佬共勉

　　package com.test.test04;/* * 1.什么是泛型方法 * 不是带泛型的方法就是泛型方法 * 泛型方法有要求这个方法的泛型的参数类型要和当前的类的泛型无关。 * 换个角度 * 泛型方法对应的那个泛型参数类型和当前所在的这个类是否是泛型类…

　　Runtime Editor的简单使用 版本v2.26 定位、旋转、伸缩变形句柄 添加句柄预制体 位置Battlehub→RTEditor→Content→Runtime→RTHandles→Prefabs PositionHandle移动句柄 RotationHandle旋转句柄 ScaleH…

　　1、ApiKit介绍及下载 ApiKitAPI 管理 Mock 自动化测试 异常监控 团队协作 结合 API 设计、文档管理、自动化测试、监控、研发管理和团队协作的一站式 API 生产平台从个人开发者到跨国企业用户Apikit 帮助全球超过50万开发者和10万家企业更快、更好…

　　今天来给大家推荐5款良心软件,每款都是经过时间检验的精品,用起来让你的工作效率提升飞快各个都让你觉得相见恨晚 1.颜色选择器——ColorPicker ColorPicker是一款用于在屏幕上选择颜色的工具。它可以让你快速地获取任意像素的颜色值,并复制到剪贴板…

　　职场是一场没有硝烟的战争想要在职场取得取胜就要拥有超能力。从职场小白晋升到管理层一路走来诸多不易想要坐稳或升得更高要不断提升自己能力要不间断地学习。社科院与美国杜兰大学能源管理硕士项目是你通关的密…

　　目录导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结尾部小惊喜 前言 性能测试面试常问…

　　安卓实现左侧列表选择项点击右侧fragment切换 问题背景 安卓日常开发中有时候需要开发页面中显示左侧会列表选择项点击不同的选项后右侧切换fragment显示本文将介绍实现的一个思路。 问题分析 要实现的效果如…

　　1.图的物理结构 一.邻接矩阵存储稠密图 用于存储无向图有向图总之各类图 优缺点适合存储稠密图属于上下三角矩阵有重复 复杂度O(V),空间O(V^2) 性质阶乘得到某一点的值为顶…