在多民族聚居的中华大地上，曾出现过一些少数民族政权。早期的少数民族因文化发展程度低，尚无自己的学校教育，十六国时期的后秦以及后来的北魏，曾仿效中原汉族办学。到女真族建立金朝，首次为本民族子弟办起女真国子学和地方女真学，但学习内容仍是中原的儒学。蒙古族建立的元朝疆域空前辽阔，在维持传统的中央和地方官学的同时，举办了蒙古国子学和地方上的蒙古字学，传授蒙古语言文字，还举办了传授西域波斯语言文字的回回国子学。清朝的江山是以满族为主体，联合蒙古族和关外汉族（称为汉军）组成的八旗劲旅打下来的，建国后举办了各类八旗子弟学校，满语（或蒙古语）和骑射是八旗学校共同的基础课程，为的是维护本民族文化传统和尚武精神。
中国古代除了宫廷贵族学校和个别朝代（例如北宋）在地方办过小学外，官方一般不举办初等教育。有条件的家庭由家长为子弟作启蒙教育，而没有条件接受家庭教育的儿童，则可以到从事启蒙教育的私学（统称蒙学）学习。例如东汉著名思想家王充，就是从“书馆”开始他的学习生涯。古代的蒙学，有家族或宗族举办的族学，有乡里举办的乡学，也有教师自己开设的私塾。低层次的蒙学，教会儿童认识日常用字即可；高层次的蒙学，则要完成基本学业，达到可以报考官学当秀才的程度，由此开始科举之途。蒙学的教学注重多认、多看和多写，诗文都要求熟读到背诵流畅的程度。蒙学教师对学生要求严厉，盛行体罚。虽然有呆板苛刻的弊病，但在基本功和行为常规训练上有可取之处。
《礼记‧学记》中记载学校应有“夏楚二物，收其威也”。“夏楚”就是责打学生用的篦板之类的器具，设置的目的是威慑学生，倒不是一定要用上。但由于古人提倡严师如严父，“教不严，师之惰”（《三字经》），体罚就是严加管教的体现。古代学校盛行体罚，尤其是对蒙学的儿童。东汉著名思想家王充回忆他8岁上“书馆”时，一共四十多个学生，几乎都挨过老师的教鞭抽打，只有他品学兼优，从未挨过打。蒙学的体罚种类多样，常用有罚站、罚跪、罚功课（将功课重做若干遍）、罚劳役，以及打手心、笞臀等。
鸦片战争后，中国无力抵御西方国家的步步入侵，清政府为了应付日益加剧的社会危机，不得不仿效西方制度进行某些改革，教育改革是其中的重点。1862年，第一所官办的近代新式学堂京师同文馆建立，此后各类专业技术学校和普通学校陆续在各地办起来。1901年，清政府下令将所有的书院全部改为学堂，其中设在省城的大书院改为高等学堂，设在府城的大书院改为中学堂，其余书院以及八旗学校都改为小学堂。1904年，清政府颁布学制，普通教育系统有大学堂、高等学堂、中学堂、高等小学堂、初等小学堂和蒙养院，与普通教育平行设立的有各级实业学堂和师范学堂，从而建立起现代学校体系。1905年，清政府废除科举制度，官学也随之消失。此后各类私塾经过政府改良，转变为小学。绵延两千多年的古代学校教育就此退出历史舞台。
