徽墨的生产始于南唐。创制人是奚超、奚廷父子。唐中叶至唐未，由于藩镇之乱，连年征战，大量的人口和经济重心南移，奚氏一家由河北易水（今易县）南迁，为黄山白岳之奇和练溪、新安之妙所吸引，遂定居歙州。奚氏父子本是制墨能工，此时得皖南的古松为原料，又改进了捣松、和胶等技术，终于创制出丰肌腻理，光泽如漆，经久不褪，香味浓郁的佳墨。南唐后主李煜，雅爱书法绘事，将召奚廷担任墨务官，井赐给国姓的奖励。于是，奚氏全家一变而为李氏。李廷成为古今墨家的宗师。宋宣和年间，就出现了黄金易得，李墨难求的局面。时，随着制里亚的繁荣，形成了徽人家传户习以及新安人例工制墨的盛况。黟县的张遇、黄山的沈桂、歙州的潘谷、新安的吴滋，等等，都是十到十一世纪制墨业的著名人物。张遇是油烟墨的创始人，以制供御墨闻名于世，其龙香剂为历代收藏家追求的瑰宝；沈以占松煤用脂、漆滓烧之，得烟极黑，名为漆烟，人称其墨“十年如石，一点如漆”；吴磁所造之墨的妙处在于滓不留砚，曾得宋孝宗犒赏缗线二万的奖励。风靡一时的制墨高手潘谷，被世人誉为墨仙。他制的松丸、狻猊等墨品，具有香彻肌骨、磨研至尽、而香不衰的优点，被称为“墨中神品”。宋善和三年（公元1121年）歙州更名为徽州，李墨及其他各家之墨，遂统一定称为徽墨。徽墨之名逐渐形成，相沿至今。
到明代，经受万元朝贵族严重摧残的制墨业重新复苏；制墨工人激增，文人兼作制墨成为一时的风气。特别是明朝嘉靖到万历年间，由于资本主义萌芽的刺激，引起了制墨业的剧烈竞争；并随着徽州商业的繁荣，使徽墨传遍全国，乃至海外。据明末麻三衡的《墨志》记载明代徽州墨工竟达一百二十多家。嘉靖年间的方正、邵格之、罗小华以及万历中期的程君房、方于鲁、汪春元、叶立卿等，都是在激烈竞争中相继兴起、各树一帜的代表人物。这时期的制墨特点是桐油烟、漆烟被广泛采用，并加入麝香、冰片、金箔等十几种贵重原料，不仅质量精良，而且墨谱的图式、墨模的雕刻，也各尽其美，达到历史上最高水平。在此期间，富有装饰性的成套丛墨－集锦墨，也开始出现，就连装墨的漆盒也非常精致。至清初，制墨倾向于实用美观，集锦墨和另锭墨进一步盛行。歙县的曹素功、绩溪的汪近圣、歙县的任节庵以及稍后崛起的胡开文，被称为清代四大造墨名家。
相传康熙皇帝南巡时，曹素功献墨，颇得赏识，遂赐紫玉光三字，于是名声益震。汪近圣以制集锦墨著称，其雕镂之工，装式之巧，无不备美，他的侄子汪惟高曾应召人清内府教习制墨。咸丰年间，鸦片战争之后，整个制墨业陷入赖帐不振的境地，胡开文的墨店却由于徒孙众多，分布大江南北，故其墨行销国内外，独里一时之秀。胡氏的地球墨于一九一五年在美国举办的巴拿马博览会上获得金质奖章和南京南洋劝业会忧等奖状。时至今天，时过进迁，人们仍能看到胡氏早期的织耕图墨、四阁藏书墨以及苍佩宝墨等珍品。
解放前夕，徽墨业已处于衰微阶段。解放后，一九五六年分别在屯溪、歙县成立了徽州墨厂和歙县徽墨厂；绩溪县成立了徽墨生产合作社；泾县文化用品厂稍后也恢复生产，久负盛名的徽墨获得新生。广大制墨工人在继承传统技法的同时，不断加以革新，工艺精益求精，品种日新月异。徽墨按质分高、中、低三档；按取料不同分超激烟、桐油烟、松烟、全烟、净烟、减胶、加香等数种，其中以超漆、桐油两种烟墨尤为著称。目前，墨厂不仅大量生产书画用墨，还继承明清两代的优秀传统，制作了成套的集锦墨。