中國有制作硯臺的悠久歷史。據專家考證，在彩陶文化時期，硯或硯的雛形就已經存在。當時，它的主要功能是研磨用來制作彩陶的顏料。
硯誕生於五千年前的新石器時代。1980年在臨潼姜寨遺址發現的仰韶文化時期的硯臺是目前所見最古老的實物。這個古言有硯蓋和研磨臺，當時沒有石頭研究。硯心微凹，已經不是壹般的磨工了，和漢代的硯很像。硯彎有陶水缸，黑顏料五件，硯、水、墨壹應俱全。
顯然，這是我們的祖先用杵研磨顏料的早期硯的形狀。因為這個遺址屬於母系氏族時期的仰韶文化，所以這塊硯臺的實際壽命已經超過了5000年。
從仰韶文化時期到漢代，中國和古言壹直處於緩慢發展的狀態。磨墨所用的文具最初的形態是比較平的河石，所以《說文》把硯解釋為滑石。此外，由於早期的墨水呈顆粒狀或片狀，無法制成墨錠，不便於握持。所以秦漢古硯上往往附有杵石，用來壓住墨粒，使其在使用前溶解在液體中。
在此期間，我們的祖先對硯臺的形狀和質量進行了不懈的改進。除了普通的硯臺，還有陶硯、銅硯和漆硯。