东汉建安五年(200年)，汉寿亭侯关羽挂印封金，护卫着甘、糜二夫人离开曹营，过关斩将，进发河北。路经汜水关时，守将卞善欲借镇国寺宴请关羽之机，击笺为号，加害于他。寺僧普净与关羽为蒲州同乡，不忍义友罹难，遂将此凶讯及时告知关羽，方得脱险。关羽走后，普净自知当地难留，便收抬衣钵，云游至玉泉山，辟荒拓野，筑茅而居，这便是玉泉寺最初的雏形。
普净和尚在此坐禅修道十余载。蜀主刘备为酬谢其救弟之恩，敕令拨款建寺，取名“普净庵”。
建安十四年(219年)，关羽失守荆州，败走麦城，被吕蒙所害，安葬于普净庵东20余里处(今当阳县城西北关陵庙内)。据说，关羽虽躯身被斩，阴魂却聚结不散，随着一阵轻风悠悠荡荡飘至玉泉山普净庵上空，颤声大呼：“还我头来!”
这日，普净正在庵中打坐，听上空有阴魂作响，仰面谛视，见云端立一红面长髯的大汉，腿跨赤兔马，手握偃月刀，两侧站着白脸、黑脸二虎将，知是关羽前来，遂对空中喊道：“云长兄安在?”
关羽驰马乘风而下，落于庵外，叉手询问：“尊师为何人?愿求法号。”
普净说：“老僧普净，昔日汜水关镇国寺中，曾与君侯相会，今日岂可忘记哩?”
关羽见恩公在此，伏头纳拜，道：“向蒙相救，铭记不忘。今关某已遇祸而死.愿求指点迷津。”
普净道：“世间是非，何求论断，前因后果，生死轮回。今将军已被吕蒙所害，大呼还我头来，然则颜良、文丑、五关六将，又向谁索头耶?”
关羽一经点化，天机顿悟，稽首皈归而去。那赤兔马亦受感动，四蹄刨土，掘成大坑，喷出一泓碧澈泉水，飞涛溅沫，急湍奔流。这就是“珍珠泉”，位于今玉泉寺左侧，又名“马跑泉”。泉流附近，竖立着一块明万历年间制作的石望表，上刻“关云长显圣处”。传说，关羽曾多次在玉泉山显圣护民，深受爱戴，人们便以“关公”、“关圣”相称，奉祀他的关帝庙遍及全国各地。
玉泉寺的正式命名始于隋开皇十二年(582年)。当时，被晋王杨广封为“智者大师”的高僧智顗，自天台山参访此地，暂居普净庵内传法。杨广与智顗私交甚深，便下令在普净庵旧址大兴土木，建成一座颇具规模的寺院，取名“玉泉寺”，并亲书“智者道场”匾额悬于寺内大雄宝殿上。
智顗大师在玉泉寺举行盛大法会，为关公父子受菩萨戒，超度忠魂。他还广开佛缘，宣讲《法华经》，传经布道达三年之久。当时，天下僧俗闻风踵至，玉泉寺声名日振。