三十二岁那年，慧可禅师又回到香山，放弃了过去那种单纯追求文字知见的做法，开始实修。他每天从早到晚都在打坐，希望能够借禅定的力量解决生死问题。这样过了八年。有一天，在禅定中，慧可禅师突然看到一位神人站在跟前，告诉他说：“将欲受果，何滞此邪？大道匪（非）遥，汝其南矣（如果你想证得圣果，就不要再执著于枯坐、滞留在这里了。大道离你不远，你就往南方去吧）！”慧可禅师知道这是护法神在点化他，于是将自己的名字改为神光。第二天，慧可禅师感到头疼难忍，如针在刺，他的剃度师宝静禅师想找医生给他治疗。这时，慧可禅师听到空中有声音告诉他：“这是脱胎换骨，不是普通的头疼。”慧可禅师于是把自己所听到的告诉了他的老师。宝静禅师一看他的顶骨，果然如五峰隆起，于是就对慧可禅师说：“这是吉祥之相，你必当证悟。护法神指引你往南方去，分明是在告诉你，在少林寺面壁的达磨大师就是你的老师。”
慧可禅师于是辞别了宝静禅师，前往少室山，来到达磨祖师面壁的地方，朝夕承侍。开始，达磨祖师只顾面壁打坐，根本不理睬他，更谈不上有什么教诲。但是，慧可禅师并不气馁，内心反而愈发恭敬和虔诚。他不断地用古德为法忘躯的精神激励自己：“昔人求道，敲骨取髓，刺血济饥，布发掩泥，投崖饲虎。古尚若此，我又何人？”就这样，他每天从早到晚，一直呆在洞外，丝毫不敢懈怠。
这样过了一段时间，有一年腊月初九的晚上，天气陡然变冷，寒风刺骨，并下起了鹅毛大雪。慧可禅师依旧站在那里，一动也不动，天快亮的时候，积雪居然没过了他的膝盖。
这时，达磨祖师才慢慢地回过头来，看了他一眼，心生怜悯，问道：“汝久立雪中，当求何事？”
慧可禅师流着眼泪，悲伤地回答道：“惟愿和尚慈悲，开甘露门，广度群品。”
达磨祖师道：“诸佛无上妙道，旷劫精勤，难行能行，非忍而忍。岂以小德小智，轻心慢心，欲冀真乘，徒劳勤苦（诸佛所开示的无上妙道，须累劫精进勤苦地修行，行常人所不能行，忍常人所不能忍，方可证得。岂能是小德小智、轻心慢心的人所能证得？若以小德小智、轻心慢心来希求一乘大法，只能是痴人说梦，徒自勤苦，不会有结果的）。”
听了祖师的教诲和勉励，为了表达自己求法的殷重心和决心，慧可禅师暗中拿起锋利的刀子，咔嚓一下砍断了自己的左臂，并把它放在祖师的面前。顿时鲜血红了雪地。
达磨祖师被慧可禅师的虔诚举动所感动，知道慧可禅师是个法器，于是就说：“诸佛最初求道，为法忘形，汝今断臂吾前，求亦可在（诸佛最初求道的时候，都是不惜生命，为法忘躯。而今你为了求法，在我跟前，也效法诸佛，砍断自己的手臂，这样求法，必定能成）。”
达磨祖师于是将神光的名字改为慧可。
慧可禅师问道：“诸佛法印，可得闻乎？”
祖师道：“诸佛法印，匪（非）从人得。”
慧可禅师听了很茫然，便说：“我心未宁，乞师与安。”
祖师回答道：“将心来，与汝安。”
慧可禅师沉吟了好久，回答道：“觅心了不可得。”
祖师于是回答道：“我与汝安心竟。”
慧可禅师听了祖师的回答，当即豁然大悟，心怀踊跃。原来并没有一个实在的心可得，也没有一个实在的“不安”可安，安与不安，全是妄想。
慧可禅师开悟后，继续留在达磨祖师的身边，时间长达六年之久（亦说九年），后继承了祖师的衣钵，成为禅宗的二祖。
据史料记载，二祖慧可付法给二祖僧璨后，即前往邺都，韬光养晦，变易形仪，随宜说法，或入诸酒肆，或过于屠门，或习街谈，或随厮役，一音演畅，四众皈依，如是长达三十四年。
曾有人问二祖：“师是道人，何故如是（师父，你是个出家人，出家人有出家人的戒律，你怎么可以出入这些不干不净的地方呢）？”
二祖回答道：“我自调心，何关汝事（我自己观察和调整自己的心，跟你有什么相干）！”
慧可禅师长于辞辩，他虽无意推广自己的禅法，但是知道他的禅法的人却日渐增多。随着他的影响一天天地扩大，他的弘法活动遭到了当时拘守经文的僧徒的攻击。当时有个叫辩和的法师，在寺中讲《涅槃经》，他的学徒听了慧可禅师的讲法，渐渐地都离开了讲席，跟随慧可禅师学习祖师禅。辩和法师不胜恼恨，于是在邑宰翟仲侃的面前诽谤慧可禅师，说他妖言惑众。翟仲侃听信了辩和法师的谗言，对慧可禅师进行了非法迫害。慧可禅师却怡然顺受，曾无怨色。灯录上记载，慧可禅师活了一百零七岁，寂于隋文帝开皇十三年（593），谥大祖禅师。
关于慧可禅师的生前开示，《楞伽师资记》卷一中有少许记载。慧可禅师的“略说修道明心法要”云--
“《楞伽经》云：牟尼寂静观，是则远离生死，是名为不取。今世后世，尽十方诸佛，若有一人，不因坐禅而成佛者，无有是处。《十地经》云：众生身中，有金刚佛，犹如日轮，体明圆满，广大无边，只为五荫重云覆障，众生不见。若逢智风，飘荡五荫，重云灭尽，佛性圆照，焕然明净。《华严经》云：广大如法界，究竟如虚空，亦如瓶内灯光，不能照外，亦如世间云雾，八方俱起，天下阴暗，日光起得明净，日光不坏，只为雾障。一切众生清净性亦复如是，只为攀缘，妄念诸见，烦恼重云，覆障圣道，不能显了。若妄念不生，默然净（静）坐，大涅槃日，自然明净。俗书云：冰生于水而冰遏水，冰消而水通； 妄起于真而妄迷真，妄尽而真现。即心海澄清，去身空净也。故学人依文字语言为道者，如风中灯，不能破闇，焰焰谢灭。若净坐无事，如密室中灯，则解破闇，昭物分明。……若精诚不内发，三世中纵值恒沙诸佛，无所为。是知众生识心自度。佛不度众生，佛若能度众生，过去逢无量恒沙诸佛，何故我不成佛？只是精诚不内发，口说得，心不得，终不免逐业受形。故佛性犹如天下有日月，木中有火，人中有佛性，亦名佛性灯，亦名涅槃镜，明于日月，内外圆净，无边无际。犹如炼金，金质火尽，金性不坏，众生生死相灭，法身不坏。亦如泥团坏，亦如波浪灭，水性不坏，众生生死相灭，法身不坏。……《华严经》云：譬如贫穷人，昼夜数他宝，自无一钱分，多闻亦如是。又读者暂看，急须并却，若不舍还，同文字学，则何异煎流水以求冰，煮沸汤而觅雪。……”
另有向居士，闻二祖盛化，致书通好云：“影由形起，响逐声来。弄影劳形，不识形为影本。扬声止响，不知声是响根。除烦恼而趣涅槃，喻去形而觅影。离众生而求佛果，喻默声而寻响。故知迷悟一途，愚智非别。无名作名，因其名则是非生矣。无理作理，因其理则争论起矣。幻化非真，谁是谁非？虚妄无实，何空何有？将知得无所得，失无所失。未及造谒，聊申此意，伏望答之。”慧可禅师阅后，回书云：
“备观来意皆如实，真幽之理竟不殊。
本迷摩尼谓瓦砾，豁然自觉是真珠。
无明智慧等无异，当知万法即皆如。
愍此二见之徒辈，申辞措笔作斯书。
观身与佛不差别，何须更觅彼无余。”
面所引两段引文，基本上代表了慧可禅师的禅学主张，以及后代禅宗发展的主流。 二祖慧可大师，俗姓姬，虎牢（又作武牢，今河南成皋县西北）人。其父名寂，在慧可出生之前，每每担心无子，心想：“我家崇善，岂令无子？”于是便天天祈求诸佛菩萨保佑，希望能生个儿子，继承祖业。就这样虔诚地祈祷了一段时间，终于有一天黄昏，感应到佛光满室，不久慧可的母亲便怀孕了。为了感念佛恩，慧可出生后，父母便给他起名为“光”。
慧可自幼志气不凡，为人旷达，博闻强记，广涉儒书，尤精《诗》、《易》，喜好游山玩水，而对持家立业不感兴趣。后来接触了佛典，深感“孔老之教，礼术风规，庄易之书，未尽妙理”，于是便栖心佛理，超然物外，怡然自得，并产生了出家的念头。父母见其志气不可改移，便听许他出家。于是他来到洛阳龙门香山，跟随宝静禅师学佛，不久又到永穆寺受具足戒。此后遍游各地讲堂，学习大小乘佛教的教义。经过多年的学习，慧可禅师虽然对经教有了充分的认识，但是个人的生死大事对他来说仍然是个迷。