摩訶迦葉又叫做大迦葉、迦葉波，意思是烏龜，又翻譯成飲光。傳說他的祖先在修煉時，有一隻具有靈性的烏龜背負著玄妙的圖案而來，因此得道，所以以龜作為姓氏。又傳說上古時代曾有仙人能吸取日光，平時隱藏著，見不到任何光芒，但是如果顯現的話就會全身光輝明光，迦葉是這位仙人的後裔，所以也用飲光為姓氏。他出生在華波羅樹（即菩提樹）下，所以名叫畢波羅。在佛陀所有弟子中，姓迦葉的有五個人，其中只有摩訶迦葉可以單稱為迦葉。
大迦葉原本信奉外道，後來皈依佛門。他率領五百弟子，在韋提河邊的山中修行頭陀之道。頭陀指的是身上披著破舊的衣服，到處乞求化緣，餐風露宿、性情淡泊的僧侶。迦葉因為認真修行這樣的頭陀行，所以被稱為「頭陀第一」，非常受到佛陀的器重，嘉許他為「大行淵廣」。
有一次，天界之王在靈鷲山上向佛陀敬獻金色波羅花，請佛說法，世尊拈花示眾，並無所說。當時座下所有的弟子，都不明白佛陀這樣做含有什麼奧妙的道理，只有大迦葉微笑著，因為他領悟到佛陀的道理了。
佛陀說：「正道大法是無法用眼睛看出來的，只有涅槃寂靜的心才能領會。實在的法相其實是沒有法相，這是一門微妙玄通的法門，不加註文字，是用特殊的教法傳授的，我就將這些囑託給摩訶迦葉。」這就是心傳，即所謂靈山會上正法眼藏付囑的拈花微笑，就是禪宗最初的典故。
大迦葉最不喜歡住在竹林精舍或是祇園精舍過團體的生活，他喜歡的是在露天靜坐、塚間觀屍、樹下補衣。因而他認為住在屍臭或骸骨之中，對於修習無常、苦、空、無我、不淨觀等，更容易提起正念，精進思維。
大迦葉一向修習頭陀苦行，他不怕狂風暴雨，不懼日曬夜露，他枯瘦的老年之身，總是住在深山叢林的樹下，或是白骨遍野的墓間，對於他的頭陀苦行，任何人勸說，他都不停止。
大迦葉終於漸漸的衰老了，可是他對頭陀苦行的生活，是越過越認真。
有一次，佛陀也不忍他以衰老之年，還要生活在日曬夜露、狂風暴雨之中，想勸他中止苦行。
那時佛陀住在鹿母講堂，佛陀召見大迦葉。當時大迦葉穿著由破布縫補而成的糞掃衣，鬚髮長得很長，蹣跚的走來，這裡新皈依的比丘都不認得他就是大迦葉，看到他那儀容不整的形相，都投以輕蔑的眼光，甚至有人向前想阻止他走近佛陀。
佛陀知道大家的心思，很遠的就招呼道：
「大迦葉！你來啦！我留了半座在這裡，你趕快到這裡來坐吧！」
諸比丘聽佛陀這麼一說，嚇了一跳！想不到這位老比丘，就是大名鼎鼎的大迦葉尊者。他向前頂禮佛陀後，退下幾步說道：
「佛陀：我是您末座的弟子，要坐在佛陀所設的座位實不敢當！」
這時，佛陀就向大眾敘說大迦葉廣大無邊的威德，並且說他有如佛陀修道相等的歷程，今生如不遇佛陀，他也可以覺悟，證得阿羅漢。
佛陀告訴大迦葉，叮嚀他不要繼續苦行，把糞掃衣脫去，改穿信眾所供養的僧衣，靜靜的養老，不要過度疲勞。
雖然受到佛陀這麼高的慰勞，但大迦葉並不肯改變他的頭陀苦行，他向佛陀說道：
「佛陀！頭陀苦行在我並不以為苦，反而感到很快樂，我不為衣愁，不為食憂，沒有人間的得失，感到清淨解脫的自由。佛陀教法中的頭陀行門，就是一種最嚴肅的生活方式，能習慣於這種生活，便能吃苦，便能忍耐，便能甘於淡泊。佛陀！我為了直接鞏固僧團，間接的利益眾生，我歡喜願意不捨苦行，請佛陀原諒弟子的執著！」
佛陀聽後，非常歡喜，看看大迦葉，又看看諸比丘，說道：
「將來正法的毀滅，不在天魔外道的破壞，而正在僧團的腐化與崩潰！大迦葉的話說得很對，要弘揚佛法，讓真理之光永照著世間，則必先要鞏固僧團，要鞏固僧團，就必須過嚴肅的生活，我的正法，如大迦葉尊者，就能負責住持！」
「大迦葉！你好好去修道吧，我不勉強你，你可照你的意思去修行。要見我的話，隨時都可以來見我。」佛陀又向大迦葉說。
歲月是無常的，就在佛陀八十歲的那一年，傳出了佛陀將要涅槃的消息。當時在教團中，年老的大迦葉尊者，和年經的阿難陀尊者，被公認為繼承佛陀最適當的人選，尤其是大迦葉尊者。佛陀在拘尸那迦羅城涅槃的時候，大迦葉正在北方的鐸叉那耆國領著五百比丘教化度眾，他得知消息後，非常的傷心，星夜領著比丘們來到拘尸那迦羅城，有的愁眉不展，有的伏地痛哭。
但在比丘中有一個是六群比丘之一的跋難陀，卻很歡喜的說：「你們何必要這樣傷心？佛陀涅槃後，我們才可以自由，他老人家在世的話，會拘束我們，會管理我們，他常常說我們這個不好，那個不對的，真囉囌，也真麻煩！現在他涅槃了，我們正可以輕鬆輕鬆呢！」
大迦葉聽了懇切的教示他說：「現在佛陀進入涅槃，眾人因失去了皈依而傷感，愚痴的你，怎麼反而以此為樂？」
也因為這樣的因緣，大迦葉覺得有必要結集佛陀的教法，於是大法流傳的責任，就由大迦葉尊者承擔起來！
在佛陀滅度後的九十日，開始結集三藏。從結集三藏的第二天起，由阿難陀誦經，優波離誦律，再由諸長老將所誦之經、律檢討修訂。所謂第一次結集三藏的神聖大業，就這樣的順利完成了。大迦葉的偉大，由佛陀滅度時，在那麼多聖弟子中，他能統理大眾，並沒有把教團弄得四分五裂一事就可以知道。在佛陀涅槃的時候，他的聲望和權威，實在是如同磐石的重要。
結集三藏後的大約二、三十年，大迦葉忽然厭世起來，想提早入滅。當時，大迦葉的年齡，無疑的已超過百歲。
他即刻走到阿難陀住的地方，付囑佛陀所說的教法，要阿難陀繼承，後來他就躍身虛空，到佛陀的八塔一一供養禮拜。
回到王舍城，他前去向阿闍世王告辭，守衛的說國王在睡覺，他就逕往離王舍城西南八里多的雞足山去。當尊者到達此山時，三峰裂開，自然形成他的禪座。他即刻以草席地而坐，並且說道：「我今將以神通力來保持這個身體，用糞掃衣來蓋覆他，等六十七億年後，彌勒菩薩降生成佛，我再去拜見他，協助他教化眾生！」說完後，雞足三峰就合起來，隱藏了他的身體。
阿闍世王知道大迦葉尊者入滅的消息，悲傷無比！馬上往見阿難陀尊者，要他同登雞足山一看，當阿難陀尊者和阿闍世王到達雞足山時，雞足三峰自然裂開，他們看到大迦葉尊者端然的入滅盡定，身上還覆蓋了美麗的天花。他兩人供養禮拜退出以後，山峰又自然地合起來。他們回顧靜寂的山林中，爾後六十七億年，尊者大迦葉將長期捧著佛陀的衣缽，在這山中等候彌勒尊佛的來訪，再把佛陀的衣缽傳給他，以這種遺風教化，令他們不禁欽佩萬分！
從尊者大迦葉的故事來看，尊者的生命固然是無窮無盡，就是佛陀的教法也將無窮盡的流傳下去！