「僧道無緣」的說法究竟從何時開始呢？從唐朝起就有這個跡象，到了宋代更為明顯。唐朝著名文學家韓愈為了反對唐憲宗迎取佛骨供奉，鬧出了一場風波，可以做為代表性的例子。什麼叫佛骨？即是平常所謂的舍利子。那時自唐太宗及武則天以後，唐朝的皇帝，大多數都信彿、信道，很重視佛陀舍利子的供養。唐朝皇帝雖奉道教為國教，那是因為道教的教主太上老君同他們一樣姓李，不得不捧為國教。一代美人楊貴妃信的是道教，曾經正式受過道家的傳戒儀式——受籙，因此唐明皇也跟著去接受道教的戒儀而受籙。至於武則天，那更是既信佛，又信道，像平常我們唸「金剛經」，經文開頭四句偈子「無上甚深微妙法，百千萬劫難遭遇，我今見聞得受持，願解如來真實義」，正是這位高高在上的女皇帝做的開經偈。
並且，中國的許多大寺廟，也都是她那時候以政府的力量修蓋的。譬如中國內地許多石窟那些大佛像的藝術傑作，就是一個很好的例子。武則天喜歡修大廟、造大佛，一而再，再而三，結果將國庫的金銀財寶都快花光了，宰相狄仁傑、御史張廷珪、李嶠等都看不下去了，紛紛奏諫，勸告她說，皇上，你要造佛寺佛像那很好，這是大功德，但國家財政，不能再這樣耗費了，雖然你是皇帝，一下命令，要修就修，但是也要給老百姓們有機會作功德啊，他們能出一塊錢也是植福修德，以後你要修廟子，造佛像，何妨讓民眾大家捐錢來共襄盛舉呢！武則天一聽有道理，才稍有改變，如此就給國庫節省了不少開銷。
我們看看中國那些大佛的建造工程，都很驚人的。當年在四川，看到嘉定的大佛，佛頭高高在山頂上，佛頂可擺上十六個人吃飯用的大圓桌，綽綽有餘，而佛足則伸到長江水面，人從下面抬頭往上看，帽子都要掉下來。像這樣的工程花費，非常可觀。就在這些種種佛教的形式問題上，韓愈開始反對佛教。當然，他有他的道理，你皇帝信佛就信佛，但不必為了迎接一顆佛的舍利子到宮中供養，便讓全國勞師動眾，浪費大筆金錢，這樣只怕國家會弄窮了的。
另外一個反佛的理由，是反對出家的人「無父無君」。中國儒家文化反對信仰佛教，這四個字便是最大的理由，最大的罪狀。到了宋朝叫得最為激烈。他們認為一個人出家修道，連父母都不顧了，這是「無父」，還算是人嗎？甚至「無君」，連國家也不要了，那更是要不得。古代男子一出家便免服兵役，什麼都不管了，出家前犯了罪，出家後規規矩矩修行便不再深究。並且早期的僧團不從事耕種生產，生活所需皆靠化緣而來。至一切，在我們歷代的文化人眼中，認為是一種莫大的浪費。
但是，除了上述兩個理由外，其他佛教所提出的哲學道理、修行法門，許多讀書人都反對的很外行，而且就各方面來看佛學，都顯得精湛圓明，博大深入。可是儒家知識份子，一直把出家修道這回事，納入是「無父無君」的大不韙，當作是不忠不孝。那麼，佛教在倫理上，到底是孝道是不孝呢？