当时群雄争斗，干戈四起，法祖就想潜迹于陇山以西地区，以保持自已正确的操行。正值张辅担任秦州刺史，镇守陇上，法祖就与张辅同行。因法祖的名望和德行，众望所归，张辅就想让法祖离教返俗，当他的僚佐。但是法祖信仰佛教的志向是不可改变的，因此两人结下怨恨。先前有个秦州人，名叫管番，因宗教信仰不同，多次与法祖辩论，却屡屡败在法祖手下，为此管番衔恨已久，多次在张辅面前进谗言，诬陷法祖。当法祖走到氵开县时，忽然对其他的和尚和弟子们说:"几天之内，我的前世之对就要来了。"于是辞别众人，并写了一封书信，又将经书、佛像和资财都分给众人。第二天早上，法祖来到张辅这里，和张辅谈话，二人话不投机，得罪了张辅，张辅将法祖抓起来，要实行刑罚，众人都很奇怪，也很惋惜。法祖说:"找来此是为了了结我的前世之对，这是前世宿命所造成的，并不是为现在的事情。"说完大呼十方佛祖:"我前世的罪孽因缘，今世欢喜了结，望从此以后，找与张辅之间没有任何怨恨，结为朋友，也不要让他戴上杀人的罪名。"随后张辅鞭打法祖50，奄然命终。后来张辅知道了法祖临死前说的这一番话，感到非常遗憾。当初，法祖传布教化的声誉，传遍了整个关中、陇西地区，人们将法祖奉若神明，听说法祖被害的消息，无论是汉人还是少数民族，都悲痛异常，走在路上都痛哭流涕。陇西的羌族及其他民族，派出5000精锐骑兵，准备迎接法祖的到来，走到半路，听到法祖遇害的消息，悲恨万分，群情激愤，发誓要为法祖报仇。张辅听到这消息后，立即遣兵拒敌，羌族人率领轻骑，奔袭迎战。当时天水人富整，趁势杀了张辅，羌族人感到大机已报，便退兵了，他们将法祖分尸，各自带回去起造佛塔或佛寺。
张辅，字世伟，南阳人，是张衡的后人。他虽然很有才能，但他性情残酷而且不能理喻，曾残杀天水太守封尚，造成当地的动乱，他又反过来杀害百姓。
过了没多久，有一个名叫李通的人，死去后又苏醒过来，他说:"见到法祖法师在阎罗王那里，在为阎罗王宣讲《首楞严经》，法祖法师说，讲完经后，将要到忉利天去。又看到了祭酒王浮，又称道士基公。王浮被大枷锁住，在向法祖法师忏悔。”过去，法祖生前，常与道家的王浮争论谁是正宗，谁是邪教，王浮屡屡理屈，因此非常恼怒，无法忍耐，于是作《老子化胡经》一文，来诽谤佛教。这也是王浮殃有所归，到死后才知忏悔。后来孙绰在《道贤论》中将法祖与竹林七贤之一稽康相比，可见后人是多么推崇法祖。
法祖还博涉闲书，精通梵语和汉语，他曾翻译了《惟逮》、《弟子本》《五部僧》等3部经书，又注释《首楞严经》，还翻译了几部小经，但正值社会动乱，都散失了，也不知道叫什么名字。
法祖的弟弟法祚，也是在少年时就有美好的声誉，被朝廷征召为博士，但法祚没有去就任，到25岁时出家为僧。法作对佛教理论有非常深刻的研究，在关中、陇右一带很有名望。当时梁州刺史张光，因法祖不肯还俗，被张辅杀害，张光又逼法祚还俗，法作
