根据密教的传说，密教是由大日如来毗卢遮那佛传金刚萨埵，住于金刚法界宫，成为第二祖；释迦世尊入灭后八百年，有龙猛菩萨出世，开南天铁塔，向金刚萨埵面受密法，成为第三祖；再传第四祖为龙智，再过数百年，龙智七百岁，传第五祖金刚智，那就是中国唐玄宗开元年间来华的三位密宗高僧的第一位。所以密教不是释迦世尊所说，而是直接由法身佛所说；因为法身不说法，故称密教的传承为密法、根本心法或无上大法。密法由凡夫传承是不可能的事，因此而称密宗的传承者为金刚上师、大成就者。
但从佛教的历史看，密教的起源是印度的民间信仰，最后发展成密教或密乘则属于印度晚期大乘的事。它以佛教大乘思想的理论为基础和根本，引进了印度教的观念和修法。
密法可分为杂密、事密、瑜伽密和无上瑜伽密：杂密类似民间信仰，事密已经有组织化，瑜伽密跟禅定相应，无上瑜伽是跟当时印度教的性力派结合而完成。所谓性力，即是以男女性的交媾，两性双身双修，成为方便和智慧的圆满集成，以女性代表智慧，以男性代表方便。这种思想和中国道家的房中术（又名御女术）是一样的，不是根本佛教的修行方法。
佛教以离欲为根本，无上瑜伽却要透过淫欲的事实以达解脱的目的。所以后来西藏的黄教教祖宗喀巴加以改革，予以废除，禁止以男女的性交行为作为修行的方法；但其他各派依旧采用，他们为了所谓合理化，必须先炼气、脉、明点，然后才能实施所谓双修的法门。
密教本身是以当时印度的时代背景和后来的西藏环境而形成的，我们不能说西藏的密教不是佛教，除了无上瑜伽的这部分，他们的教理和行法组织严密、层次分明，特别是在教理方面，以中观为根本，以瑜伽为辅佐，这是中国佛教所未见的。他们对于僧侣的训练和教育也极其严格而有系统化、层次化，所以有坚定的信心和一定的法门。但在蒙藏地区称为活佛的，也未必一定有修证及学问。
密教的上师就是法的传承者，是直接从金刚萨埵或者是佛的法身传承下来的，不能自称为上师，必须师师相承、口口相传，必须修完一定的坦特罗，而有传承者承认他已得了大成就，才可以成为上师，绝对不是鬼神附体、无师自通，不是仅懂得一些咒语、表现一些灵异就能够自称为上师的。
问题也出于此，密教的源头开始便是如此，这使得佛教无法保持门庭的清明，任何人均可能假借佛菩萨的降示而自称为上师。不过在西藏，因其已有严密的制度，不易滥冒，所以还是可行。而西藏以外的地区，藏密各派的领袖和组织的力量已经无法达成鉴别、鉴定和监督的责任，以致密教风行之区上师纷纷自立。