遠藤宗家の菩提寺である浄土宗寺院の寂照山唯心院高徳寺（山號及別號寂光山唯心院　京都知恩院末）は、晃誉上人居的和尚が元和九年（1623年）に開山した。江戸時代には淳澄、源流、隆察など増上寺学寮出身の僧侶が晋山している。

江戸幕府に入府した德川家康公の命により、甲賀組の遠藤宗家は開基家として、天正七年（1579年）赤坂青山北町（現在の北青山）に建立した。その際、甲賀組が信仰の対象としていた浄土宗寺院を近江国の甲賀郡から、江戸に移転した。そのことから、遠藤宗家第十五代当主　遠藤榮（大正天皇侍従）等が、檀家総代を務めた。

三千余坪ある高徳寺の境内は、本堂の瓦葺屋棟に金色の德川将軍家葵章を附する。本尊は、阿弥陀如来（行基菩薩作）。左右は、観音勢至。山之手六阿彌陀の第三番の札所や満願稲荷社、寿延観音堂、子安観音堂、鐘楼（梵鐘の銘宝永元年）などは、德川幕府の全面的な援助で造営された。

嘉永二年（1849年）十一月、『德川幕府寺社奉行』に録上したもののなかに、【浄土宗京都知恩院未寂光山唯心院高徳寺】とあり、甲賀組が幕府から給った年貢地が原宿村にあり、今では寺の年貢地になっていると記述されている。

『寛政重修諸家譜』巻一四一二に慶長五年（1600年）、関ヶ原の合戦の前哨戦として家臣・鳥居元忠は德川家康公の命により石田三成らの攻撃から伏見城を死守した際、望月山中等の伏見城名古屋丸を守った甲賀衆が討ち死にし、その数は七十名におよんだとされている。高徳寺に伝わる過去帳の第一巻（過去帳十四冊蔵、慶長五子年八月朔日）に、遠藤宗家先祖 遠藤左太夫も討ち死にした者七十名の一人として記されている。（院号：先祖遠藤左太夫 慶長五年七月戒日【大誉忠節禅完門】）

このときの伏見城の血染め畳は、德川家康公が江戸城の伏見櫓の階上に設置を命じて、登城した大名たちに討死者の精忠を偲ばせた。明治維新により、江戸城明け渡しの際、その畳を栃木県下都賀郡壬生町の精忠神社脇に埋め供養した。床板は、「血天井」として京都市の養源院をはじめ、宝泉院、正伝寺、源光庵、宇治市の興聖寺に今も伝えられてる。

德川家康公は関ヶ原の大勝後、遠藤左太夫の戦功を称え、遠藤宗家初代以降に左太夫を襲名させた。遠藤左太夫の位牌は、甲賀流忍術発祥の地である滋賀県甲賀市甲賀町の長福寺に残されている。

遠藤宗家の墓所にある五輪塔は、昭和九年（1934年）七月吉辰に建立された。高徳寺は德川家康公の命にて、甲賀組である遠藤宗家「開基家」が天正七年（1579年）に建立した。建立時の遠藤宗家墓所は、遠藤宗家 五輪塔の墓下に安置されている。

五輪塔は、平安時代中期から鎌倉時代にかけて普及した日本独特の供養塔・墓石であり、特に武士階級の間で深く信仰・建立された。武士が五輪塔を建立した理由は、下記の通りである。

一．極楽浄土への願い
武士は戦による殺生を避けられない宿命にあった。五輪塔を建てることで、その罪を浄め、死後に極楽浄土へ成仏できるという強い信仰（浄土信仰）があった。
ニ．供養の象徴
遺骨を納める「墓」に加え、亡くなった人の魂を慰める「供養塔」とした。戦場から遺体が戻らない場合でも、供養のために建立された。
三．武士としての権威
鎌倉時代、五輪塔を建てることは財力や地位の象徴でもあった。現在も高野山などには、織田信長や武田信玄といった名だたる武将の巨大な五輪塔が並んでいる。

遠藤宗家の墓所にある教義石碑には【一念彌陀佛 即滅無量罪・現受無比樂 後生清浄土】の彫刻がほどこされている。遠藤宗家の遠藤榮第十五代当主が、遠藤市次郎第十四代当主（昭和七年四月十二日没）の三回忌（阿弥陀）として、墓所を昭和九年（1934年）7月吉辰に建立したことに由来する。

「一念彌陀佛 即滅無量罪・現受無比樂 後生清浄土」は「一たび阿弥陀仏を念ずれば、無量の罪はすぐに滅び、現世では比類なき楽しみを受け、来世は必ず清らかな浄土に往生する」という意味の句で、南無阿弥陀仏の念仏信仰（浄土信仰）の教えを表し、鎌倉時代後期の板碑（ばんぴ）にも刻まれるなど、阿弥陀仏への信仰がもたらす救いを端的に説いたものである。

一念彌陀佛 (いちねんみだぶつ)　　　：一度でも阿弥陀仏（南無阿弥陀仏）を心に念じること。
即滅無量罪 (そくめつむりょうざい)　：その瞬間に、数えきれないほどの過去の罪業（つみ）が消滅する。
現受無比樂 (げんじゅむぴらく)　　　：現世において、他のものと比べ物にならないほどの幸せ（楽しみ）を受ける。
後生清浄土 (ごしょうしょうじょうど)：そして、来世（死後）には清らかな極楽浄土に生まれ変わることができる。

この句は、浄土宗や浄土真宗などで信仰される阿弥陀仏の「本願の功徳（くどく）を説いており、南無阿弥陀仏と唱えること（念仏）が、罪の消滅、現世での安楽、そして来世での往生（極楽浄土へ生まれること）という救済に直結することを力強く示している。「南無阿弥陀仏」の語源も「私は阿弥陀仏を尊びます」という意味であり、この信仰の核心を表している。


■　遠藤宗家
第五十代 桓武天皇を祖としながらも皇室を離れ、臣籍降下により平姓を賜る。遠藤姓の始まりは、遠江守（とおとうみのかみ＝遠江国の国司の長官）に就任した藤原氏から起こったとされる。家紋は左三つ巴紋であり、「巴（ともゑ）」の起りには、武具である弓を射る時に使う鞆（とも）を図案化したもので、鞆絵とされている。その後、水が渦巻いているのに似通っているため、巴の字を当てたとされる。そのため、防火のまじないとされ、平安期の末期ごろから鎧瓦（軒先に葺く瓦）、車輿、衣服の文様に用いられた。遠藤左太夫を始祖とする遠藤宗家（旗本）は、甲賀百人武士。徳川将軍家 直参御目見得。明治元年（1868年）の明治維新以降、華族令の制定により明治十七年（1884年）に士族となり、第十五代当主遠藤榮（宮内庁 大正天皇侍従）を経て、第十六代当主遠藤武（陸軍省 近衛師団下士官・東京都 財務局公吏）、第十七代当主遠藤寛（辯護士）に至る。