日本黑帮直接起源于18世纪一些准合法的商人，他们在大城市的街道上开设赌场或兜售商品，被人们称为“博徒(bakuto)”和“的屋(tekiya)”，也就是指巡回的赌档和商贩。后来这些人逐渐结成团伙，并成长成等级清晰、规矩森严的黑道家族或帮派。至今，日本的黑社会团伙中仍有被称为“博徒”和“的屋”的两派。

　　到了19世纪晚期，日本黑帮与“民族主义”、“军国主义”和政治联系到了一路。许多黑帮开始与政客勾结政客应用他们暗杀对手，武装贸易集团，甚至介入了与方圆国家的战斗。二战后，日本黑帮借助纷乱的局势进一步加强了在日本的政治经济地位。

　　日本的黑道家族外面上和黑手党家族的结构一样，由组长(kumicho，相当于黑手党的教父)来统管全部家族，在他之下还有若干舍弟、干部、若头，形成一个金字塔结构。此外，各地区还有各地区的头子、副手、顾问以及浩瀚的通俗会众，这让日本黑帮的结构加倍复杂。有的黑帮家族的结构有所不合，是由小帮派结成的联盟。