Ang salitang barangay ay nagmula sa balangay, ang tawag sa malaking bangka na ginagamit ng mga sinaunang Austronesian na migrante sa paglalakbay patungo sa Pilipinas. Ang mga bangkang ito ay nagsisilbing tahanan at transportasyon para sa isang pamilya o grupo ng tao, na pinamumunuan ng isang datu o pinuno.Nang dumating ang mga grupong ito sa Pilipinas at permanenteng manirahan sa mga tabing-ilog at baybayin, dinala nila ang konsepto ng kanilang pamayanan. Ang bawat balangay, kasama ang kanilang pinuno, ay nagtatag ng sarili nitong komunidad. Kaya naman, ang "balangay" ay naging simbolo hindi lamang ng bangka kundi pati na rin ng komunidad na sakay nito. Sa paglipas ng panahon, nag-iba ang bigkas nito at naging "barangay.