牛首紬の名称は白峰村の旧地名に由来しています。地名としての牛首の名は養老元年、白山を開山された越の大徳、泰澄大師が、村の守護神として牛頭天王、十二神将などの神々をお祀りになり、後に牛頭から語源を得て牛首村となったと伝えられています。

 牛首紬の起源は平治の乱（1159年）で敗れた源氏の落人「大畠某」が、桑島の地に逃れ来て、村の東北の「尾の上」と称する山上に城を構え源氏再興の時節到来を待っていましたが、その妻女が機織りの技に優れ、村の女性に伝授したのが始まりと伝えられています。歴史の上で牛首紬に関する事柄が記述された最古の文献は、寛永二十年（1643年）京都の旅宿業者で俳人であった松江重頼が著した「毛吹草」であり、この中に牛首布、嶋布といった文字が見られることから、この頃白峰村には機織りの技術が確立され、その織物は商品として村外へ売りさばかれていたことが窺えます。また、白峰では古くから養蚕が盛んであったと伝えられています。桑島の旧家であり庄屋もつとめた山口新十郎家の古文書、「質入・借用証文」（万治年代・1658年～）によると、その返済期限の大半が「蚕飼切」となっています。これから推測して、それ以前から養蚕が行われ、生糸の原料として売れない屑繭、玉繭を利用して紬が織られていたと判断するのが自然であり、牛首紬の起源は17世紀以前と思われます。