長和元年(1012年)から鎮守府将軍を二度務る。
　平忠常の乱のとき、忠常は下野の藤原兼光を通じて追討使に講和への意志を伝え、兼光はそれを京へ伝える。京では後一条天皇から、兼光に忠常の所在を問い質してはどうかという意見が下された。乱の後、藤原兼光は忠常の乱への同与の風聞があり出家している。

　父は佐貫広光、または足利有綱とも。治承4年(1180年)5月、以仁王の挙兵にあたり、平家方の同族である足利忠綱の軍勢に属して以仁王･源頼政の追討に加わり、『平家物語』｢橋合戦｣に名が見られる。その後、源頼朝に臣従して鎌倉の御家人となり、養和元年(1181年)7月20日、鶴岡八幡宮宝殿上棟式典で源義経，畠山重忠と共に大工に賜る馬を引いている。
　元暦元年(1184年)2月の一ノ谷の戦いでは、源範頼の配下で平氏追討軍として西国へ遠征した。文治5年(1189年)9月の奥州合戦に従軍。建久元年(1190年)11月の頼朝上洛に供奉。随兵には広綱の兄弟と見られる佐貫五郎，佐貫六郎広義の名も見える。建久2年(1191年)3月、鎌倉小町大路で発生した火災で邸が焼失した。同年閏12月、頼朝が三浦義澄の新邸に訪れた際に、三浦義村，三浦景蓮と共に相撲の勝負に召される。建久3年(1192年)11月、永福寺の池石を畠山重忠，大井実春らと共に運んでその大力を頼朝に称賛される。