Successivament la senyoria de la Vila passà a mans dels Cornells d'Aragó i els Comtes de Pallars, retornant a la casa de Cardona l'any 1388 per compra que féu el comte Hug a Jaume Roger de Pallars, de la Vila d'Arbeca i els seus agregats, per valor de 50.000 florins d'or.
Amb la senyoria dels Cardona ve l'esplendor del Castell i de la Vila, ja que la vida de la població està intimament lligada a les vicissituds del magnífic Castell, mansió senyorial de la casa més poderosa de Catalunya als segles XV i XVI.
Durant aquest temps la vila d'Arbeca era residència habitual dels Ducs, i pel seu Castell passaren figures històriques tan destacades com: el Rei Joan I, el Caçador, Felip el Formós, gendre dels reis Catòlics, i el Rei Felip II, hi féu estada durant tres dies, fent viatge cap al Monestir de Poblet.