Los Ibargüen de Izoria, Parientes Mayores en Ayala, tenían tal poder que, en 1328, unidas sus fuerzas a las de los Perea, llamaron a la sucesión del señorío del valle a la rama de Ayala establecida en Toledo. Atendiendo a este llamamiento, y haciendo valer la legitimidad de su derecho llegaron a Ayala el que sería padre del Canciller, don Fernán Pérez de Ayala con su hermano mayor don Sancho Pérez; de tal modo que los señores de Ibargüen contribuyeron al giro histórico del valle de Ayala y aún de Álava entera, con el nuevo injerto de esta rama ayalesa en la provincia donde había tenido su origen.
La mucha guerra e contienda omeçidas que la muerte sin sucesión del señor de Ayala trajo a todo el valle, se había convertido, en efecto, en una lucha de linajes. Muerto sin sucesión legítima Juan Sánchez de Salcedo, pretendía el señorío García de Murga, su sobrino, hijo de su hermano bastardo Juan Sánchez Chiquilín, señor de la casa de Murga.
A los de Ibargüen e Perea e otros de Ayala no les placía el candidato. La razón era clara: si la casa de Murga, tan próxima a las de Ibargüen y Perea se convertía en señora del valle, haría demasiada sombra a los Parientes Mayores vecinos, mientras que el señorío de los Ayala en Quejana, siempre aceptado por las casas principales de la tierra, no cambiaba una situación establecida y aceptada desde siglos atrás.
Llegados desde Toledo Sancho Pérez de Ayala y su hermano Fernán se entabló una lucha a muerte entre estos y Sancho García de Murga apoyado por la casa de Salazar, quedando por fin el señorío en poder de los Ayalas, tras haber muerto Sancho García de Murga en el combate. La casa de Ibargüen debió acrecentar con este triunfo su poderío durante los siglos XIV y XV, mientras los Ayala crecían a su vez en riquezas, títulos y prerrogativas.
La varonía del apellido Ibargüen se encontraba en el apellido Uriondo cuando menos desde finales del siglo XVI. En la primera mitad del siglo XVII, vivían en el solar de Ibargüen, llamado en algunos documentos "Torre de Uriondo", José de Uriondo y Lucía de Aguirre, señores de la torre.
Su hijo, José de Uriondo, Alcalde Ordinario de Ayala en 1655, casado con Ana de Guinea, testaba en la Torre de Ibargüen en 1693, dejando por heredero del mayorazgo a su hijo Pedro de Uriondo, que, nacido en Maroño en 1647, iba a ostentar también el cargo de Alcalde Ordinario en 1695. Hija de éste y de Marina de Ibarrola, hija a su vez de Diego, señor de la casa de Ibarrola de Zuaza, también Alcalde Ordinario de Ayala en 1639, fue la última señora de la torre de apellido Uriondo, Mª Jacinta de Uriondo e Ibarrola, heredera de la torre y su mayorazgo, que casó con Francisco Antonio de Irabien.
Al morir Mª Jacinta, pasó la torre de Ibargüen a Francisco Javier de Irabien y Uriondo. La torre de Izoria se mantuvo así en el apellido Irabien unida a los solares y torres de Irabien en Quejana y Ullibarri en Respaldiza. Mientras uno de los descendientes, el hermano de Francisco Javier, Raimundo de Irabien y Uriondo, llegaba a ocupar los cargos de Ministro de la Real Audiencia de Cataluña, Presidente de la Chancillería de Valladolid y Gobernador de la Sala de Alcaldes en el Real y Supremo Consejo de Castilla.
Los señores de la torre seguían disfrutando entonces de señaladas prerrogativas en el valle de Ayala. Se la reconocía, como hemos dicho, como una de las primeras casas del territorio y hermana en lo antiguo con la del Conde de Ayala, Perea, Murga y Mariaca. En la iglesia de Izoria tenían sus señores banco propio en lugar preeminente, recibían los primeros la paz y el pan bendito y tenían preferencia en las procesiones, en la ofrenda y en el responsorio de su sepultura sin contradicción alguna. Gozaban en los montes de Maroño de las cortas de leña, pastos, aguas y demás emolumentos que producían, si bien tenían los señores la obligación de tener siempre reparada la presa y el cauce de su molino, de suerte que no cause perjuicios y daños.
El brillo de la casa de Ibargüen fue apagándose lentamente, como sucedió con la de Perea, hasta su destrucción más completa. Acaso los herederos de sus mayorazgos quedaron demasiado vinculados a la tierra, sin salir de sus solares, hasta que en tiempos no muy lejanos los abandonaron sin demasiada pena ni gloria.
Es muy significativo a este respecto el dato que en 1728, la heredera del mayorazgo y señora de la torre, Jacinta de Uriondo, no supiera firmar su testamento, como tampoco lo había podido firmar su madre Mª de Ibarrola, también señora de la torre infanzona de Ibargüen.
De la torre de Ibargüen no queda ni rastro, pero sabemos como se conservaba en 1758. Era una edificación de cal y canto con sus dos estribos de piedra de sillería que suben desde el suelo hasta el taxado por ambas esquinas de su frontera y delantera, como fortificándola.
Tenía su coto redondo, amplio y cerrado, llamado "La Serna", y encima de la puerta de la torre, un escudo de madera embutido en la pared. Llevaba las armas de Ibargüen: cinco castillos encarnados en campo blanco, en su primer cuartel; en el segundo una cruz de Calatrava y cinco corazones verdes, dos en la parte superior y dos en la inferior todo en campo de color de cielo obscuro; en el tercel cuartel un hombre de pie, vestido de cota y morreon afirmándose en la lanza que tiene en la mano derecha con su vanda encarnada ceñida del hombro yzquierdo al costado derecho, en campo azul celeste y en el cuarto cuatel dos espadas a la cruz con las puntas hacia el suelo y de la empuñadura de cada una un lebrel atado y a cada lado de las dichas espadas, en campo de color perla. En la parte inferior un letrero decía "Armas de la Casa Torre y Solar Ibargüen".
(Torres y Casas Fuertes en Álava/ Micaela Portilla)