MINISTERO DELL'ISTRUZIONE, DELL'UNIVERSITÀ E DELLA RICERCA
DIPARTIMENTO PER L'UNIVERSITÀ, L'ALTA FORMAZIONE ARTISTICA, MUSICALE E COREUTICA E PER LA RICERCA SCIENTIFICA E TECNOLOGICA
PROGRAMMI DI RICERCA SCIENTIFICA DI RILEVANTE INTERESSE NAZIONALE
RICHIESTA DI COFINANZIAMENTO (DM n. 30 del 12 febbraio 2004)

PROGETTO DI UNA UNITÀ DI RICERCA - MODELLO B
Anno 2004 - prot. 2004015437_002
PARTE I

1.1 Tipologia del programma di ricerca
Interuniversitario 


Aree scientifico disciplinari
Area 01: Scienze matematiche e informatiche (100%) 
 
 


1.2 Durata del Programma di Ricerca

 

24 Mesi  


1.3 Coordinatore Scientifico del Programma di Ricerca

BINI  DARIO ANDREA  bini@dm.unipi.it 
MAT/08 - Analisi numerica 
Università di PISA 
Facoltà di SCIENZE MATEMATICHE FISICHE e NATURALI  
Dipartimento di MATEMATICA "Leonida Tonelli" 


1.4 Responsabile Scientifico dell'Unità di Ricerca

DI BENEDETTO  FABIO 
Professore Associato  17/05/1963  DBNFBA63E17E463A 
MAT/08 - Analisi numerica 
Università degli Studi di GENOVA 
Facoltà di SCIENZE MATEMATICHE FISICHE e NATURALI  
Dipartimento di MATEMATICA  
010-3536883
(Prefisso e telefono)
 
010-3536752
(Numero fax)
 
dibenede@dima.unige.it
(Email)
 


1.5 Curriculum scientifico del Responsabile Scientifico dell'Unità di Ricerca


Testo italiano

Fabio Di Benedetto, nato a La Spezia il 17/5/1963, ha conseguito la laurea in Matematica nel 1987 presso l'Università di Pisa con la votazione finale di 110/110 e lode. Dopo alcune borse di studio CNR, ha vinto nel 1990 il concorso per Ricercatore di Analisi Numerica presso il Dipartimento di Matematica dell'Università di Genova; dal 2000 è Professore Associato di Analisi Numerica presso lo stesso Dipartimento.
Svolge dal 1994 corsi di Calcolo Numerico per i corsi di laurea, laurea specialistica e diploma in Informatica, Scienze dei Materiali, Ingegneria Meccanica e Matematica, ed è stato relatore di una tesi di dottorato e di numerose tesi di laurea in Matematica.
I suoi principali interessi di ricerca riguardano l'algebra lineare numerica e in particolare le matrici strutturate (ad esempio le matrici di Toeplitz) e le relative applicazioni all'elaborazione di immagini. È autore e coautore di circa 30 articoli e svolge attività di referee per il Mathematical Reviews e per le riviste internazionali SIAM Journal on Numerical Analysis, SIAM Journal on Matrix Analysis and Applications, SIAM Journal on Scientific Computing, BIT e Calcolo.
Ha collaborato all'organizzazione di due Workshop INDAM sulle matrici strutturate svoltisi a Cortona nel 1996 (curando la pubblicazione dei relativi proceedings) e nel 2000, e fa parte del relativo Comitato Scientifico per l'edizione 2004.
È infine responsabile scientifico di unità operativa per un PRIN 2002.


Testo inglese
Fabio Di Benedetto, born in 1963, received the "laurea" in Mathematics in 1987 at the University of Pisa with 110/110 marks "cum laude". After some fellowships from CNR (the National Research Council), in 1990 he became Researcher in Numerical Analysis at the Department of Mathematics of the University of Genova; from 2000 he is Associate Professor of Numerical Analysis at the same Department.
His teaching activity includes from 1994 classes of Numerical Calculus for undergraduate and graduate students in Computer science, Material sciences, Mechanical Engineering and Mathematics; he has been advisor of a PHD thesis and of several graduate theses in Mathematics.
His main research interests involve numerical linear algebra, with special emphasis in structured matrices (namely Toeplitz matrices) and their applications to image processing. He is author and coauthor of about 30 papers; his refereeing activity concerns Mathematical Reviews and international journals like SIAM Journal on Numerical Analysis, SIAM Journal on Matrix Analysis and Applications, SIAM Journal on Scientific Computing, BIT and Calcolo.
He cooperated to the organization of two INDAM international workshops made in Cortona on structured matrices, in 1996 (with the publication of related proceedings) and 2000, and is member of the Scientific Committee for 2004 edition.
He is the local coordinator of a project funded in 2002 by Italian Government.


1.6 Pubblicazioni scientifiche più significative del Responsabile Scientifico dell'Unità di Ricerca

 

1. DI BENEDETTO F.; SERRA CAPIZZANO S. (2002). A note on the superoptimal matrix algebra operators LINEAR AND MULTILINEAR ALGEBRA. (vol. 50 pp. 343-372)  
2. DI BENEDETTO F. (2000). Matrix structures for image applications: some examples and open problems NOTES ON NUMERICAL FLUID MECHANICS. (vol. 73 pp. 243-249)  
3. DI BENEDETTO F.; SERRA CAPIZZANO S. (1999). A unifying approach to abstract matrix algebra preconditioning NUMERISCHE MATHEMATIK. (vol. 82 pp. 57-90)  
4. BERTERO M.; BOCCACCI P.; DI BENEDETTO F.; ROBBERTO M. (1999). Restoration of chopped and nodded images in infrared astronomy INVERSE PROBLEMS. (vol. 15 pp. 345-372)  
5. DI BENEDETTO F. (1995). Analysis of preconditioning techniques for ill-conditioned Toeplitz matrices SIAM JOURNAL ON SCIENTIFIC COMPUTING. (vol. 16 pp. 682-697)  


1.7 Risorse umane impegnabili nel Programma dell'Unità di Ricerca




1.7.1 Personale universitario dell'Università sede dell'Unità di Ricerca

Personale docente

Cognome  Nome  Dipartimento   Qualifica  Settore Disc.  Mesi Uomo 
1° anno  2° anno 
1. DI BENEDETTO  Fabio  Dip. MATEMATICA  Prof. Associato  MAT/08  8  6 
2. BOCCACCI  Patrizia  Dip. INFORMATICA E SCIENZE DELL'INFORMAZIONE  Ricercatore Universitario  INF/01  3  3 
3. BRIANZI  Paola  Dip. MATEMATICA  Prof. Associato  MAT/08  4  4 
  TOTALE              15  13 


Altro personale


Nessuno

1.7.2 Personale universitario di altre Università

Personale docente

Cognome  Nome  Università  Dipartimento  Qualifica  Settore Disc.  Mesi Uomo 
1° anno  2° anno 
1. SERRA CAPIZZANO  Stefano  INSUBRIA  Dip. SCIENZE CHIMICHE, FISICHE E MATEMATICHE  PA  MAT/08  4  6 
2. TABLINO POSSIO  Cristina  MILANO-BICOCCA  Dip. MATEMATICA E APPLICAZIONI  RU  MAT/08  6  6 
3. FASINO  Dario  UDINE  Dip. MATEMATICA E INFORMATICA  PA  MAT/08  4  5 
4. BERTACCINI  Daniele  ROMA  Dip. MATEMATICA  RU  MAT/08  7  6 
  TOTALE                 21  23 


Altro personale

Cognome  Nome  Università  Dipartimento   Qualifica  Mesi Uomo 
1° anno  2° anno 
1. Donatelli  Marco  Università degli Studi INSUBRIA Varese-Como  Dip. di Fisica e Matematica  dottorando  7  7 
  TOTALE             


1.7.3 Titolari di assegni di ricerca

Cognome  Nome  Dipartimento  Data di inizio del contratto  Durata
(in anni) 
Mesi Uomo 
1° anno  2° anno 
1. ESTATICO   Claudio   Dip. MATEMATICA  02/09/2003   1  9  7 
TOTALE               


1.7.4 Titolari di borse


Nessuno

1.7.5 Personale a contratto da destinare a questo specifico programma

Qualifica  Costo previsto  Mesi Uomo  Note 
1° anno  2° anno 
1. Assegnista  18.000  9  7  possibile cofinanziamento da parte dell'Area 
  TOTALE  18.000    


1.7.6 Personale extrauniversitario indipendente o dipendente da altri Enti


Nessuno




PARTE II

2.1 Titolo specifico del programma svolto dall'Unità di Ricerca


Testo italiano

Analisi di matrici strutturate e applicazioni ad approssimazione, problemi inversi e PDE


Testo inglese
Structured matrix analysis and applications to approximation, inverse problems and PDEs.


2.2 Settori scientifico-disciplinari interessati dal Programma di Ricerca

 

MAT/08 - Analisi numerica 
INF/01 - Informatica 


2.3 Parole chiave


Testo italiano

MATRICI DI TOEPLITZ ; PRECONDIZIONAMENTO PER MATRICI STRUTTURATE ; MULTIGRID PER MATRICI STRUTTURATE ; MATRICI SEMISEPARABILI ; MATRICI CON STRUTTURA ; IMMAGINI LBT


Testo inglese
TOEPLITZ MATRICES ; PRECONDITIONING FOR STRUCTURED MATRICES ; MULTIGRID FOR STRUCTURED MATRICES ; SEMISEPARABLE MATRICES ; STRUCTURED MATRICES ; LBT IMAGING


2.4 Base di partenza scientifica nazionale o internazionale


Testo italiano

L'unità operativa comprende gli stessi partecipanti di un progetto cofinanziato MIUR del 2002 (http://bezout.dm.unipi.it). I componenti (otto matematici e un'informatica) vantano una prolungata esperienza di ricerca nei campi dell'analisi spettrale e computazionale di ampie classi di matrici strutturate [21,22,23,24,29,30,39,44,52] e della regolarizzazione di problemi inversi che intervengono in molteplici applicazioni [7,16]. Più di recente, è stato creato nuovo feedback tra l'algebra lineare strutturata e campi d'applicazione come le equazioni alle derivate parziali (PDE), le immagini e l'approssimazione di funzioni [4,6,8,9,49,50].
La descrizione della base di partenza scientifica seguirà, in larga parte, quella del precedente progetto, con gli opportuni aggiornamenti ed integrazioni.

La comprensione delle matrici strutturate di tipo Toeplitz ha ricevuto negli ultimi anni un forte impulso da parte di svariati gruppi di ricerca in algebra lineare numerica. Si sono affermate in particolare due principali direttrici di ricerca: la prima, più teorica, riguarda lo studio di proprietà spettrali di successioni di matrici strutturate; la seconda, più applicativa, è legata alla ricerca di solutori di Toeplitz efficienti.

Per ciò che concerne le proprietà spettrali, di sicura importanza sono i risultati distribuzionali iniziati da Szego (si veda [15]), culminati nel lavoro di Tyrtyshnikov [56] e riguardanti il "comportamento globale" degli spettri di successioni di Toeplitz. In letteratura sono presenti estensioni al caso di generatrici a valori matriciali ed a successioni provenienti dal precondizionamento [42,43] oltre ad applicazioni all'approssimazione e alla quadratura [45]. Altra importante estensione concerne il caso di strutture che sono "solo localmente" Toeplitz [55] o che possiedono altre "strutture locali" e che contengono come casi particolari discretizzazioni di equazioni differenziali con condizioni al contorno [50,51].
Un ulteriore settore di interesse, anche applicativo per il suo ovvio impatto sullo studio del condizionamento asintotico, è quello dello studio dei valori singolari/autovalori estremi (si veda [15,41,43,52] e relativi riferimenti).

Per ciò che concerne i metodi numerici, sono stati recentemente conseguiti risultati pressoché definitivi nel costruire algoritmi sempre più efficienti per la soluzione di sistemi lineari e di problemi ai minimi quadrati.
Le prime tecniche specializzate sono quelle che vanno sotto il nome di metodi "fast" e "superfast". Si tratta di metodi diretti che riducono il costo ad O(n2) e O(n log2n) operazioni aritmetiche dove n è la dimensione. Per una esaustiva analisi di tali metodi, spesso basati sulla nozione di "rango di dislocamento", si veda [35] e gli oltre 100 titoli citati in bibliografia, ed il libro [13].
Un ulteriore miglioramento, almeno nel caso bencondizionato, è rappresentato dall'uso del Gradiente Coniugato Precondizionato (PCG). Una tipica scelta fissa il precondizionatore nell'algebra di tutte le matrici diagonalizzate tramite una trasformata veloce prefissata: le circolanti, associate alla trasformata discreta di Fourier (che Strang [54] propose per primo nel 1986), sono la scelta più comune, per quanto anche le trasformate trigonometriche siano state recentemente prese in considerazione [10,34].
Il risultato è un clustering forte nel caso unilivello per ogni generatrice continua, mentre nel caso multilivello il clustering forte è molto raro e le proprietà di clustering si deteriorano man mano che il numero di livelli aumenta. La situazione è in realtà anche peggiore perché i lavori [53,46] provano che questo tipo di clustering è il migliore possibile, almeno quando si usino precondizionatori in algebre.
Per il caso malcondizionato l'analisi è più complessa ed infatti molti dei metodi "fast" e "superfast" soffrono di problemi di stabilità e molti dei precondizionatori proposti non sono più ottimali. A questo proposito R.Chan e Di Benedetto, Fiorentino e Serra Capizzano introducono una ulteriore tecnica di precondizionamento che si basa su matrici di Toeplitz a banda [18] e che conduce a metodi ottimali e superlineari [40] di costo O(n log(n)) per sistemi definiti positivi con condizionamento polinomiale, o solo ottimali per il caso non definito [39].
Le stesse idee sono state sfruttate in seguito nelle algebre matriciali da vari autori (vedi ad es. [21,44,19]). Il problema è così ricondotto al caso a banda, per il quale esistono risolutori ottimali iterativi (il multigrid [31], studiato in seguito da R.Chan e Huckle) e diretti [12] di costo lineare.
È importante osservare che tale tecnica di precondizionamento a banda è naturalmente estendibile al caso multilivello [38]. Quindi il problema è quello di trovare buoni solutori per sistemi di Toeplitz a banda e multilivello. La tecnica [12] non è più ottimale (anche se rimane "quasi lineare" in costo), mentre il metodo multigrid è di nuovo ottimale [2]. Sulla base di tali premesse uno degli obiettivi principali nelle future ricerche sarà quello di indagare metodi multigrid ottimali per il caso specifico di strutture a banda e multilivello (con condizionamento polinomiale).

Segnaliamo altri due tipi di strutture, sviluppati nella letteratura più recente.
Il primo riguarda i sistemi lineari shiftati del tipo (A+cI)x=b, che intervengono in varie applicazioni (elaborazione d'immagini, PDE evolutive, calcolo iterativo di autovalori, etc.), ove al posto dell'identità I figura talvolta uno shift diagonale generico. Nel progetto precedente è stato proposto un nuovo precondizionatore nel caso di A SPD, legato a una modifica delle inverse approssimate in forma fattorizzata [3].
Il secondo riguarda le matrici diagonali+semiseparabili, che svolgono un ruolo cruciale nell'approssimazione: in particolare, le stesse relazioni esistenti tra matrici tridiagonali e sequenze di polinomi ortogonali esistono tra queste matrici e certe sequenze di funzioni razionali ortogonali [29]. Negli ultimi due anni diversi gruppi hanno studiato problemi computazionali legati a tale classe, come il metodo QR per il calcolo degli autovalori, con ricadute interessanti sul calcolo di zeri di polinomi [11,30].

Dal punto di vista applicativo, molte situazioni concrete richiedono la soluzione in tempi brevi di problemi matematici di grosse dimensioni, caratterizzati dalla presenza (talvolta nascosta) di strutture matriciali; tra le più importanti, vanno segnalati i problemi inversi legati all'elaborazione di immagini, le PDE, l'approssimazione di funzioni.

Una recente tecnica di imaging che richiede di risolvere problemi di ricostruzione particolarmente difficili è ad esempio il Large Binocular Telescope (LBT) [1]. Il problema matematico alla base è la ricostruzione di immagini multiple di circa 108 pixel, e necessita pertanto di metodi numerici efficienti. Altre tecniche di imaging ad esso legate sono il "chopping e nodding" [8] per l'infrarosso e l'ottica adattiva [20].
Tutti i metodi numerici usati nel campo delle immagini devono tenere presente che è necessaria una qualche forma di regolarizzazione. Il precondizionamento in algebre matriciali è stato applicato con successo alla ricostruzione di immagini mediante la definizione di una famiglia parametrica di precondizionatori specifici, aventi di per sè effetto regolarizzante; tale famiglia può essere ottenuta filtrando opportunamente i precondizionatori ottimale [32] o superottimale [26].
Le ricostruzioni ottenute con un metodo di base possono poi essere migliorate grazie a due strumenti avanzati: le condizioni al contorno (vedi [8,33,37] per scelte classiche e [48] per la nuova idea delle anti-riflettenti) e le wavelet [17].
L'uso di strutture matriciali si è ormai affermato nei problemi inversi lineari, ma è ancora raro nel campo non lineare. Va segnalato al proposito un recente risultato [27] relativo ad un problema di Remote Sensing. Il modello matematico da risolvere è un'equazione integro-differenziale non lineare fortemente malposta, e si può trattare con una tecnica iterativa "Quasi-Newton" a due livelli, con regolarizzazione del problema linearizzato tramite metodo di Landweber; ciò conduce a matrici strutturate ed all'uso di tecniche di algebra numerica veloce.

La struttura di Toeplitz a banda è l'ingrediente principale per una tecnica di precondizionamento superlineare [49,50,51] per discretizzazioni a Differenze Finite, Elementi Finiti o Collocazione di equazioni differenziali ellittiche al contorno con coefficienti non costanti. La tecnica assicura un cluster forte ed equivalenza spettrale almeno nei casi in cui i coefficienti siano di classe C2 e quindi migliora sostanzialmente altre tecniche di precondizionamento (fattorizzazioni incomplete, inverse approssimate, algebre matriciali).
La discretizzazione alle differenze finite di problemi di evoluzione con formule multistep lineari ai valori al bordo determina invece matrici non simmetriche di grandi dimensioni con struttura a blocchi. Sono stati introdotti diversi precondizionatori: di tipo circolante [4,6] o basati su splitting Hermitian-skew Hermitian [5]; sotto opportune ipotesi, per entrambi la convergenza risulta indipendente dal parametro di finezza.

Infine, vari problemi di approssimazione polinomiale e razionale si lasciano descrivere in termini di matrici strutturate, tra cui le classi di Cauchy, Pick, Vandermonde, localmente Toeplitz e semiseparabili. Le relative proprietà spettrali forniscono una più profonda comprensione del comportamento numerico degli algoritmi usati per risolvere i problemi da cui sono originate.


Testo inglese
The group consists of the same people participating to a project which has been funded for the period 2002-2003 (see the web page http://bezout.dm.unipi.it). The components (eight mathematicians and one computer scientist) have a long-standing research experience in the fields of the spectral and computational analysis of wide classes of structured matrices [21,22,23,24,29,30,39,44,52] and of the regularization of inverse problems arising in several applications [7,16]. More recently, new expertises have been acquired about the feedback between structured linear algebra and applied areas including partial differential equations (PDEs), image processing and functional approximation [4,6,8,9,49,50].
The description of the scientific background will follow, in a large part, that of the previous project, obviously with the appropriate updates and additions, achieved during the project itself.

In the last years the insight about structured Toeplitz-like matrices has received a strong impulse by several research groups in numerical linear algebra.
Two main research lines have taken place in the literature. The first is more theoretical and is concerned with the spectral properties of structured sequences. The second has a more applicative appealing and is related to the design of efficient structured solvers.

Regarding the spectral properties, we recall the distributional results pioneered by Szego (see [15]) and culminated in the work of Tyrtyshnikov [56] concerning the "global behaviour" of the spectra of Toeplitz sequences. Extensions to matrix valued generating functions and to sequences arising in the preconditioning theory [42,43] as well as some applications to approximation and quadrature [45], can be found in literature. A second important extension concerns the case of structures which are of Toeplitz type "only locally" [55] or that possess different "local structures" and include, as special instance, discretizations of differential operators with boundary conditions [50,51].
A further research line of theoretical and applicative interest is the analysis of the extremal spectral behaviour for its impact in the study of the asymptotical conditioning (see [15,41,43,52] and references therein).

Concerning the numerical methods, crucial results have been recently achieved in the construction of more and more efficient algorithms for solving linear systems and least squares problems.
The first specialized techniques are the "fast" and "superfast" methods. They belong to the class of direct methods and reduce the arithmetic cost to O(n2) and O(n log2n) operations where n is the size of the systems. For an exhaustive survey on these methods often based on the notion of "displacement rank" see [35] (and the several references in the bibliography) and the book [13].
For the well conditioned case, a further improvement is represented by the use of the Preconditioned Conjugate Gradient method (PCG). A typical choice takes the preconditioner in the algebra including all the matrices that are diagonalized by a prescribed fast transform: the most widely used is the circulant class associated with the discrete Fourier transform (as Strang [54] proposed first in 1986), even though trigonometric transforms recently received particular attention [10,34].
The conclusion is that the strong clustering holds for continuous symbols and in the unilevel case while in the multilevel case the strong clustering rarely occurs and the clustering features deteriorate as the number of levels increases. The general situation is even worse since the papers [53,46] inform us that this kind of clustering is the best possible when we use matrix algebra preconditioners.
Concerning the ill-conditioned case, the analysis is more complicated and indeed many of the fast and superfast solvers show numerical instability and many of the proposed preconditioners are no longer optimal since the required number of iterations can grow with the dimension n. In this respect R.Chan and Di Benedetto, Fiorentino and Serra Capizzano introduce a new preconditioning strategy based on banded Toeplitz matrices (see [18]) that leads to optimal and superlinear [40] iterative solvers of cost O(n log(n)) for positive definite linear systems having polynomial ill conditioning, or just optimal methods for the indefinite case [39].
These ideas have been further exploited by Di Benedetto, Serra Capizzano, R.Chan, Potts and Steidl in a matrix algebra setting (see e.g. [21,44,19]). Now the problem is reduced to the band case for which we have optimal iterative solvers (the multigrid method [31] subsequently studied by R.Chan and Huckle) and direct solvers [12] of linear cost.
It is worthwhile stressing that this preconditioning strategy can be extended in a natural way [38] to the multilevel setting. Therefore the crucial problem is reduced to finding good solvers in the banded multilevel Toeplitz case. The method in [12] is no longer optimal (even if it shows a "quasi linear" arithmetic cost), while the multigrid technique is still optimal [2]. In conclusion one of the important issues to be taken into account in future works is the analysis and the design of optimal multigrid strategies for multilevel banded structures (with polynomial ill conditioning).

Two further kinds of structures, developed in the most recent literature, are worth to mention.
The first one involves shifted linear systems as (A+cI)x=b, arising in several frameworks (image processing, time-dependent PDEs, iterative eigensolvers, etc.), where the identity matrix I is sometimes replaced by a more general diagonal shift. In the previous project a new preconditioning technique has been proposed for the case where A is SPD and e is a nonnegative parameter, based on a modification of factorized approximate inverses [3].
The second one is concerned with diagonal plus semi-separable matrices, which play a crucial role in the approximation context: more precisely, the well-known link between tridiagonal matrices and orthogonal polynomials has a counterpart between this new matrix class and orthogonal rational functions [29]. Several people have considered in the last two years some computational problems related to this class, such as QR iteration for computing the eigenvalues, with promising applications to polynomial rootfinding [11,30].

From the application point of view, many concrete situations demand the fast solution of mathematical problems of very large size, characterized by the (sometimes hidden) presence of matrix structures; among the most important, we point out inverse problems arising in image processing, PDEs and functional approximation.

A very recent example of imaging device that requires the solution of challenging reconstruction problems is the Large Binocular Telescope (LBT) [1]. The underlying mathematical problem involves the reconstruction of multiple images of about 108 pixels, and therefore it needs efficient numerical methods. Other related imaging problems involve "chopping and nodding" [8] techniques for the recovering of infrared images, and adaptive optics [20].
All the numerical methods used in image reconstruction must take into account that some regularization approach is needed. Successful applications of matrix algebra preconditioning have involved the definition of a parameter-dependent family of specific preconditioners, constructed by means of a proper filtering of optimal [32] or superoptimal [26] approximations, having themselves a regularization effect.
The reconstruction obtained by a basic method can be further improved with the help of two advanced tools: boundary conditions (see [8,33,37] for classical proposals and [48] for the new anti-reflective idea) and wavelets [17].
The use of structured matrix tools is becoming standard for linear inverse problems, but is still uncommon in the nonlinear case. It is worth to mention a recent successful experience [27] along this direction, concerning a Remote Sensing problem. The mathematical model is a nonlinear ill-posed integral-differential equation, which can be treated by an outer-inner two-steps Inexact Newton iterative method. Any Newton linearized step has been regularized by means of the Landweber iterative method, leading to the use of structured matrix computational techniques.

Banded Toeplitz matrices are the main ingredient in a superlinear preconditioning strategy [49,50,51] for Finite Differences (FD), Finite Elements or Collocation discretizations of elliptic boundary value problems with nonconstant coefficients. This technique insures a strong clustering and a spectral equivalence at least when the coefficients are two times continuously differentiable, hence it gives a substantial improvement with respect to other preconditioning techniques (incomplete factorizations, approximate inverses, matrix algebras).
Finite difference discretization of time-dependent PDEs generates large nonsymmetric matrices having a block structure. Several preconditioners have been introduced, either of circulant type [4,6] or based on a Hermitian-skew Hermitian splitting [5]; both achieve a rate independent of the discretization parameter under suitable assumptions.

Finally, several problems related to polynomial and rational approximation can be described in terms of structured matrices, including Cauchy, Pick, Vandermonde, locally Toeplitz and semiseparable. The spectral properties of these matrices allow us to better understand the behaviour of numerical solvers for the underlying approximation problem.


2.4.a Riferimenti bibliografici

[1] J.Angel, J.Hill, P.Strittmatter, P.Salinari, G.Weigelt, Interferometry with the Large Binocular Telescope. Proc. SPIE 3352(1998), 881-889
[2] A.Aricò, M.Donatelli, S.Serra Capizzano, Multigrid optimal convergence for certain (multilevel) structured linear systems. SIAM J. Matr. Anal. Appl., in press
[3] M.Benzi, D.Bertaccini, Approximate inverse preconditioning for shifted linear systems. BIT 43(2003), 231-244
[4] D.Bertaccini, A circulant preconditioner for the systems of LMF-based ODE codes. SIAM J. Sci. Comp. 22(2000), 767-786
[5] D.Bertaccini, G.Golub, S.Serra Capizzano, C.Tablino Possio, Preconditioned HSS methods for the solution of non-Hermitian positive definite linear systems. Tech. Rep., Stanford Univ., 2002
[6] D.Bertaccini, M.Ng, Band-Toeplitz Preconditioned GMRES Iterations for time-dependent PDEs. BIT 43(2003), 901-914
[7] M.Bertero, P.Boccacci, Introduction to Inverse Problems in Imaging, IOP Publ., Bristol, 1998
[8] M.Bertero, P.Boccacci, F.Di Benedetto, M.Robberto, Restoration of chopped and nodded images in infrared astronomy. Inverse Problems 15(1999), 345-372
[9] D.Bindi, P.Brianzi, F.Di Benedetto, A Fourier approach to the natural pixel discretization of brain single-photon emission computed tomography. Int. J. of Imaging Syst. and Technol. 12(2002), 1-8
[10] D.Bini, F.Di Benedetto, A new preconditioner for the parallel solution of positive definite Toeplitz linear systems. Proc. 2nd SPAA conf. Crete (Greece), 1990, 220-223
[11] D.Bini, L.Gemignani, V.Pan, Inverse power and Durand-Kerner iterations for univariate polynomial root-finding. Comput. Math. Appl., in press
[12] D.Bini, B.Meini, Effective methods for solving banded Toeplitz systems. SIAM J. Matr. Anal. Appl. 20(1999), 700-719
[13] D.Bini, V.Pan, Polynomial and Matrix Computation: Vol.1, Fundamental Algorithms. Birkauser, Boston, MA, 1994
[14] A.Björck, P.Heggernes, P.Matstoms, Methods for large scale total least squares problems. SIAM J. Matr. Anal. Appl. 22(2000), 413-429.
[15] A.Boettcher, B.Silbermann, Introduction to Large Truncated Toeplitz Matrices. Springer, NY, 1999
[16] P.Brianzi, A criterion for the choice of a sampling parameter in the problem of Laplace transform inversion. Inverse Problems 10(1994), 55-61
[17] R.Chan, T.Chan, L.Shen, Z.Shen, Wavelet deblurring algorithms for spatially varying blur from high-resolution image reconstruction. Linear Algebra Appl. 366(2003), 139-155
[18] R.Chan, M.Ng, Conjugate gradient methods for Toeplitz systems. SIAM Rev. 38(1996), 427-482
[19] R.Chan, D. Potts, G. Steidl, Preconditioners for nondefinite Hermitian Toeplitz systems. SIAM J. Matr. Anal. Appl. 22(2000), 647-665
[20] M.Chu, V.Pauca, R.Plemmons, X.Sun, A Mathematical Framework for the Linear Reconstructor Problem in Adaptive Optics. Linear Algebra Appl. 316(2000), 113-135
[21] F.Di Benedetto, Analysis of preconditioning techniques for ill-conditioned Toeplitz matrices. SIAM J. Sci. Comp. 16(1995), 682-697
[22] F.Di Benedetto, Preconditioning of block Toeplitz matrices by sine transforms. SIAM J. Sci. Comp. 18(1997), 499-515
[23] F.Di Benedetto, Solution of Toeplitz normal equations by sine transform based preconditioning. Linear Algebra Appl. 285(1998), 229-255
[24] F.Di Benedetto, S.Serra Capizzano, A unifying approach to abstract matrix algebra preconditioning. Numer. Math. 82(1999), 57-90
[25] H.Engl, M.Hanke, A.Neubauer, Regularization of Inverse Problems, Kluwer Academic Publishers, Dordrecht, The Netherlands, 1996
[26] C.Estatico, A class of filtering superoptimal preconditioners for highly ill conditioned linear systems. BIT 42(2002), 753-778
[27] C.Estatico, A.Tamasan, A Newton linearization approach for solving the atmospheric retrieval problem. Tech. Rep., UCLA, 2003
[28] D.Fasino, Rational Krylov matrices and QR steps on Hermitian diagonal-plus-semiseparable matrices. Num. Lin. Alg. Appl., to appear
[29] D.Fasino, L.Gemignani, Structural and computational properties of possibly singular semiseparable matrices. Linear Algebra Appl. 340(2002), 183-198
[30] D.Fasino, N.Mastronardi, M.Van Barel, Fast and stable algorithms for reducing diagonal plus semiseparable matrices to tridiagonal and bidiagonal form. Contemporary Mathematics 323(2003), 105-118
[31] G.Fiorentino, S.Serra Capizzano, Multigrid methods for symmetric positive definite block Toeplitz matrices with nonnegative generating functions. SIAM J. Sci. Comp. 17(1996), 1068-1081
[32] M.Hanke, J.Nagy, R.Plemmons, Preconditioned iterative regularization for ill-posed problems. Numerical Linear Algebra and Scientific Computing, de Gruyter, 1993, 141-163
[33] A.Jain, Fundamentals of Digital Image Processing. Prentice-Hall, Englewood Cliffs, NJ, 1989
[34] T.Kailath, V.Olshevsky, Displacement structure approach to discrete-trigonometric-transform based preconditioners of G.Strang type and T.Chan type. Calcolo 33(1996), 191-208
[35] T.Kailath, A.Sayed, Displacement structure: theory and applications. SIAM Rev. 37(1995), 297-386
[36] S.Kamvar, H.Haveliwala, C.Manning, G.Golub, Exploiting the block structure of the Web for computing PageRank. Tech. Rep., Stanford Univ., 2003
[37] M.Ng, R.Chan, W.C.Tang, A fast algorithm for deblurring models with Neumann boundary conditions. SIAM J. Sci. Comput. 21(1999), 851-866
[38] S.Serra Capizzano, Preconditioning strategies for asymptotically ill-conditioned block Toeplitz systems. BIT 34(1994), 579-594
[39] S.Serra Capizzano, Preconditioning strategies for Hermitian Toeplitz systems with nondefinite generating functions. SIAM J. Matr. Anal. Appl. 17(1996), 1007-1019
[40] S.Serra Capizzano, Optimal, quasi-optimal and superlinear preconditioners for asymptotically ill-conditioned positive definite Toeplitz systems. Math. Comp. 66(1997), 651-665
[41] S.Serra Capizzano, On the extreme eigenvalues of Hermitian (block) Toeplitz matrices. Linear Algebra Appl, 270(1998), 109-129
[42] S.Serra Capizzano, An ergodic theorem for classes of preconditioned matrices. Linear Algebra Appl. 282(1998), 161-183
[43] S.Serra Capizzano, Asymptotic results on the spectra of block Toeplitz preconditioned matrices. SIAM J. Matr. Anal. Appl. 20(1998), 31-44
[44] S.Serra Capizzano, Superlinear PCG methods for symmetric Toeplitz systems. Math. Comp. 68(1999), 793-803
[45] S.Serra Capizzano, Korovkin tests, approximation, and ergodic theory. Math. Comp. 69(2000), 1533-1558
[46] S.Serra Capizzano, Matrix algebra preconditioners for multilevel Toeplitz matrices are not superlinear. Linear Algebra Appl. 343/344(2002), 303-319
[47] S.Serra Capizzano, Convergence analysis of two-grid methods for elliptic Toeplitz and PDEs Matrix-sequences. Numer. Math. 92(2002), 433-465
[48] S.Serra Capizzano, A note on anti-reflective boundary conditions and fast deblurring models. SIAM J. Sci. Comput. 25(2003), 1307-1325
[49] S.Serra Capizzano, C.Tablino Possio, Finite Element matrix-sequences: the case of rectangular domains. Numer. Alg. 28(2001), 309-327
[50] S.Serra Capizzano, C.Tablino Possio, Analysis of preconditioning strategies for collocation linear systems. Linear Algebra Appl. 369(2003), 41-75
[51] S.Serra Capizzano, C.Tablino Possio, Superlinear preconditioners for Finite Differences linear systems. SIAM J. Matr. Anal. Appl. 25(2003), 152-164
[52] S.Serra Capizzano, P.Tilli, Extreme singular values and eigenvalues of non Hermitian Toeplitz matrices. J. Comp. Appl. Math. 108(1999), 113-130
[53] S.Serra Capizzano, E.Tyrtyshnikov, Any circulant-like preconditioner for multilevel matrices is not superlinear. SIAM J. Matr. Anal. Appl. 21(1999), 431-439
[54] G.Strang, A proposal for Toeplitz matrix calculations. Stud. Appl. Math. 74(1986), 171-176
[55] P.Tilli, Locally Toeplitz sequences: spectral properties and applications. Linear Algebra Appl. 278(1998), 91-120
[56] E.Tyrtyshnikov, N.Zamarashkin, Spectra of multilevel Toeplitz matrices: advanced theory via simple matrix relationships. Linear Algebra Appl. 270(1998), 15-27


2.5 Descrizione del programma e dei compiti dell'Unità di Ricerca


Testo italiano

Il programma si sviluppa su due direzioni che erano i temi principali del progetto 2002-2003:
A) Proprietà teoriche e computazionali di matrici strutturate;
B) Strutture matriciali in problemi applicativi.
I problemi aperti in algebra lineare strutturata considerati in A) sono naturale continuazione di ricerche condotte nel progetto precedente, con un'attenzione particolare rivolta a strutture meno studiate (matrici shiftate, semiseparabili, nuove algebre di seni, "ingrassamenti spettrali" di algebre di tipo circolante/trigonometrico): le prime tre sono state oggetto di studio nella letteratura più recente e nelle applicazioni, mentre l'ultima è una nuova proposta a metà strada fra il precondizionamento di tipo circolante e le inverse approssimate sparse.
Le principali applicazioni in B) risultano ancora l'approssimazione, i problemi inversi e le PDE. Oltre alla continuazione di ricerche precedenti, qui verranno anche studiati nuovi problemi e/o tecniche innovative, spesso basate su strumenti avanzati sviluppati di recente nell'ambito delle strutture.
Rispetto al progetto 2002-03, la differenza sta nel diverso peso dato ai temi A) e B): verranno privilegiate le applicazioni reali. Di seguito sono descritti in dettaglio i punti specifici del programma.

A1) Aspetti teorici
a) Algebra lineare asintotica
Applicazione dei risultati finora ottenuti alla convergenza dei metodi iterativi. In particolare, considerando un approccio statistico all'analisi dell'errore nel caso di matrici che mostrano una distribuzione asintotica degli autovalori, siamo interessati nello studiare il ruolo della funzione di distribuzione: siamo convinti che il suo andamento determina l'evolversi dell'errore come il raggio spettrale lo è (asintoticamente) nel caso deterministico.
Il quadro concernente proprietà spettrali asintotiche di matrici strutturate di tipo Toeplitz e Localmente Toeplitz (include discretizzazioni di PDE a coefficienti variabili e su domini irregolari) è abbastanza chiaro: rimane da indagare il comportamento estremale fine (condizionamento asintotico) nel caso multidimensionale seguendo l'approccio di Bottcher e Grudsky. In un ambito più generale (anche non strutturato) e per via del forte interesse nello studio della convergenza di metodi tipo Krylov, studieremo come dedurre il clustering degli autovalori (debole o forte) da un clustering dei valori singolari per il quali sono già a disposizione molti strumenti.
b) Relazioni tra strutture
La relazione esistente tra matrici diagonali+semiseparabili e matrici razionali di Krylov, scoperta in [28], è una controparte "razionale" della ben nota relazione tra matrici tridiagonali e matrici di Krylov classiche. Vogliamo proseguire lo studio di tale relazione, sia per analizzare le proprietà di convergenza delle note varianti razionali dell'iterazione di Krylov, sia per le possibili implicazioni allo studio teorico e computazionale di insiemi di funzioni razionali ortogonali.
A2) Metodologie numeriche
a) Matrici parametriche
Una successione di sistemi lineari è detta parametrica se può essere rappresentata come {Aj xj = bj} dove Aj=A+vj Ej e vj è un parametro scalare; questa descrizione estende il caso più comune di matrici shiftate. Si intende analizzare fattorizzazioni incomplete aggiornate per sistemi lineari parametrici con
i) A nonsimmetrica definita positiva e Ej=I (caso shiftato)
ii) A simmetrica (definita e indefinita) e Ej a banda,
casi che sono strategici nelle rispettive applicazioni. Ad esempio, tecniche del tipo shift-invert, potenze inverse e Jacobi-Davidson sono usate per il calcolo di alcuni (di solito pochi) autovalori e autovettori di problemi hermitiani di grandi dimensioni e sparsi. Si sottolinea che il nucleo di questi algoritmi richiede la soluzione efficiente di numerosi sistemi lineari di grandi dimensioni (e generalmente indefiniti) in forma shiftata. Si prevede di seguire due percorsi per la soluzione dei problemi di cui sopra:
(i) precondizionatori basati su fattorizzazioni aggiornate incomplete indefinite ad-hoc usate con un opportuno metodo di proiezione di Krylov;
(ii) soluzione dei sistemi shiftati mediante metodi di proiezione e precondizionatori multilivello con algoritmi di riordinamento per trasformare il problema di partenza in uno più diagonale dominante.
Un'altra applicazione riguarda la soluzione del problema ai minimi quadrati totali basato sul quoziente di Rayleigh. In questo approccio, la soluzione del problema si riduce alla soluzione di successioni di sistemi simmetrici shiftati e definiti positivi. In [14] Björck e altri hanno proposto di risolvere questi sistemi lineari mediante gradiente coniugato precondizionato con la fattorizzazione (completa) di Choleski della matrice delle equazioni normali. Ci si propone di sintetizzare e analizzare metodi iterativi che generino una successione di sistemi lineari meglio condizionati, usando tecniche basate sulle fattorizzazioni incomplete e inverse approssimate aggiornate.
b) Strutture semiseparabili
Matrici con struttura semiseparabile generalizzata hanno recentemente ottenuto molto interesse come strumenti computazionali per la risoluzione numerica di problemi agli autovalori. La ricerca in questo campo può aprire nuove prospettive per la sintesi di algoritmi efficienti per problemi agli autovalori per matrici speciali, quali matrici di tipo companion generalizzate o matrici di Hessenberg quasi-unitarie.
Inoltre, vogliamo analizzare la possibilità di specificare il termine diagonale nella riduzione di una matrice simmetrica in forma diagonale+semiseparabile, allo scopo di renderne più efficiente il calcolo degli autovalori.
c) Strutture multilivello
Siamo interessati all'analisi e sintesi di algoritmi veloci ad hoc per la risoluzione di sistemi lineari strutturati multilivello (analisi di precondizionatori per il gradiente coniugato, delle relative proprietà di clustering ed equivalenza spettrale, e studio di metodi multigrid con enfasi alla scelta della coppia proiettore/smoother). Più in dettaglio ci interesseremo ai seguenti temi:
- Precondizionamento di strutture multilivello Toeplitz cercando di generalizzare al caso in più variabili i risultati di ottimalità presenti in [40].
- Proposta di un "ingrassamento" di algebre considerando matrici della forma U T U* dove T è una matrice con un certo profilo di sparsità e per la quale la risoluzione di un sistema lineare associato abbia complessità limitata dal costo di moltiplicare U o U* per un vettore (tipicamente O(n log n) operazioni aritmetiche). Vogliamo indagare se questa nuova proposta, che arricchisce sensibilmente le algebre classiche in cui T è solo diagonale, sia sufficiente ad individuare precondizionatori ottimali nel caso multilivello e con malcondizionamento polinomiale (cosa impossibile per T diagonale).
- Estensione della dimostrazione di ottimalità del multigrid in [2] al caso multilivello ed applicazioni a problemi di ricostruzioni di immagini (si veda B2-a) ed alle PDE (con particolare attenzione ai sistemi strutturati e densi provenienti dai metodi Sinc-Galerkin applicati a PDE ellittiche).
B1) Prosecuzione di ricerche precedenti
a) Approssimazione razionale
Vogliamo proseguire alcune ricerche intraprese su problemi di interpolazione o approssimazione con funzioni razionali, con particolare riguardo all'analisi del condizionamento strutturato e al posizionamento ottimale dei poli.
b) Problemi inversi di imaging
Applicazione di algoritmi per la stima automatica del numero di iterazioni, che rappresenta un parametro di regolarizzazione nei metodi iterativi per problemi mal posti, ed è quindi un argomento cruciale nell'ambito della risoluzione di problemi inversi. Estensione dei precondizionatori regolarizzanti al caso della ricostruzione di immagini non negative e all'interno di problematiche legate al sistema di ottica adattiva di cui è fornito l'interferometro LBT.
Analisi e sintesi di nuovi algoritmi efficienti per sistemi lineari generati da algoritmi di regolarizzazione alla Tikhonov. Restringeremmo la nostra attenzione a termini regolarizzanti rappresentanti l'operatore identità o la derivata prima o seconda. Le relative equazioni normali sono in forma parametrica, e potrebbe essere necessario risolvere l'equazione sopra per numerosi valori del parametro di Tikhonov. Gli algoritmi proposti sono basati su nuovi metodi iterativi che usano fattorizzazioni incomplete aggiornate generalizzando i risultati in [3] (che si possono applicare direttamente se il termine di penalizzazione è la semplice norma della soluzione).
Infine, una vasta mole di calcolo è necessaria per ottimizzare noti algoritmi di ricostruzione (quale OS-EM per immagini multiple). Ad esempio, il problema LBT richiede di trattare immagini ad alto range dinamico (giovani stelle binarie, pianeti extrasolari). In tali casi si indagherà in due direzioni: la scelta di un funzionale adatto a catturare particolari caratteristiche e un sofisticato denoising a posteriori che preservi forti gradienti e strutture deboli.
c) PDE
Analisi delle caratteristiche di convergenza del GMRES precondizionato per la soluzione dei sistemi lineari che discretizzano l'equazione di convezione-diffusione con coefficiente di diffusione variabile. Il precondizionatore è basato sulla parte diffusiva dell'operatore corrispondente e si considererà principalmente una discretizzazione del tipo differenze finite in un dominio rettangolare d-dimensionale. Prevediamo di dimostrare l'esistenza di un cluster proprio di autovalori per la matrice precondizionata e quindi la convergenza superlineare delle iterazioni dell'algoritmo precondizionato. Una analisi preliminare ha dimostrato che la struttura del cluster non è influenzata dalla finezza della griglia ma il numero degli outlier nello spettro della matrice precondizionata cresce linearmente col parametro di viscosità. Le stesse tecniche saranno applicate a un modello del metabolismo umano basato su equazioni di convezione-diffusione-reazione dipendenti dal tempo, messe a punto al MIMS center di Cleveland.
B2) Tecniche innovative
a) Multigrid regolarizzante
Nel recuperare il "vero" oggetto da quello sfocato ed affetto da rumore si dovrà tener conto di tecniche regolarizzanti allo scopo di aggirare il problema della cattiva positura del problema. A tale scopo esistono diverse procedure di regolarizzazione quali Tikhonov, Riley, metodi iterativi come CG, CGNE, Landweber etc (si veda [25]). Si vuole indagare la possibilità di utilizzare una tecnica multigrid (basata sulla tecnica algebrica in [2,47]) che, per la sua naturale struttura a più livelli, dovrebbe ben adattarsi al problema in esame. I nostri obiettivi sono i seguenti:
- ottenere la stessa precisione nella ricostruzione dei migliori metodi regolarizzanti (come Landweber o CGNE) ma con un enorme risparmio computazionale;
- adattare la tecnica ad ogni tipo di condizioni al contorno (si veda il punto seguente) grazie alla estrema versatilità del metodo algebrico in [2] rispetto a varie strutture considerate.
b) Condizioni al contorno
Concentreremo i nostri sforzi sulle condizioni al contorno (CC) anti-riflettenti con due obiettivi:
- un'analisi accurata dell'algebra di matrici (non canonica, cioè costituita da elementi eterogenei) che origina dalle condizioni al contorno anti-riflettenti;
- lo studio del ruolo del rumore e, più precisamente, di come usare un metodo regolarizzante (la cui necessità nasce dalla presenza del rumore e dalla cattiva positura del problema) in connessione con le CC anti-riflettenti: ci piacerebbe suggerire modifiche delle classiche tecniche regolarizzanti (basate su equazioni normali o su metodi alla Tikhonov) in modo da sfruttare computazionalmente la struttura di algebra che emerge dalle CC considerate.
Resta comunque inteso l'obiettivo di avere una precisione maggiore rispetto a tecniche regolarizzanti applicate con le altre condizioni al contorno.
c) Denoising e determinazione di contorni tramite wavelet
Le immagini astronomiche sono particolarmente rumorose, richiedendo in molti casi tecniche di denoising. Ci si propone di studiare tre casi pratici: immagini "chopped e nodded" (nel vicino infrarosso), misurazioni di PSF usate in metodi classici di restauro, ricostruzioni sovra-iterate. Per tali indagini saranno usati metodi di riduzione basati su wavelet, in modo da ottimizzare il parametro di soglia per ogni problema.
È inoltre ben noto che l'approccio wavelet nella ricostruzione di immagini può risultare molto efficace in particolare nell'individuare i contorni di un'immagine. Vorremmo indagare nelle due seguenti direzioni:
- individuare relazioni tra i classici metodi wavelet per il deblurring di immagini (sfocate ed affette da rumore) e metodi multigrid (si veda B2-a) per il deblurring di immagini (sfocate ed affette da rumore);
- incorporare le più precise CC anti-riflettenti (si veda B2-b) nell'ambito wavelet allo scopo di migliorare la precisione complessiva dell'immagine ricostruita.
B3) Nuove applicazioni
a) Problemi inversi non lineari
L'approccio iterativo "Quasi-Newton" a due livelli precedentemente applicato ad un problema di Remote Sensing, come descritto nella Base di Partenza, ha rivelato la fattibilità dell'uso di matrici strutturate nel nuovo contesto applicativo dei problemi inversi non lineari. Sviluppi futuri prevedono l'applicazione della stessa tecnica ad un problema di determinazione di permittività dielettrica da Non-Linear Inverse Scattering.
b) Motori di ricerca web
In questa applicazione la struttura che definisce il problema è indicata dalle parole chiave "sparsità" e "struttura a blocchi": si aggiunge per ragioni modellistiche una matrice densa di rango 1 moltiplicata per 1-c, con 0<c<1 [36]. Se c è ben separato da 1, il calcolo del vettore positivo PageRank(c) (vettore stazionario sinistro) è effettuabile in modo sufficientemente veloce tramite il classico metodo delle potenze poiché il secondo autovalore ha modulo al più c.
Comunque, se c è vicino a 1, allora il calcolo diviene troppo lento anche per le enormi dimensioni della matrice di WEB. Il nostro obiettivo è di esprimere PageRank(c) come una espansione razionale di PageRank(1) in modo da applicare alla fine una tecnica di estrapolazione vettoriale.
c) Problemi di identificazione
Problemi inversi non standard agli autovalori per matrici tridiagonali, o con altre strutture ad essa correlate (tra le quali anche strutture di tipo diagonale+semiseparabile), sono stati recentemente individuati in alcuni problemi di identificazione di parametri provenienti dall'ingegneria civile.
In tali applicazioni tipicamente si cerca di identificare piccoli danni molto localizzati su travi, barre multistrato o altre strutture di tipo composito, o di ricostruirne proprietà costitutive, a partire da misure di risposta in frequenza o delle frequenze di risonanza.
Scopo della ricerca proposta è quello di fornire risultati teorici (criteri di identificabilità, analisi perturbative) e pratici (costruzione di algoritmi numerici) per l'identificazione di matrici con strutture assegnate a partire da misure di tipo spettrale.

Tutte le ricerche previste richiedono una validazione numerica e lo sviluppo di software prototipale specifico. L'unità necessita dunque di giovani ricercatori, ai quali sarà dedicata una cospicua parte del finanziamento: assegni, borse o contratti temporanei sono previsti durante il biennio del progetto.
L'unità comprende membri di sedi diverse, e una stretta collaborazione è necessaria anche con aiuti esterni: M.Benzi, Atlanta-USA (punto A2-a), D.Calvetti e G.Seidel, Ohio-USA (punto B1-c), G.Golub, Stanford-USA (punti A1-a, A2-a, B1-c), A.Morassi, Udine (punto B3-c), D.Noutsos e P.Vassalos, Ioannina-Grecia (punti A1-a, A2-c), M.Pastorino, DIBE Genova (punto B3-a), M.Tasche, Rostock-Germania (punto B2-c) e membri di altre unità del progetto (punto A2-b). Pertanto i fondi copriranno diverse spese di missione per meeting e conferenze.


Testo inglese
The new program is organized along two directions that were the main themes considered in the project 2002-2003:
A) Theoretical and computational properties of structured matrices;
B) Structured matrix tools in applied problems.
The topics considered in A) are open problems in structured numerical linear algebra which represent natural continuations of investigations performed in the previous project. Special emphasis will be devoted to less investigated structures (such as shifted, semi-separable matrices, new matrix algebras related to the sine transform of type I, "spectral fattening" of circulant-like/trigonometric algebras): the first three structures have received particular attention in the most recent literature and in applications, while the last is a really new proposal trying to combine the idea of circulant-like and sparse approximate inverse preconditioners.
The main applications considered in B) are again functional approximation, inverse problems, PDEs. Here, in addition to the continuation of previous researches, the group will investigate new applied problems and/or some completely new approaches, often based on advanced tools that are recently developed in the context of structured matrices.
The essential difference with respect to the 2002-2003 project concerns the weights of themes A) and B): more emphasis will be given to (real world) applications. A detailed description of the specific points of the program is reported below.

A1) Theoretical issues
a) Asymptotical linear algebra
The powerful results obtained so far will be applied to the convergence analysis of iterative methods. In particular, if matrices show some distribution property for the eigenvalues and a statistical approach to the error analysis is considered, we want to investigate the role of the distribution function: we believe that its behavior is responsible to this statistical behavior as the spectral radius is in the deterministic setting.
The picture concerning the asymptotical spectral analysis (distribution, localization, extremal behavior) of structured matrices of Toeplitz and Locally Toeplitz type (including PDEs with variable coefficients and on involved geometries) is quite complete now: it remains to understand the extremal behavior (spectral conditioning) in the multidimensional setting following the approach of Bottcher and Grudsky.
In a more non-structured framework, due to interest in convergence theory of Krylov methods, we will study how to deduce spectral clustering of the eigenvalues (proper or general) from a spectral clustering of the singular values for which much more tools are avalaible.
b) Relations between structures
The interplay between diagonal-plus-semiseparable matrices and rational Krylov matrices, firstly outlined in [28], is a rational counterpart of the well-known connection between tridiagonal matrices and classical Krylov matrices. We intend to further this study in order to analyze properties of rational variants of the Krylov iteration, and to deepen the theoretical and computational properties of orthogonal rational functions.
A2) Numerical methods
a) Parametric matrices
A sequence of linear systems is called parametric if it can be represented as {Aj xj = bj} where Aj=A+vj Ej and vj is a scalar parameter; this description generalizes the simpler case of shifted matrices. We plan to focus our attention to incomplete updated factorizations for parametric sequences of linear systems such that
i) A nonsymmetric positive definite and Ej=I (shifted case), and
ii) A symmetric (definite and indefinite) and Ej is banded,
cases which are crucial in the related applications.
For instance, shift-and-invert (SI), inverse power (IP) and Jacobi-Davidson (JD) are popular techniques for the computation of some (typically few) eigenvalues and eigenvectors for large and sparse Hermitian problems. We stress that the core of these algorithms require the efficient solution of several large (and usually indefinite) algebraic systems in shifted form. We plan to follow two main paths to solve the underlying problems:
(i) ad-hoc indefinite incomplete updated factorization preconditioners used with a suitable Krylov projection method;
(ii) solution of shifted systems by projection techniques and multilevel incomplete factorization preconditioned algorithms, with reorderings to transform the original problem in a more diagonally dominant one.
Another application involves the solution of large and sparse total least squares (TLS) problems based on Rayleigh quotient iteration. In this approach, the solution of the underlying problem reduces to the solution of a sequence of shifted symmetric positive definite linear systems. In [14] Björck et al. proposed solving these linear systems by the conjugate gradient method preconditioned by the (complete) Choleski factorization of the normal system matrix. We plan to design and analyze iterative algorithms which generate sequences of linear systems whose condition numbers are better, by using techniques based on incomplete updated and updated approximate inverse factorizations.
b) Semiseparable structures
Matrices with generalized semiseparable structures are gaining a great interest as computational tool to solve eigenvalue problems. The recent research in this field has opened new perspectives for what concerns the design of efficient numerical algorithms for special eigenvalue problems, e.g., associated with generalized companion or quasi-unitary Hessenberg matrices.
Moreover, we want to understand the computational relevance of prescribing the diagonal term in the similarity transformation of a symmetric matrix into diagonal-plus-semiseparable form, in order to speed up the computation of its eigenvalues.
c) Multilevel structures
We are interested in the analysis and in the synthesis of fast algorithms for the solution of multilevel structured linear systems (analysis of preconditioners for the conjugate gradient method, of the associated properties of clustering and spectral equivalence, and analysis of multigrid methods with a special emphasis in the choice of the projector/smoother pair). More in detail, we will be interested in the following aspects:
- Preconditioning of multilevel Toeplitz structures, trying to generalize to the multivariate case the optimality results given in [40].
- Investigation of a ''fattening'' of algebras, by taking matrices of the form U T U* where T is a matrix with a given sparsity pattern and for which the solution of an associated linear system has a complexity bounded by the cost of multiplying U or U* by a vector (typically O(n log n) operations). We would like to understand if this new proposal, which sensibly enriches the ordinary algebras where T is just diagonal, is sufficient for finding preconditioners which are superlinear and/or optimal in the multilevel polynomially ill-conditioned case (which is impossible if T is diagonal).
- Extension of the multigrid optimality proof in [2] to the multilevel case and applications to image restoration problems (see B2-a) and to the PDEs (especially in connection with the dense structured systems arising from the Sinc-Galerkin methods applied to elliptic PDEs).
B1) Continuation of previous research topics
a) Approximation by rational functions
We want to pursue our previous research on interpolation and approximation problems with rational functions, particularly with respect to the analysis of structured conditioning issues and optimal pole placements.
b) Inverse problems in imaging
If we use iterative solvers for linear inverse problems, the iteration number represents a regularization parameter; therefore a first goal is the automatic estimate of such parameter. Another direction involves the extension of regularizing families of preconditioners (e.g. filtering optimal and superoptimal, as described in the Scientific Background) to the reconstruction of non-negative images, and their application to problems related to the adaptive optics device equipping the LBT system.
We also plan the analysis and design of new efficient algorithms for linear systems generated by Tikhonov-like regularization. We would restrict our attention to regularization operators representing the identity, the first or the second derivative. The related normal equations are of parametric form, and should be solved for several values of the Tikhonov parameter. The proposed algorithms are new iterative methods using updated incomplete factorizations generalizing those introduced in [3] (which can be applied directly if the least squares are penalized by means of the solution norm).
Finally, a large amount of work is necessary to optimize the image reconstruction algorithms (i.e. OS-EM method for multiple images). For instance, the LBT restoration problem will require the treatment of images with very high-dynamic range (young binary stars or extrasolar planets). In such a case, the problem will be investigated along two different lines. The first one concerns the study of an appropriate functional in order to take into account the particular features of the object. The second one is a sophisticated post-reconstruction denoising in order to preserve both huge gradients and weak structures.
c) PDEs
The convergence properties of the preconditioned GMRES solution will be investigated for linear systems discretizing the convection-diffusion equation with variable diffusion coefficient. The preconditioner is based on the diffusive part of the operator and we plan to consider a finite difference discretization on a d-dimensional rectangular domain. We plan to show the existence of a proper cluster for the eigenvalues of the preconditioned matrix and then the superlinear behavior of iterations. A preliminary analysis has shown that the structure of the cluster is not influenced by the discretization but the number of outliers linearly increases with respect to the viscosity parameter.
The same techniques will be applied to time-dependent convection-diffusion equations arising in a human metabolism model, which has been introduced at the MIMS center of Cleveland.
B2) New techniques
a) Regularization by multigrid
It is well known that for retrieving the real image from the observed one corrupted by blurring and by noise, it is necessary to resort to some regularizing methods. There exist many procedures in this direction as Tikhonov, Riley, iterative methods as CG, CGNE, Landweber etc (see [25]). However often the most precise ones are also terribly slow. We would like to investigate the possibility of using a multigrid technique (based on the algebraic approach in [2,47]) for the regularization problem as well. Our goals are the following:
- obtain the same reconstruction quality as the best regularizing methods but with a great saving in computation time;
- adapt the method to every boundary condition (see the subsequent point b)) because the algebraic method described in [2] is very versatile with respect to the different structures.
b) Boundary condition effects
We concentrate our efforts in the direction of anti-reflective BCs by considering two goals:
- a more precise analysis of the (non-canonical i.e. mixed structures) algebra of matrices appearing with the anti-reflective BCs;
- the study of the role of the noise and more precisely how to use a regularizing method (which is necessary due to the noise and to the ill-posedness of the problem) in connection with the anti-reflective BCs: we would like to modify the classical normal equations and Tikhonov techniques in such a way that the structure of algebra of the resulting system is exploited in the best possible way. It is understood that the main aim is to obtain a better precision with respect to regularizing methods applied with the other BCs.
c) Denoising and edge detection by wavelets
Astronomical images are corrupted by a large amount of noise. Denoising methods are required in many cases, and in particular we will investigate three cases: chopped and nodded images (near-infrared images), measured PSFs used in classical restoration methods, over-iterated reconstruction. The study will be performed using wavelet-based shrinkage methods in order to optimize for any problem the suitable threshold method.
Moreover, it is well known that the wavelet approach can be especially successful in detecting the edges of an image. We would like to study the following research themes:
- finding a relation between the classical wavelet methods for deblurring of images (noisy and blurred) and the multigrid methods (see B2-a) for deblurring of images (noisy and blurred);
- incorporate the more precise anti-reflective BCs (see B2-b)) into a wavelets framework in order to improve the precision of the resulting reconstruction.
B3) New applications
a) Nonlinear inverse problems
The two-level "Quasi-Newton" approach previously implemented for Remote Sensing problems, as described in the Scientific Background, has revealed the possibility of using structured matrix tools in the new applicative context of nonlinear inverse problems. In this project we plan to apply the same technique to a non-linear inverse scattering problem arising in electrical engineering, where the dielectric permittivity has to be determined.
b) Web search engines
Here the structure that dominates the problem is indicated by the key words "sparsity" and "block structure": a further rank-one matrix multiplied by 1-c, 0<c<1, is added for modelistic reasons (see [36]). When c is far from one, the computation of the positive PageRank(c) vector (left stationary vector) can be performed quite fastly by the standard power method since the second large eigenvalue has at most modulus c. However, if c is close to 1 then the technique is too slow also due to the huge size of the WEB matrix. We would like to express the positive vector PageRank(c) as a rational expansion of PageRank(1) in such a way that its computation can be obtained eventually through vector extrapolation methods.
c) Identification problems
Non-classical inverse eigenvalue problems for tridiagonal matrices and other closely related matrix structures (also including diagonal-plus-semiseparable matrices) are recently arising as models in identification problems in civil engineering, where localized damages or constitutive coefficients in (multilayer) rods and frames are to be detected from measures of frequency responses or resonances. We are aimed at solving both theoretical and computational issues arising in this framework, e.g., identifiability results, perturbative analysis, and synthesis of numerical methods to identify a properly structured matrix from spectral data.

All the research themes considered here require numerical validations and the development of dedicated prototype software. Hence the group needs to incorporate additional young people, for which a substantial part of funding will be used: temporary research positions, fellowships and occasional jobs are planned to start during the two years of the project.
The group includes researchers of several different universities and a strong cooperation is needed to obtain the expected results, also with the help of external collaborators: M.Benzi, Atlanta-USA (topics A2-a), D.Calvetti and G.Saidel, Ohio-USA (topic B1-c), G.Golub, Stanford-USA (topics A1-a, A2-a, B1-c), A.Morassi, Udine-Italy (topic B3-c), D.Noutsos and P.Vassalos, Ioannina-Greece (topics A1-a, A2-c), M.Pastorino, DIBE Genova-Italy (topic B3-a), M.Tasche, Rostock-Germany (topic B2-c) and people of other groups in this project (point A2-b).
Therefore the funding will cover also several travel expenses due to individual meetings and participation to conferences.


2.6 Descrizione delle attrezzature già disponibili ed utilizzabili per la ricerca proposta con valore patrimoniale superiore a 25.000 Euro


Testo italiano


Nessuna

Testo inglese

Nessuna


2.7 Descrizione delle Grandi attrezzature da acquisire (GA)


Testo italiano


Nessuna

Testo inglese

Nessuna

2.8 Mesi uomo complessivi dedicati al programma


Testo italiano



Numero Mesi uomo
1° anno
Mesi uomo
2° anno
Totale mesi uomo
Personale universitario dell'Università sede dell'Unità di Ricerca  3  15  13  28 
Personale universitario di altre Università  5  28  30  58 
Titolari di assegni di ricerca  1  9  7  16 
Titolari di borse  Dottorato  0       
Post-dottorato  0       
Scuola di Specializzazione  0       
Personale a contratto  Assegnisti  1  9  7  16 
Borsisti  0       
Dottorandi  0       
Altre tipologie  0       
Personale extrauniversitario  0       
TOTALE     10  61  57  118 


Testo inglese


Numero Mesi uomo
1° anno
Mesi uomo
2° anno
Totale mesi uomo
University Personnel  3  15  13  28 
Other University Personnel  5  28  30  58 
Work contract (research grants, free lance contracts)  1  9  7  16 
PHD Fellows & PHD Students  PHD Students  0       
Post-Doctoral Fellows  0       
Specialization School  0       
Personnel to be hired  Work contract (research grants, free lance contracts)  1  9  7  16 
PHD Fellows & PHD Students  0       
PHD Students  0       
Other tipologies  0       
No cost Non University Personnel  0       
TOTALE     10  61  57  118 


.