PCA, eigen values and numerical approximation

numerical approximation

2013-05-08 PCA, eigen values and numerical approximation

High dimensional data do not behave very well with linear computation, especially when coefficients are very different in order of magnitude.

Yesterday, I was playing with some observations trying to do a PCA. Usually, we do not look at very small eigen values because they do not explain the variance of the observations set. However, I was surprised to find negative values. My observations were described with 29 variables, let's denote them as a centered matrix X. Computing a PCA means extracting the eigen values of the covariance matrix: X'X / N (N is the number of centered observations). This matrix is symmetric so it is diagonalisable and its eigen values are positive or null. However, when I looked at them, the last ones were negative (as the determinant).

Getting negative eigen values for this kind of matrices is necessarily wrong and it is due to numerical approximations. To observe that, I computed the eigen values for the series of submatrices X'X [1:n,1:n]. I also compared the eigen values to the one I could get from the Jacobi algorithm. This algorithm cannot converge to a matrix having negative values on the diagonal (when the matrix is a covariance matrix). You can see the results below.

The format of each line is the following:

np (for numpy algorithm) / n / det(X'X) / prod(eigen values) / eigen values list
ha (for Jacobi algorithm)/ n / det(X'X) / prod(eigen values) / eigen values list

While implementing the Jacobi algorithm, I needed to set up a rule to stop iterating: I chose to iterate until all coefficients outside the diagonal is below 1e-10. Any eigen value below that threshold can be considered suspicious.

np / 01 / 6.12409e-05 / 6.12409e-05 / 6.124089911478726e-05
ha / 01 / 6.12409e-05 / 6.12409e-05 / 6.124089911478726e-05

np / 02 / 1.00159e-09 / 1.00159e-09 / 0.00013784988000017855 ; 7.265779847946384e-06
ha / 02 / 1.00159e-09 / 1.00159e-09 / 0.00013784988000017858 ; 7.265779847946383e-06

np / 03 / 1.53442e-16 / 1.53442e-16 / 0.00013794236163711327 ; 8.22725767409616e-06 ; 1.352046450519608e-07
ha / 03 / 1.53442e-16 / 1.53442e-16 / 0.00013794236163711321 ; 8.22725767407966e-06 ; 1.352046450684816e-07

np / 04 / 1.18144e-21 / 1.18144e-21 / 0.0002096085629261996 ; 1.3949871974275576e-05 ; 6.777203235315229e-06 ; 5.961885972252095e-08
ha / 04 / 1.18144e-21 / 1.18144e-21 / 0.00020960856292619954 ; 1.3949871974275128e-05 ; 6.777203235315661e-06 ; 5.961885972262767e-08

np / 05 / 1.64447e-28 / 1.64447e-28 / 0.00029299927959492025 ; 1.4812373459217803e-05 ; 9.37894587960678e-06 ; 1.1598604929126068e-07 ; 3.4831808225892274e-08
ha / 05 / 1.64447e-28 / 1.64447e-28 / 0.0002929992795949205 ; 1.4812373459217813e-05 ; 9.37894587960681e-06 ; 1.1598602184307034e-07 ; 3.4831835674096885e-08

np / 06 / 7.65926e-34 / 7.65926e-34 / 0.0003136926358747945 ; 4.161509033543918e-05 ; 1.0697211703128783e-05 ; 3.5491958421748354e-06 ; 5.807302030285795e-08 ; 2.6610729823885488e-08
ha / 06 / 7.65926e-34 / 7.65926e-34 / 0.00031369263587478145 ; 4.161509033542058e-05 ; 1.0697211703128877e-05 ; 3.5491958415032776e-06 ; 5.807302025709464e-08 ; 2.6610730572867416e-08

np / 07 / 7.75235e-40 / 7.75235e-40 / 0.0003139054965032089 ; 4.335093525252601e-05 ; 1.2304622208032712e-05 ; 3.606380792879787e-06 ; 9.397179392436408e-07 ; 5.4919727843749285e-08 ; 2.4875412145842512e-08
ha / 07 / 7.75235e-40 / 7.75235e-40 / 0.0003139054965031727 ; 4.335093525240354e-05 ; 1.2304622208032535e-05 ; 3.6063807928797946e-06 ; 9.397179380359788e-07 ; 5.491972796819629e-08 ; 2.4875413387912107e-08

np / 08 / 2.44331e-45 / 2.44331e-45 / 0.0003141375147515616 ; 4.343097639620749e-05 ; 1.4723088113632304e-05 ; 1.0793928155928334e-05 ; 1.5917303927009544e-06 ; 5.539570314167919e-07 ; 5.1664012343196365e-08 ; 2.4737045981482917e-08
ha / 08 / 2.44331e-45 / 2.44331e-45 / 0.0003141375147515617 ; 4.343097639620326e-05 ; 1.4723088113471322e-05 ; 1.079392815580952e-05 ; 1.5917303928624084e-06 ; 5.539570314205316e-07 ; 5.1664012434963875e-08 ; 2.4737046008495466e-08

np / 09 / 1.98739e-51 / 1.98739e-51 / 0.00032057206698612843 ; 4.354368718513031e-05 ; 1.8952398071003343e-05 ; 1.4713122398710899e-05 ; 4.451146863043022e-06 ; 8.753340595871281e-07 ; 1.0751132797252384e-07 ; 4.935426953556002e-08 ; 2.4696695075124786e-08
ha / 09 / 1.98739e-51 / 1.98739e-51 / 0.0003205720669861281 ; 4.354368718495398e-05 ; 1.895239807086583e-05 ; 1.4713122398727141e-05 ; 4.451146862070672e-06 ; 8.753340606755954e-07 ; 1.0751132797376478e-07 ; 4.9354256977602343e-08 ; 2.469670781407127e-08

np / 10 / 8.60508e-59 / 8.60508e-59 / 0.00032065922218683235 ; 4.356439382389979e-05 ; 1.9029565430515323e-05 ; 1.4723504081119607e-05 ; 4.454240928057959e-06 ; 8.840463126102586e-07 ; 1.1829150786296184e-07 ; 5.883761543750012e-08 ; 4.891638099628042e-08 ; 1.6399390612978734e-08
ha / 10 / 8.60508e-59 / 8.60508e-59 / 0.0003206592221868322 ; 4.356439382350443e-05 ; 1.902956543042987e-05 ; 1.4723504081352898e-05 ; 4.454240927164471e-06 ; 8.840463135732118e-07 ; 1.1829150768476044e-07 ; 5.8837610848091026e-08 ; 4.891638574793924e-08 ; 1.639939080713918e-08

np / 11 / 5.73607e-67 / 5.73607e-67 / 0.0003206674540009577 ; 4.356643186569411e-05 ; 1.9057223478620708e-05 ; 1.4724536541728332e-05 ; 4.458033010189422e-06 ; 8.887461160608491e-07 ; 1.2079252194241722e-07 ; 5.886573056644692e-08 ; 4.926963524544294e-08 ; 1.656719502387924e-08 ; 6.362890390208349e-09
ha / 11 / 5.73607e-67 / 5.73614e-67 / 0.00032066745400094904 ; 4.356643186537598e-05 ; 1.905722347860174e-05 ; 1.4724536541869927e-05 ; 4.458033007185941e-06 ; 8.887461069246591e-07 ; 1.2079245903414523e-07 ; 5.886526209998768e-08 ; 4.927010630712292e-08 ; 1.6567202344361192e-08 ; 6.36295572689984e-09

np / 12 / 4.28368e-77 / 4.28368e-77 / 0.00032066914058720175 ; 4.356684580296258e-05 ; 1.9060664338599286e-05 ; 1.47256937404756e-05 ; 4.459269930690825e-06 ; 8.891536212811673e-07 ; 1.2099750628217557e-07 ; 5.889685139074618e-08 ; 4.928217743154191e-08 ; 1.6581150636193096e-08 ; 6.8798797609940666e-09 ; 6.876948544651626e-11
ha / 12 / 4.28368e-77 / 4.2859e-77 / 0.0003206691405872013 ; 4.356684580243179e-05 ; 1.9060664338556335e-05 ; 1.472569374078623e-05 ; 4.459269929086156e-06 ; 8.891536229213268e-07 ; 1.209974101061965e-07 ; 5.889613070017255e-08 ; 4.928295854214005e-08 ; 1.6581127128549325e-08 ; 6.879904041783157e-09 ; 6.880469604502238e-11

np / 13 / 1.56612e-86 / 1.56612e-86 / 0.00032066927155537854 ; 4.356895962354811e-05 ; 1.9064001528962936e-05 ; 1.47260513603023e-05 ; 4.459544660607576e-06 ; 8.891888028809149e-07 ; 1.2101267932048344e-07 ; 5.8914631458238525e-08 ; 4.928236244338241e-08 ; 1.6588240676075202e-08 ; 6.891948375787996e-09 ; 3.799818963707524e-10 ; 6.597121101153439e-11
ha / 13 / 1.56612e-86 / 1.62204e-86 / 0.0003206692715553768 ; 4.356895962301177e-05 ; 1.906400152893088e-05 ; 1.4726051360599504e-05 ; 4.459544660593825e-06 ; 8.891888028062079e-07 ; 1.2101260211517878e-07 ; 5.891391867244839e-08 ; 4.928293149287246e-08 ; 1.658823393352817e-08 ; 6.891958515373774e-09 ; 3.7737166107788723e-10 ; 6.879935252708959e-11

np / 14 / 2.04736e-94 / 2.04736e-94 / 0.00032067178371463065 ; 4.3582048737886005e-05 ; 1.907040199504281e-05 ; 1.4726559813840647e-05 ; 4.459575674343074e-06 ; 9.079879142419632e-07 ; 1.3923559645070822e-07 ; 5.990751305034014e-08 ; 5.3892448790899135e-08 ; 4.1601496606113135e-08 ; 1.0769343002710708e-08 ; 2.5864782391278567e-09 ; 3.7699167688607176e-10 ; 6.559838068778298e-11
ha / 14 / 2.04736e-94 / 2.12006e-94 / 0.0003206717837146293 ; 4.358204873739482e-05 ; 1.9070401994914755e-05 ; 1.4726559813235952e-05 ; 4.459575672216944e-06 ; 9.079879033542789e-07 ; 1.3923552993695045e-07 ; 5.990726609278938e-08 ; 5.3892300573031864e-08 ; 4.160172756347798e-08 ; 1.0769117819515804e-08 ; 2.5865223231029917e-09 ; 3.746665128459211e-10 ; 6.834961457432657e-11

np / 15 / 1.89926e-101 / 1.89926e-101 / 0.0003207424272031159 ; 4.3619629269313486e-05 ; 2.0057646136172952e-05 ; 1.5600615105180386e-05 ; 4.559712193398433e-06 ; 1.0376489338372738e-06 ; 5.051958478406441e-07 ; 9.002273441951868e-08 ; 5.408983438907559e-08 ; 4.5223849335141354e-08 ; 2.5970979907054736e-08 ; 7.0373035269930685e-09 ; 2.376055816631436e-09 ; 3.6317835779814144e-10 ; 5.226020504891753e-11
ha / 15 / 1.89926e-101 / 1.93104e-101 / 0.0003207424272030882 ; 4.361962926927629e-05 ; 2.0057646135589234e-05 ; 1.5600615104887628e-05 ; 4.559712191206003e-06 ; 1.0376489221080886e-06 ; 5.051958292196355e-07 ; 9.002273438335356e-08 ; 5.4089777815368846e-08 ; 4.522359611624305e-08 ; 2.5971126986825864e-08 ; 7.0359697976030105e-09 ; 2.3765015170454787e-09 ; 3.6342415505563014e-10 ; 5.309866947832236e-11

np / 16 / 3.52961e-107 / 3.52961e-107 / 0.00032215634144210266 ; 0.00011704089649900154 ; 3.5840066762463385e-05 ; 1.6063447857869305e-05 ; 5.473773346268624e-06 ; 1.2743863173199276e-06 ; 7.514448478365169e-07 ; 4.996628906163406e-07 ; 8.663741179152641e-08 ; 5.404786641502071e-08 ; 4.305057722639305e-08 ; 1.1263507808817412e-08 ; 6.901644919513228e-09 ; 2.159235903568041e-09 ; 3.607773673561549e-10 ; 5.0853863837254094e-11
ha / 16 / 3.52961e-107 / 3.65708e-107 / 0.00032215634144201625 ; 0.00011704089649876564 ; 3.5840066762231976e-05 ; 1.6063447857751334e-05 ; 5.473773343893997e-06 ; 1.274386306479502e-06 ; 7.514448203863894e-07 ; 4.996629023775774e-07 ; 8.663735144654653e-08 ; 5.404757710872956e-08 ; 4.3050697572959435e-08 ; 1.1263177049320508e-08 ; 6.900845831918724e-09 ; 2.159102832537748e-09 ; 3.603957301619735e-10 ; 5.275729987431595e-11

np / 17 / 2.39527e-114 / 2.39527e-114 / 0.00032215732484856146 ; 0.00011714361689311679 ; 3.841956395918075e-05 ; 1.6804625893375763e-05 ; 5.489888940392389e-06 ; 1.644661922828895e-06 ; 8.24557391834211e-07 ; 6.586488919644684e-07 ; 1.6907777357192292e-07 ; 8.61096279679234e-08 ; 5.29082317983816e-08 ; 1.5402317801013094e-08 ; 8.453446962003956e-09 ; 5.625022814385899e-09 ; 2.0474991544697465e-09 ; 3.445155518661663e-10 ; 5.0377193797602e-11
ha / 17 / 2.39527e-114 / 2.45955e-114 / 0.00032215732484853143 ; 0.00011714361689300966 ; 3.841956395859165e-05 ; 1.6804625892618123e-05 ; 5.489888940231278e-06 ; 1.6446619174472022e-06 ; 8.245573578133375e-07 ; 6.586488876544362e-07 ; 1.690776827833914e-07 ; 8.61095817687798e-08 ; 5.2907824744961814e-08 ; 1.5402352547237366e-08 ; 8.45321093717917e-09 ; 5.625095300839335e-09 ; 2.047870505728466e-09 ; 3.433421242556361e-10 ; 5.189746114513629e-11

np / 18 / 7.09171e-126 / 7.09171e-126 / 0.00032215732499797574 ; 0.00011714362398583903 ; 3.841956452359886e-05 ; 1.680464179835201e-05 ; 5.4899162865585705e-06 ; 1.6446619387821533e-06 ; 8.245605169488143e-07 ; 6.586522386720891e-07 ; 1.6907852102382255e-07 ; 8.611029518839121e-08 ; 5.2909070928085685e-08 ; 1.540400271887534e-08 ; 8.453606324837838e-09 ; 5.625610717780648e-09 ; 2.0494472288845015e-09 ; 3.445582020487276e-10 ; 5.0392736250192004e-11 ; 2.9558035962662917e-12
ha / 18 / 7.09171e-126 / 1.40485e-125 / 0.00032215732499794425 ; 0.00011714362398573193 ; 3.84195645230133e-05 ; 1.680464179679121e-05 ; 5.489916287198038e-06 ; 1.6446619333206994e-06 ; 8.24560482821704e-07 ; 6.586522342977366e-07 ; 1.6907843062215036e-07 ; 8.611024876338759e-08 ; 5.290866169825583e-08 ; 1.5404037956091135e-08 ; 8.453211355306023e-09 ; 5.625095881959399e-09 ; 2.047870371703183e-09 ; 3.4334139188987926e-10 ; 5.189746638657083e-11 ; 5.710973857529454e-12

np / 19 / 3.42015e-134 / 3.42015e-134 / 0.00032262469181938393 ; 0.00011749930532098893 ; 3.8420732511478464e-05 ; 1.685322265530544e-05 ; 5.556104147504045e-06 ; 1.6451492728009494e-06 ; 9.215764758587335e-07 ; 6.727782809489184e-07 ; 1.7333233608990988e-07 ; 1.2206602074862804e-07 ; 8.58450758530675e-08 ; 2.44842717325677e-08 ; 1.337062780478557e-08 ; 6.203487846323882e-09 ; 3.4320883788180864e-09 ; 1.2820316559557958e-09 ; 1.611262230074359e-10 ; 4.218248337483243e-11 ; 2.228762835768755e-12
ha / 19 / 3.42015e-134 / 4.69935e-134 / 0.0003226246918193503 ; 0.0001174993053208994 ; 3.8420732510774295e-05 ; 1.6853222654165138e-05 ; 5.556104146238609e-06 ; 1.6451492565373673e-06 ; 9.215764747515693e-07 ; 6.727782461718238e-07 ; 1.7333231466441596e-07 ; 1.2206584211239866e-07 ; 8.584514462097276e-08 ; 2.448375668956296e-08 ; 1.3370368195980054e-08 ; 6.203312042584249e-09 ; 3.432668230480179e-09 ; 1.282027819731643e-09 ; 1.5242344067851234e-10 ; 5.099775678242014e-11 ; 2.677386978888002e-12

np / 20 / 1.11146e-142 / 1.11146e-142 / 0.0003228026093782913 ; 0.00011818778325416296 ; 3.84214102488475e-05 ; 1.6865248831014586e-05 ; 5.598040346683168e-06 ; 1.6655513690811753e-06 ; 9.279839957731506e-07 ; 6.7628640331697e-07 ; 1.8787803789581298e-07 ; 1.3358975461320704e-07 ; 1.0649944894696226e-07 ; 2.796800097714013e-08 ; 1.804548841805587e-08 ; 1.1879929684131506e-08 ; 5.075831574021193e-09 ; 2.3220570308999154e-09 ; 1.0638545705080497e-09 ; 1.4045012925908848e-10 ; 1.982775963028999e-11 ; 1.3729548987461753e-12
ha / 20 / 1.11146e-142 / 8.50907e-142 / 0.0003228026093781968 ; 0.0001181877832540238 ; 3.8421410248319565e-05 ; 1.6865248829778246e-05 ; 5.59804034607945e-06 ; 1.6655513663714832e-06 ; 9.279839869689333e-07 ; 6.762864011234362e-07 ; 1.878780162169204e-07 ; 1.3358962887446376e-07 ; 1.064991984366086e-07 ; 2.7967651098430053e-08 ; 1.8045080481760874e-08 ; 1.187889218108092e-08 ; 5.0739353689128806e-09 ; 2.3184473681373304e-09 ; 1.0647591192873045e-09 ; 1.194805016341601e-10 ; 4.3318998475199955e-11 ; 5.662218673949432e-12

np / 21 / 5.18044e-157 / 5.18044e-157 / 0.0003228026093823545 ; 0.0001181877832636655 ; 3.8421410256072804e-05 ; 1.6865248831023212e-05 ; 5.598040346766821e-06 ; 1.6655513702608724e-06 ; 9.279840236193945e-07 ; 6.76286406882143e-07 ; 1.878780439407401e-07 ; 1.3358977472291445e-07 ; 1.0649945066870577e-07 ; 2.7968004046626464e-08 ; 1.804548887208616e-08 ; 1.187993275302456e-08 ; 5.0758316629211885e-09 ; 2.322057997527361e-09 ; 1.0638545713367411e-09 ; 1.4045015691662572e-10 ; 1.9829342431096656e-11 ; 1.374507470867737e-12 ; 4.655270020673165e-15
ha / 21 / 5.18044e-157 / 4.09977e-155 / 0.0003228026093822602 ; 0.00011818778326352626 ; 3.84214102555449e-05 ; 1.686524882977823e-05 ; 5.598040346079449e-06 ; 1.6655513663714832e-06 ; 9.279840148144639e-07 ; 6.762864011234256e-07 ; 1.8787801621692272e-07 ; 1.335896288744639e-07 ; 1.0649919843660856e-07 ; 2.796765109843038e-08 ; 1.8045080481761436e-08 ; 1.1878892181080135e-08 ; 5.073935368912901e-09 ; 2.3184473681374085e-09 ; 1.0647591192872714e-09 ; 1.1948050163418977e-10 ; 4.33189984752024e-11 ; 5.662218673949283e-12 ; 4.818115478381505e-14

np / 22 / 1.85436e-167 / 1.85436e-167 / 0.0003228031199130265 ; 0.00011818938963797326 ; 3.8421564847151376e-05 ; 1.6865578366262775e-05 ; 5.59805086778944e-06 ; 1.665551444120354e-06 ; 9.279844258988068e-07 ; 6.762925738267578e-07 ; 1.879505433823157e-07 ; 1.344281971953249e-07 ; 1.0651128499378979e-07 ; 2.8500063426966373e-08 ; 1.832308191096172e-08 ; 1.1969696123534719e-08 ; 5.283510981224918e-09 ; 2.430418936683452e-09 ; 1.0849583977385559e-09 ; 3.1355832896342943e-10 ; 1.330778334665632e-10 ; 1.970473055339263e-11 ; 1.4926948712425963e-13 ; 4.4564884414532146e-15
ha / 22 / 1.85436e-167 / 1.65279e-164 / 0.0003228031199129187 ; 0.00011818938963778298 ; 3.8421564846696614e-05 ; 1.686557836573149e-05 ; 5.598050865334488e-06 ; 1.665551434505915e-06 ; 9.279844158036802e-07 ; 6.762925414332733e-07 ; 1.8795049929012088e-07 ; 1.3442790491297008e-07 ; 1.0651122910134734e-07 ; 2.8499564074696216e-08 ; 1.8322676068189395e-08 ; 1.1969333249837225e-08 ; 5.281841062239215e-09 ; 2.42689198692168e-09 ; 1.086060798150213e-09 ; 2.966612499070137e-10 ; 1.166660935461893e-10 ; 5.34562382784239e-11 ; 5.473503462733698e-12 ; 4.8180308140050785e-14

np / 23 / 5.13335e-175 / 5.13335e-175 / 0.00037424295260578364 ; 0.00016042175834153348 ; 4.720230662595992e-05 ; 2.3113457181920435e-05 ; 6.688901757981247e-06 ; 2.5120012090214912e-06 ; 1.0773630256123225e-06 ; 9.235574141794955e-07 ; 4.7317052435335365e-07 ; 1.6138738632855165e-07 ; 1.3442661822751486e-07 ; 9.568105771452877e-08 ; 1.9443921832441987e-08 ; 1.30460944755596e-08 ; 1.1595082886892832e-08 ; 5.094382294941798e-09 ; 1.5301931254475782e-09 ; 9.860560741874518e-10 ; 2.788933445065519e-10 ; 3.848065244169188e-11 ; 1.9416433575878278e-11 ; 1.4876614923180597e-13 ; 6.8096564047445595e-16
ha / 23 / 5.13335e-175 / 1.91446e-171 / 0.00037424295260576955 ; 0.0001604217583414768 ; 4.7202306625582184e-05 ; 2.3113457181225864e-05 ; 6.688901753577507e-06 ; 2.5120012018188783e-06 ; 1.0773630023294614e-06 ; 9.235573911537824e-07 ; 4.7317048799493217e-07 ; 1.6138733219855554e-07 ; 1.344265128154419e-07 ; 9.568087414800138e-08 ; 1.9443619778910908e-08 ; 1.3045559372759913e-08 ; 1.1595220237868788e-08 ; 5.0912416670184875e-09 ; 1.5284564595839226e-09 ; 9.694518369601445e-10 ; 2.883077556876405e-10 ; 3.8748510033504693e-11 ; 2.7258496641988915e-11 ; 5.194260621857316e-12 ; 5.0715898752669744e-14

np / 24 / 4.77446e-185 / 4.77446e-185 / 0.00037504100398518523 ; 0.00016082256429457992 ; 4.9074729725393214e-05 ; 2.3423892228682276e-05 ; 7.69658918769174e-06 ; 2.7238812310379666e-06 ; 1.0886966379569997e-06 ; 9.400558107603979e-07 ; 4.918012149563681e-07 ; 1.6506148315053703e-07 ; 1.3788142439432745e-07 ; 9.762957315987675e-08 ; 1.9549311227689463e-08 ; 1.4837900628794771e-08 ; 1.2125502113755743e-08 ; 8.219676923570544e-09 ; 1.942710320713776e-09 ; 1.0051444345711392e-09 ; 4.276194926413832e-10 ; 6.920188938940359e-11 ; 3.7399892419376374e-11 ; 1.643352490231759e-11 ; 7.354256882010164e-14 ; 3.889575794441644e-16
ha / 24 / 4.77446e-185 / 5.06369e-181 / 0.00037504100398508657 ; 0.00016082256429436254 ; 4.9074729725084935e-05 ; 2.3423892227731987e-05 ; 7.6965891804412e-06 ; 2.723881224985343e-06 ; 1.0886966327427517e-06 ; 9.400557935006033e-07 ; 4.918011693665803e-07 ; 1.6506132389119564e-07 ; 1.3788136777814717e-07 ; 9.762952895075257e-08 ; 1.954739642007191e-08 ; 1.483840975238558e-08 ; 1.2123882273685948e-08 ; 8.217904438323215e-09 ; 1.942100240923172e-09 ; 9.932243169756145e-10 ; 4.171792656039609e-10 ; 6.924295919840734e-11 ; 4.0726549712600216e-11 ; 3.87041863659927e-11 ; 2.497871855164112e-12 ; 4.913079737545145e-14

np / 25 / 1.33625e-194 / 1.33625e-194 / 0.0003750871594211999 ; 0.00016124123518159486 ; 4.9088394495659265e-05 ; 2.3449301349596246e-05 ; 7.774962765042569e-06 ; 2.7607333418824807e-06 ; 1.1087987663326932e-06 ; 9.423461410992013e-07 ; 4.945294689967433e-07 ; 1.673675979274236e-07 ; 1.4424596647074998e-07 ; 1.0099492216674167e-07 ; 2.4931504910608532e-08 ; 1.537913118387258e-08 ; 1.290447569141335e-08 ; 1.0082566917716886e-08 ; 2.890549298472228e-09 ; 1.0151799198208712e-09 ; 7.472289731896858e-10 ; 2.3553817665185227e-10 ; 5.7505677558206244e-11 ; 3.693044505172342e-11 ; 1.3971444151889038e-11 ; 7.314453369078749e-14 ; 1.2693170927415903e-16
ha / 25 / 1.33625e-194 / 4.26542e-190 / 0.00037508715942116477 ; 0.00016124123518143713 ; 4.9088394495095744e-05 ; 2.3449301348213912e-05 ; 7.77496276254288e-06 ; 2.7607333311587725e-06 ; 1.108798737433835e-06 ; 9.423461248656483e-07 ; 4.945294649054747e-07 ; 1.6736751750824062e-07 ; 1.4424580635943292e-07 ; 1.009947383127426e-07 ; 2.4931138900033e-08 ; 1.5378199376765957e-08 ; 1.2903291154948195e-08 ; 1.0082187272842677e-08 ; 2.8910633658222917e-09 ; 9.922219915404933e-10 ; 7.609915394965901e-10 ; 2.307082137595827e-10 ; 5.324250527690345e-11 ; 4.154069321429337e-11 ; 2.7446959254310994e-11 ; 3.064422482911872e-12 ; 4.848490903809901e-14

np / 26 / 3.96163e-205 / 3.96163e-205 / 0.00037509389493737747 ; 0.00016125781006553604 ; 4.908839837828211e-05 ; 2.3449407347574636e-05 ; 7.789642512808824e-06 ; 2.77682308658553e-06 ; 1.1109514534583655e-06 ; 9.425459769528356e-07 ; 4.945890173368555e-07 ; 1.730229160769814e-07 ; 1.461405728098296e-07 ; 1.0178165273148278e-07 ; 3.1859203805485905e-08 ; 2.2553710945481868e-08 ; 1.2977428502102424e-08 ; 1.1910139417813667e-08 ; 2.9246145183819782e-09 ; 2.1892424817136176e-09 ; 8.953686615460777e-10 ; 2.7802596673336745e-10 ; 1.4199842327803022e-10 ; 3.99529007402928e-11 ; 2.08487680859004e-11 ; 1.1160312513146398e-12 ; 6.96094813639178e-14 ; 1.21334862438999e-16
ha / 26 / 3.96163e-205 / 2.18561e-199 / 0.0003750938949373063 ; 0.0001612578100655072 ; 4.908839837774134e-05 ; 2.344940734732775e-05 ; 7.789642509309682e-06 ; 2.7768230813709395e-06 ; 1.1109514241653154e-06 ; 9.425459727612816e-07 ; 4.945889813454121e-07 ; 1.7302283056135663e-07 ; 1.4614042462408108e-07 ; 1.0178148057729113e-07 ; 3.185880916718143e-08 ; 2.2553235202559875e-08 ; 1.2977147599351146e-08 ; 1.1909015767992421e-08 ; 2.921816133701942e-09 ; 2.1816026028631306e-09 ; 8.96114327870689e-10 ; 2.510978135365032e-10 ; 1.2913365952898683e-10 ; 5.0212796196030954e-11 ; 3.835787851991034e-11 ; 2.316439332525281e-11 ; 2.449298349305503e-12 ; 4.8445268419413713e-14

np / 27 / 9.39738e-218 / 9.39738e-218 / 0.00037516527697122455 ; 0.00016133100625643587 ; 4.908884175464075e-05 ; 2.3449433148219978e-05 ; 7.830200921659013e-06 ; 2.7955113816604924e-06 ; 1.115440388295135e-06 ; 9.425471425999608e-07 ; 4.946142451850787e-07 ; 1.744656238186336e-07 ; 1.462065166770023e-07 ; 1.0212307889453298e-07 ; 3.5909700736139055e-08 ; 2.312574001924056e-08 ; 1.3019972739330856e-08 ; 1.1977889051288941e-08 ; 2.9254295770128052e-09 ; 2.25473068249566e-09 ; 9.00900050369872e-10 ; 2.780726547746821e-10 ; 1.917458344194934e-10 ; 4.876773616826224e-11 ; 2.5870222365969634e-11 ; 5.399879007521903e-12 ; 1.115491948747818e-12 ; 5.4501258817730115e-15 ; 2.6765026154503325e-17
ha / 27 / 9.39738e-218 / 1.73416e-209 / 0.00037516527697115093 ; 0.00016133100625633512 ; 4.908884175400395e-05 ; 2.344943314739478e-05 ; 7.830200919942696e-06 ; 2.795511365775852e-06 ; 1.115440361394749e-06 ; 9.425471330581443e-07 ; 4.946142209072511e-07 ; 1.7446550085116444e-07 ; 1.4620637078400904e-07 ; 1.0212296727470619e-07 ; 3.5909334434909e-08 ; 2.3125122438090876e-08 ; 1.3018106549548217e-08 ; 1.197876050071331e-08 ; 2.9221184419406426e-09 ; 2.245879687655468e-09 ; 9.012357450086047e-10 ; 2.5191472162876613e-10 ; 1.1764277640187928e-10 ; 9.367897982277377e-11 ; 3.83080496589154e-11 ; 3.77441915985492e-11 ; 2.3508433282093335e-11 ; 2.39719048151201e-12 ; 4.8448705658868156e-14

np / 28 / -3.0426e-237  / -1.82598e-236 / 0.00037555631265245073 ; 0.000161748693227206 ; 4.913084214266156e-05 ; 2.3449553005725412e-05 ; 7.857693967789746e-06 ; 2.7955113870349978e-06 ; 1.1558069252347995e-06 ; 9.501025846902681e-07 ; 5.013454640374481e-07 ; 1.808846107071435e-07 ; 1.5922141918144537e-07 ; 1.0989156701391423e-07 ; 3.61238253971912e-08 ; 2.3887836578098374e-08 ; 1.3835163513704214e-08 ; 1.2491048008759331e-08 ; 3.2584826790507557e-09 ; 2.2552230669169926e-09 ; 1.4271944997807234e-09 ; 3.524538612779875e-10 ; 2.0531927053106776e-10 ; 8.881209063420865e-11 ; 2.9785930902538276e-11 ; 1.4217731984266327e-11 ; 1.871043946508802e-12 ; 1.9410397627799334e-13 ; 5.3194582738854375e-15 ; -8.288972222008023e-25
ha / 28 / -3.68073e-237 / 5.7773e-219   / 0.0003755563126523798 ; 0.0001617486932271858 ; 4.913084214237896e-05 ; 2.3449553004388418e-05 ; 7.857693967097577e-06 ; 2.79551137707593e-06 ; 1.1558069157984431e-06 ; 9.501025535680087e-07 ; 5.013454116093484e-07 ; 1.8088459574968767e-07 ; 1.5922135105900103e-07 ; 1.0989142170900594e-07 ; 3.61234243168689e-08 ; 2.3887800287886214e-08 ; 1.383439479467042e-08 ; 1.2490240304922678e-08 ; 3.253767419270285e-09 ; 2.251181990918932e-09 ; 1.420777292908489e-09 ; 3.0325395411178364e-10 ; 1.228774466990262e-10 ; 9.182278572703579e-11 ; 8.248055904562935e-11 ; 4.1592623931193874e-11 ; 4.105618964729373e-11 ; 2.463493545672637e-11 ; 2.4134178670248436e-12 ; 4.850939966554227e-14

np / 29 / -4.38607e-260 / 1.75011e-258  / 0.0003755567019659396 ; 0.0001617488659725905 ; 4.913113511717393e-05 ; 2.344970464946847e-05 ; 7.858290165842276e-06 ; 2.7956179722470803e-06 ; 1.1558113639869586e-06 ; 9.501038123463657e-07 ; 5.014005395454133e-07 ; 1.8088826954624635e-07 ; 1.5923584292681037e-07 ; 1.098916905049019e-07 ; 3.6137180439640175e-08 ; 2.3887955214040535e-08 ; 1.3858547192207363e-08 ; 1.249190634996441e-08 ; 3.2589489031194096e-09 ; 2.255340761249036e-09 ; 1.4293354073827095e-09 ; 3.536751818799384e-10 ; 2.0548259205551878e-10 ; 9.1113854449491e-11 ; 3.076615766744455e-11 ; 1.465867927148313e-11 ; 2.539319313026486e-12 ; 1.9659916627938661e-13 ; 8.161565765047223e-15 ; -4.047032829179984e-25 ; -8.447843879926329e-23
ha / 29 / -9.23184e-260 / 5.0747e-230   / 0.00037555670196586763 ; 0.00016174886597257045 ; 4.913113511690502e-05 ; 2.3449704648118137e-05 ; 7.858290165152871e-06 ; 2.795617961576165e-06 ; 1.1558113543667105e-06 ; 9.501037797122905e-07 ; 5.01400468487601e-07 ; 1.8088825373166636e-07 ; 1.5923577358692385e-07 ; 1.0989154738305783e-07 ; 3.613680540178134e-08 ; 2.38877183493736e-08 ; 1.385696846144994e-08 ; 1.2491140364625784e-08 ; 3.2536932190236097e-09 ; 2.2511761236771766e-09 ; 1.4215644891318935e-09 ; 3.032686560305675e-10 ; 1.2287345715791533e-10 ; 9.179348747710045e-11 ; 8.249091578810496e-11 ; 4.1595912106415774e-11 ; 4.105664122081274e-11 ; 2.4634798263534325e-11 ; 8.770515513188566e-12 ; 2.410171131390085e-12 ; 4.850971257146833e-14

On every row starting with ha, I computed myself the determinant using an algorithm based on a pivot. I also becomes negative at some point due to numerical approximation.

One interesting result though: when we look at the evolution of the first eigen value against n. I shows a gap between n=22 and n=23. That could maybe mean that the feature 23 is significant.

You can find here the code I used to produce those figures and the data.

Xavier Dupré

XD blog

2013-05-08 PCA, eigen values and numerical approximation