ARGOMENTO: Esperienze su grandi quantità di dati

Salve a tutti, ho suggerito ad una azienda alla quale fornisco consulenza, l'utilizzo di OpenErp. Nell'analizzare i loro processi, mi sono soffermato sulla rilevante mole di dati che attualmente gestiscono (25Gb collezionati in alcuni anni), quello che più mi ha lasciato perplesso è stata però la stampa di una fattura di 110 pagine (circa 5000 righe).

Qualcuno di voi ha maturato simili esperienze? Esistono problemi conosciuti relativi alla velocità di elaborazione per documenti di simili dimensioni?

Grazie in anticipo a chi potrà rispondermi.

Ciao,
i principali problemi con grosse quantità di dati potresti averli su dashboard e viste con filtri e raggruppi.
Quindi ti basta solo progettare bene queste viste e soprattutto "carrozzare" bene il server.

Per quanto riguarda le stampe, anche qui dovrai dimensionare correttamente il server.
Eventualmente potresti anche optare per qualcosa tipo Jasper nel caso in cui l'utilizzo di webkit o aeroo risultasse troppo lento.

Grazie per avermi risposto.

Dopo aver ottenuto questa rassicurazione ho suggerito all'impresa (Spagnola) alla quale sto prestando consulenza l'utilizzo di OpenErp in azienda, tuttavia assegnando ad una software house alcuni task di sviluppo, mi trovo ad essere piuttosto perplesso e non ho ancora portato in produzione il sistema e spiego il motivo:

l'azienda in questione è un distributore di prodotti, ha una comune logistica con circa 6000 differenti item a magazzino, crea delle tariffe clienti/fornitori, dispone di agenti rappresentanti e crea delle promozioni. Dunque nessuna esigenza specifica, tutto è alquanto standard.

Il sistema è stato istallato per finalità di test in un server rack con 2 processori da 2 core cadauno, dischi SAS e 2 gb di RAM (lo so la RAM non p tantissima, ma monitorando il sistema non l'ho mai vista sotto stress)

Per svolgere tali attività sono stati istallati e validati differenti moduli.

Allo stato attuale dei fatti per importare un ordine da 1000 linee occorrono circa 4-5 minuti e quando clicco su conferma ordine ne occorrono 10! il tempo necessario cresce quando confermo la disponibilità per il picking e do la conferma al documento di picking. Il sistema nel complesso è lento.

Adesso mi chiedo: ok; OpenErp rispetto al sistema COBOL al quale sono abituati non è certo una saetta...ma il paragone è improprio ed OpenErp ha tanti vantaggi.

Inizio a dubitare che la software house al quale ho assegnato il task di lavoro, forse non disponga delle sufficienti competenze.

Chiedo dunque a voi del forum e ringrazio chi mi risponderà:

avete esperienze simili presso aziende di distribuzione che processano ordini da 1000-3000 linee regolarmente?

avete avuto rilevanti problemi di velocità, risolti o irrisolti?

è possibile servano una serie di configurazioni specie a livello postgres?

noi stiamo lavorando con la 6. La 7 è significativamente più veloce e dunque mi conviene dirottare tutto lo sviluppo sulla 7, anche se la messa in produzione sarà più lunga?

Credo che il caso che io propongo sia normale e che OpenErp non si sarebbe diffuso così tanto se non riuscisse a gestire con agilità un genere di attività commerciale

Avrei piacere di confrontarmi con qualcuno che ha un sistema up&running in una azienda di tipo simile.

Saluti

La 6.0 era particolarmente lenta, la 7 è stata ottimizzata un po', anche se non drasticamente.

Nel tuo caso specifico sicuramente dividere la macchina openerp da quella postgresql porterebbe sicuramente dei benefici.

La ram per openerp non è generalmente mai un enorme problema, mentre il processore potrebbe esserlo.

Siccome lato applicativo è difficile fare grandi ottimizzazioni (python2 non ha un supporto multiprocessore nativo) ciò su cui si può intervenire è il db.

In questo caso rivolgersi ad un buon consulente con buone conoscenze di postgresql è fondamentale.

Grazie per la risposta,

l'eccessivo rallentamento era dovuto a:

errate configurazioni

moduli istallati...senza dare un occhiata al codice...

Ciò che è successo mi suona comunque come un campanello di allarme, essendo appena uscita la 7.0 e non avendo fretta di andare in produzione, mi chiedo: ha senso avviare la 6.0, quando la 7.0 presenta tanti aggiornamenti e sembra maggiormente predisposta a scalare l'hardware sottostante?

Cosa ne pensate? Io nel dubbio ho messo in "freezer" lo sviluppo in attesa di fare prove comparative in tema di performance tra differenti versioni.

P.s. ritengo che non sia normale dover aspettare 15 minuti quando clicco su conferma ordine per un ordine di 5000 righe.

Hai per caso installato il modulo mrp_jit ?