giovedì 30 aprile 2009

eBay: 6500 Terabytes di database (ma per farci che?)

clipped from www.dbms2.com

Metrics on eBay’s Greenplum data warehouse (or, if you like, data mart) include:


  • 6 1/2 petabytes of user data

  • 17 trillion records

  • 150 billion new records/day, which seems to suggest an ingest rate well over 50 terabytes/day

  • 96 nodes

  • 200 MB/node/sec of I/O (that’s the order of magnitude difference that triggered my post on disk drives)

  • 4.5 petabytes of storage

  • 70% compression

  • A small number of concurrent users

Ok, ok, d'accordo: eBay ha un suo database di 6500 terabytes di dati utente, di cui circa duemila relativi ai dati utente.

Domanda da cento milioni di dollari: "ma cosa c'è in quei dati?"

Quanti dati utente (di anni e anni fa) sono conservati lì?

Come mai si spreca tanta memoria? (c'è mica annotata anche la storia di quante e quali inserzioni ho solo guardato senza neppure fare offerte?)

Come viene rispettata la privacy?

Come mai eBay, con tutto quello storage, ritiene necessario "cancellare" (cioè non mostrare) le history dopo 90 giorni dalla scadenza dell'asta?

E via domandando... domande retoriche..

1 commento:

  1. Urgentissimo!mercoledì, luglio 22, 2009 5:10:00 PM

    Nota: 6,5 petabyte = 6500 terabyte = 6.500.000 gigabyte...

    Ovvero:

    6.500.000.000 megabyte

    6.500.000.000.000 kilobyte

    6.500.000.000.000.000 bytes

    (sperando che abbiano arrotondato a "1000" anziché a "1024").


    Dunque, 6.500.000.000.000.000 bytes, cioè mediamente più di un megabyte per ogni abitante della Terra!!!

    Perbacco, che media! Per la media sono conteggiati tutti, anche i lattanti e i malati terminali di qualsiasi angolo del pianeta (specialmente delle aree sprovviste di internet).

    RispondiElimina

Iscriviti a: Commenti sul post (Atom)