Jump to content
  • entries
    292
  • comments
    368
  • views
    59727

What are the largest SQL projects in the world?


antonch

1228 views

 Share

Πρόσφατα έπεσα μούρη με μούρη σε μια παρουσίαση του Kevin Cox που είχε το παραπάνω θέμα. Επειδή είναι αρκετά ενδιαφέρουσα και ρίχνει αρκετούς μύθους αποφάσισα να την μοιραστώ μαζί σας.

Ας ξεκινήσουμε με μερικά στατιστικά

Category Metric

Largest single database

70 ΤΒ

Largest table

20 ΤΒ

Biggest total data 1 application

88 PB

Highest database transactions per second 1 db (from Perfmon)

130.000

Fastest I/O subsystem in production (SQLIO 64k buffer)

18 GB/sec

Fastest “real time” cube

5 sec latency

data load for 1TB

20 minutes

Largest cube

12 TB

Ας προχωρήσουμε στα πιο ειδικά

OLTP Systems

MySpace

  • 500+ SQL Servers, adding new ones every week
  • Total data managed > 1 PB
  • Data Dependent Routing, Distributed Partitioned Views, Replication, SODA
  • Currently moving to Windows 2008 / SQL 2008
  • Data Dependent Routing, Distributed Partitioned Views, Replication, Caching Tier, Service Broker
  • 500,000 Users: A Simple Architecture Stumbles (two Web servers talking to a single database server – 3 database servers (1 write, 2 read))
  • 1 Million Users: Vertical Partitioning Solves Scalability Woes (separate databases for parts of the Web site that served different functions)
  • 3 Million Users: Scale-Out Wins Over Scale-Up (cost for scale-up too high), SODA
  • 9 Million Users: Site Migrates to ASP.NET, Adds Caching Tier, Data Dependent Routing
  • 26 Million Users: MySpace Embraces 64-Bit Technology, SQL Server 2008, Service Broker
  • High Availability
    • Windows Clusters 7+1, moving to 10+1
    • Unattended patching via custom Powershell scripts and management control screen
    • Extensive testing before patching
    • Continually improving operations process
  • 3,000 – 7,000 connections average
  • 2 data centers
    • Doing SAN snapshots between sites
    • In case of loss of one site, can bring up other site to take over within a few hours.
  • Great article on architecture changes as they grew: http://www.baselinemag.com/article2/0,1540,2082921,00.asp

Bwin.com

  • Online gaming applications - Europe‘s largest betting line-up Sports Poker Casino Skill Games
  • 90 different sports covered in 22 languages
  • > 12,000 different bets offered per day
  • > 3 million individual and combination bets placed every day
  • Bwin.com sponsors top world soccer teams
    • Real Madrid
    • AC Milan
    • FC Bayern Munich
  • Key Technologies
    • Running on SQL Server 2008 & Windows 2008 Enterprise
    • Windows Communication Foundation
    • Synchronous database mirroring between two centers 12 km apart
      • Added 1 ms delay on transaction
      • 99.99x% availability @ 24 x 7 since migrating to SQL from Oracle.
      • 100.00% uptime in 2008 and 2009 (since moving to SQL 2008 and Windows 2008)
    • Zero data loss (financial transactions are involved)
    • Replication and Log shipping for most databases
    • DB Mirroring for betting data base.
    • Full suite of SQL products - IS, AS and RS
    • ASP.NET for applicatio
  • Some numbers
    • Peak financial transactions 6000 per second
    • Peak db transactions 30,000 per second
    • Databases 800+
    • Instances 100+
    • Largest table 2 billion rows
    • Total data in SQL Server 100+ TB
    • Backup of 2 TB over network under 1 hr
    • Largest machines 64 core 512 GB IA2 HP
    • 6 x 32 core IA2
  • 400% boost in performance on 128 cores 256GB RAM on IA64 using SQL 2008 R2
  • More info

Retail Application

  • 1,200 stores
  • SQL Standard
  • 10 GB average
  • 15,000 cash registers
  • SQL Express
  • 10 MB database average
  • 1 Corporate Server
  • SQL Enterprise
  • Windows Cluster + DB Mirroring
  • AS, IS, RS
  • 12+ TB database, 1.5 TB cube.
  • Merge replication for products & pricing
  • Service Broker for all transactions
  • One of the largest Service Broker and replication projects in the world
  • 2 Million SKUs (products)
  • 25 Million Accounts
  • 10 million transactions / day
  • SQL Server, AS, IS, RS
  • Windows Cluster, DB Mirroring, Log Shipping


DATA WAREHOUSEs

Pan Starrs Project

  • Largest Astronomy project in history
  • 4 telescopes capturing 1.5 giga pixel images
  • 100TB on single instance (5 db x 20TB)
  • Total data managed > 1PB
  • 5+TB added per day
  • HA/DR
    • Relying on backups of the input files for now

Telecom

  • CDR Analytics
  • 70TB Relational
  • 4TB largest cube
  • 100+ concurrent queries
  • Itanium 64 core with storage system rated over 20GB/sec throughput
  • Loading 1TB in
  • Processing 1m rec/sec in AS cubes

Hilton Hotels

  • Room forecasting system
  • Full suite of SQL products (SQL, AS, IS, RS)
  • Scale out AS and RS
  • Load Balanced Analysis Services reader machines
  • 40 to 50 concurrent users per RS server
  • Complex queries
  • Large data sets returned to many clients
  • IBM xSeries and IBM Blade Center servers
  • Case study: http://www.microsoft.com/casestudies/casestudy.aspx?casestudyid=49192

Stein Mart

 Share

6 Comments


Recommended Comments

@Theofani Giotis Κάθε database κάνει για συγκεκριμένα σενάρια. Εντυπωσιακότατα τα νούμερα, αλλά δεν βλέπουμε πχ το cost per transaction για να μπορούμε να συγκρίνουμε με αντίστοιχες εγκαταστάσεις Oracle.

 

Λογικά το cost είναι υπερ του SQL Server, αλλά γενική τοποθέτηση του τύπου "για όσους λένε, αλλά για μεγάλες βάσεις, κλπ", είναι μάλλον... γενική. :)

Link to comment

Οι άνθρωποι που έχουν τέτοιες "γενικές" απόψεις δείχνουν ότι δεν έχουν τεχνογνωσία αφού δεν στηρίζουν την άποψη τους σε data. Οπότε σε αυτή την περίπτωση, ένα "τράβα δες το blog μου" κολλάει μια χαρά! :D

 

Ως προς το κόστος, το να αναφερθεί το κόστος για τις παραπάνω υλοποιήσεις δεν έχει νόημα μιας και είναι ετερόκλητες και δεν αποτελούν μέτρο σύγκρισης. Ποιός μπορεί να πάρει ιδέα για το πόσο θα του κοστίσει η δική του υλοποίηση κοιτώντας τις παραπάνω (έστω κι αν αναφέρεται το κόστος τους); Ένα είναι το μέρος για να δει κανείς κόστη, το tpc.org.

Link to comment

Δεν υπερασπίζομαι την Oracle..

 

Κάνω μια παρατήρηση ότι όσο γενικό και λάθος είναι το "η Oracle τα κάνει καλύτερα", άλλο τόσο γενικό και λάθος είναι το "Ο SQL Server είναι καλύτερος" επειδή είδαμε κάποια εντυπωσιακά νούμερα. Μάλλον δεν φάνηκε απο το πρώτο πόστ έτσι όωπς το έγραψα! :P

Link to comment

Χαχα, κάτσε λίγο γιατί σκέφτομαι ότι φαίνεται πως τώρα τελευταία όλο σου τη λέω (μία στο FB, μία εδώ)!

 

Δεν σκέφτηκα ότι υπερασπίζεσαι την Oracle, κι εγώ γενικά το είπα για όλους όσους "υποστηρίζουν" τεχνολογίες βάσει του gut feeling και όχι βάσει των data. Εξάλλου, τέτοιους βλέπουμε κάθε μέρα στις δουλειές μας.

 

Από εκεί και πέρα, τα μεγέθη που μας δείχνει ο Αντώνης είναι πολύ εντυπωσιακά και πάντοτε έχει μεγάλο ενδιαφέρον να βλέπεις που μπορεί να φτάσει η εκάστοτε τεχνολογία.

 

Link to comment

AHAHAHAHHA, όχι ρε, άμα είναι να την λέμε και μεταξύ μας, το χάσαμε, πάει.. Μια διευκρίνηση έκανα! :P

Link to comment
Guest
Add a comment...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...
×
×
  • Create New...