Gaia Data Release 1 Documentation release 0

• Scene: predicts the CCD transit times of sources given an input catalogue and the spacecraft attitude;
• Detection classifier: flags spurious detections which have to be ignored in the subsequent processes;
• Crossmatch: matches observations to sources;
• Validation: provides technical and scientific consistency checks.
These processes are nominally executed after a given data segment is closed and DPCB has received all the data.
The tasks are executed sequentially in a single run over the full data set. In the current case, the tasks included all
the data up to Segment 01 (inclusive).
In this processing cycle, CU3-IDU version 18.0.0 was used. All the processing was performed on the MareNostrum
III supercomputer starting on 14 October 2015 and finishing on 4 November 2015. It means a total of 21 days which
includes the validation activities and delivery of the data to DPCE. During this period, 29 085 128 665 observations
and ∼ 10 TB of input data were successfully processed.
A brief summary of the results obtained at DPCB during this processing activity:
• 5 216 598 876 observations were classified as spurious detections. These are mainly caused by the
di
ffraction spikes of bright stars and the transit of major Solar-system bodies. These observations
were filtered out from the crossmatch.
• 2 062 191 820 new sources were added to the initial Gaia working catalogue by the crossmatch
task. This task started from the Initial Gaia Source List (IGSL; Smart & Nicastro 2014), containing
1 222 598 530 source entries, which was already known to be incomplete.
In this particular execution for Gaia DR1, due to the current limitations of the algorithms, the number of new
sources created due to spurious detections has been very high. This is expected to be greatly reduced in forthcom-
ing executions with the integration of more sophisticated crossmatch algorithms and improved spurious-detection
models. Spurious detections are currently the main cause of the catalogue pollution and additional e
ffort has been
committed to improve the detection classification in forthcoming releases.
For further details on the scientific features and limitations of the algorithms used in this execution, see Sec-
tion 2.4.9.
The total computing hours consumed and volume of data produced by each process in this activity, only including
successful runs, is shown in Table 1.4. However, the intermediate-data arrangement and validation tasks and
activities have also consumed CPU time. When accounting for all the operations in MareNostrum III, the real
number of CPU hours consumed for this activity approaches 120 000.
Table 1.4: Total CPU hours and data size at DPCB for Gaia DR1 activities.
Task
CPU hours
Data size [Gigabytes]
Scene
2 466
750
Detection classifier
1 557
60
Crossmatch
43 696
4 200
Total
47 719
5 010
In addition to the described operational activities, DPCB also provides support to the development and testing
of CU3-IDT and other related products. These activities use mainly resources in CSUC. Being involved in the
55

---

development of CU3-IDT has provided the DPCB team unique knowledge and expertise on the spacecraft raw-
data processing which has remarkably contributed to significant improvements in the software developed for the
execution of CU3-IDU.
Finally, during many years, DPCB has generated key CU2 simulation data sets used in the development and testing
of products across DPAC. CU2-GASS simulations have been essential prior to Gaia launch to test DPAC software
and some are still used, even after launch, to ensure the proper implementation of the processing chains. CU2-GOG
simulations are still being generated and are now an essential part of the CU9 software validation and testing.
1.3.4.3
DPCC
1.3.4.3.1
Background
The Data Processing Centre at CNES (named DPCC) has the responsibility of run-
ning the CU4, CU6, and CU8 processing chains all along the Gaia mission. This includes both daily and cyclic
processing. DPCC is also in charge of backing up the Gaia Main DataBase (MDB, located at DPCE) and the sci-
ence telemetry archive during the entire mission. DPCC is located at CNES (Centre National d’Etudes Spatiales,
Toulouse, France).
The object-processing chains (CU4) will process all other objects not processed or identified in the CU3, CU5,
or CU6 data reduction (as well as eclipsing binaries identified by CU7). Such objects include Non-Single Stars
(NSSs), Solar-System Objects (SSOs), and Extended Objects (EOs).
The spectroscopic processing chains (CU6) process and analyse the data obtained with the Radial Velocity Spec-
trometer (RVS). The goals of the spectroscopic processing system are:
• to monitor the health of the spectrograph and to calibrate its characteristics;
• to provide radial and rotational velocities;
• to issue variability and multiplicity diagnostics;
• to alert on objects that require a rapid ground-based follow-up; and
• to provide clean, calibrated spectra.
The chains dealing with astrophysical classes and astrophysical-parameter determination (CU8) provide the astro-
physical parameters for the objects that Gaia observes (stars, galaxies, quasars, etc.). The name of the CU8 data
processing system is Apsis.
Gaia observes more than one billion stars, each one 70–80 times over the five-year mission. The ground data
processing has therefore to face several challenges:
• a huge number of elements to handle with dozens of tables containing up to 70–80 billion rows;
• a complex processing with timeliness constraints: daily systems to deal with the data-reduction-cycle
ones;
• a huge volume to handle: 3 PB of data are foreseen at the end of the mission (disregarding interme-
diate data generated in each DPC).
As a consequence, in 2011, DPCC has chosen the Hadoop and Map
/Reduce technologies as the core of the DPCC
framework, following a database system study that showed Hadoop to be the best solution to handle more than 10
56

---