Gaia Data Release 1 Documentation release 0

million objects. The scalability of the solution allows an incremental purchase of the hardware in order to follow
the growing needs in terms of volume and processing power over the five years of the nominal mission.
DPCC is responsible for all aspects related to the physical hardware used to process the data (from purchase to
regular maintenance and system administration) as well as for the development and maintenance of the software
infrastructure required to process and archive the input and output data, run the scientific modules developed
within CU4, CU6, and CU8 on the DPCC cluster, and deliver the data to scientists and DPCE. DPCC has a
fundamental role in the validation, pre-integration of the modules developed by scientists, and integration into the
final framework, up to the final qualification of the overall system. All operational aspects (from data deliveries to
pipeline operations) are under DPCC responsibility.
During operations, all data are received daily at DPCC from DPCE and archived in a mirror database (MDB
Backup) for long-term preservation. The solution is based on temporary disk servers (64 TB) and on a robotic
system with LTO-6 tapes, allowing to store up to 3 PB.
The DPCC data reception chain allows to automatically analyse and index the data that are needed as input to the
chains. It publishes them on a Web portal (named GAIAWEB) for analysis by the payload experts. This web server
is used every day to communicate with scientists, as it also stores the main results of the chains execution, log files,
and execution reports.
1.3.4.3.2
Gaia DR1
During Cycle 01, only the daily processing ran in DPCC, the cyclic chains still being under
development and qualification.
The CU6 bias non-uniformity calibration chain (named UC1) ran several times, each time when a new Spe-
cialVOsequence was received. Its objective is to calibrate the bias non uniformity of the RVS instrument.
The CU6 daily RVS calibration chain (named UC2) has been running on a quasi daily basis since mid-Cycle-01.
It is triggered after reception of a qualified FL run (ODAS astrometry) with associated IDT runs and crossmatch
results. This allows to perform the daily RVS calibration (wavelength, along-scan LSF, across-scan LSF, di
ffuse
background, photometric) and to derive the radial velocities of the stars.
The CU4 SSO daily processing system (SSO-ST, for short term) was qualified in Cycle 01 to provide science alerts
to IMCCE.
1.3.4.4
DPCI
1.3.4.4.1
Background
The Gaia photometric and spectro-photometric data are processed at the Data Process-
ing Centre located at the Institute of Astronomy (University of Cambridge, UK). This is also referred to as DPCI.
The large data volume produced by Gaia (26 billion transits per year), the complexity of its data stream, and the
self-calibrating approach pose unique challenges for scalability, reliability, and robustness of both the software
pipelines and the operation infrastructure. DPCI therefore adopted Hadoop and Map
/Reduce as the core technolo-
gies for its infrastructure since 2010.
DPCI is responsible for all aspects related to the physical hardware used to process the data (from purchase to
regular maintenance and system administration) as well as for the development of the software infrastructure
required to run the scientific modules developed within CU5 on the DPCI cluster. DPCI has a fundamental role in
the integration of those modules into the o
fficial pipeline. All operation aspects (from data deliveries to pipeline
57

---

operation) are under DPCI responsibility.
The pipeline processing the photometric and spectro-photometric data is called PhotPipe. For the production of
the data included in Gaia DR1, PhotPipe releases 18.1.0, 18.2.0 and 18.3.0 were used to perform di
fferent aspects
of the processing. In PhotPipe, the scientific modules are implemented as a series of ‘Processing Elements’ that
can be assembled into a workflow or ‘Recipe’. Recipes are defined using a specifically designed Domain Specific
Language (DSL) called Scylla, based on functional programming. For details on the scientific processing of the
data, see Section 5.
During operations, data is received daily at DPCI. The automatic data-handling system records new deliveries and
stores useful metadata into a database. The data is thus transferred to the cluster to be ready to be imported. This
process converts the input data from the DPAC format into the internal data model, optimised for the PhotPipe
processing. The modelling of the complex data stream is done using yet another DSL (and compiler) developed ad
hoc by the DPCI team, called Charybdis.
PhotPipe operates in cyclic mode, i.e., PhotPipe operations start when all data for a data segment has been received
as well as when the results of the IDU (IPD and crossmatching in particular) from the same cycle are received.
The processing in PhotPipe can be divided into the following steps:
• ingestion and pre-processing of data, including the computation of bias corrections, heliotropic an-
gles, predicted and extrapolated positions, and the creation of types optimised for the PhotPipe
processing by joining several inputs coming from di
fferent upstream systems;
• BP
/RP pre-processing and initial calibration, in particular background (stray light component only
for Gaia DR1) and along-scan geometric calibration;
• integrated flux internal calibration, including the initialisation of the photometric internal reference
system and all the internal calibrations required to remove all instrumental e
ffects (time-link calibra-
tion, Gate and Window Class-link calibration, large- and small-scale calibrations);
• BP
/RP instrument model calibration, taking into account the effect of varying flux response and LSF
across the focal plane and in time over the BP and RP CCDs;
• external calibration creating the link between the internal photometric reference system and the
absolute one, thus allowing comparisons of Gaia data with other catalogues;
• export of the data produced by PhotPipe to the MDB for integration with results from other systems,
distribution to downstream users within DPAC and for creation of selections to be released to the
public.
At each cycle, PhotPipe will re-process all data collected by Gaia since the start of the nominal mission. Particularly
in the first cycles, significant improvements in the software and algorithms are expected while becoming more and
more familiar with the data. The cyclic nature of the processing ensures these improvements a
ffect all the data
collected so far.
1.3.4.4.2
Gaia DR1
During Cycle 01, just over 29 billion field-of-view transits entered the PhotPipe process-
ing. Only for a fraction of these (21.9 billion field-of-view transits), IPD results were available, thus enabling
further processing in PhotPipe.
It should be mentioned that the significant reduction in the number of observations that can be processed due to
missing IPD results, is not uniformly distributed in time, sky, colour, or magnitude. Faint sources are mostly
58

---