Gaia Data Release 1 Documentation release 0

consideration, it has been decided to not use this functionality and operate with a constant across-
scan size of 10 pixels.
Both the adaptive faint threshold and the adaptive across-scan window size use the Sun’s azimuth, which is derived
on board from a simple model which needs periodic (roughly monthly) calibration
/ parameter updates.
1.3.3.13
PDHU configuration
Down-link priority settings and data-deletion settings are user defined and tracked in the CDB. In general, bright
stars have higher priority for being telemetered to ground first and are protected on-board from being deleted. Dur-
ing the time interval covered by Gaia DR1, a few changes to these settings were made: the non-unity multiplexing
ratios were multiplied by a factor 10 on 28 October 2014, the faint-end granularity for SP2 packets was improved
on 10 November 2014, and the position of the ASD4 and BAM File IDs in the PDHU down link priority table was
swapped on 16 September 2015 so that the on-board procedure that stops the down link in case link problems are
detected a
ffects BAM data rather than ASD4 data.
1.3.4
Processing configuration
Author(s): Rocio Guerra, Javier Casta ˜
neda, Chantal Panem, Francesca De Angeli, Krzysztof Nienartowicz,
Rosario Messineo
1.3.4.1
DPCE
DPCE is part of the Gaia Science Operations Centre (SOC) at ESAC, Madrid, Spain. DPCE operates software
from:
• CU1:
– Main DataBase (MDB);
– MOC Interface Task (MIT);
– De-compression and Calibration Services (DCS);
– Payload Operations System (POS);
– Gaia Transfer System (GTS);
• CU3:
– Initial Data Treatment (IDT);
– First Look (FL);
– Astrometric Global Iterative Solution (AGIS);
• DPCE:
– IDT
/FL DataBase (IDTFLDB);
– Daily PipeLine (DPL);
– Gaia Observing Schedule Tool (GOST).
51

---

As the ‘hub’ in the Gaia Science Ground Segment, DPCE is the interface between MOC and other DPAC DPCs
(Section 1.2.4.2). This includes data retrieval from MOC and distribution to DPCs after IDT
/FL processing and
distribution of the MDB, i.e., receiving the processed data from the other DPCs and assembly of the subsequent
version after DPAC processing. DPCE also has responsibility for interactions with MOC with respect to payload
calibration and operations.
DPCE performs both daily and cyclical processing.
1.3.4.1.1
DPCE daily processing
DPCE daily processing aims to provide the raw observation data from the
spacecraft in usable form for further processing and an initial treatment into higher-level data. The input to the
daily processing is the telemetry stream from the spacecraft with initial input data from CU3 and CU5 in the
form of catalogues and calibration data. This processing started during the commissioning period of Gaia and will
continue until the end of spacecraft operations.
The input data set processed by the DPCE daily pipeline for Gaia DR1 corresponds to the following period:
• Start time: 2014-07-25T10:29:60 UTC;
• End time: 2015-09-16T16:20:00 UTC.
The principal software systems (MOC, IDT, and FL) have run with versions 17.0, 17.1, and 18.0 (including a
number of patch releases to fix specific issues found during operations). The following table shows the main data
types produced at DPCE that are inputs to Gaia DR1 and the total counts:
52

---

Data type
Total counts
ApBackgroundRecordDt
1 803 317
AstroElementary
21 881 483 835
BamElementary
3 050 355
BaryVeloCorr
20 233
BiasRecordDt
834 438
Oga1
19 607
PhotoElemSmo
22 625 037
PhotoElementary
23 515 409 486
AcShifts
255 058 637
AcShiftsSmearing
90 655 739
AocsAttitude
303 342
AstroObsSpecialVo
10 196 787
AstroObservation
29 096 110 412
AstroObservationVo
136 524 103
BamObservation
3 026 236
ChargeInjection
52 881 287
FailedBamObs
320
GateInfoAstro
336 210 546
GateInfoPhoto
16 881 026
GateInfoRaw
927 625 308
GateModePkt
605 090
ObjectLogAFXP
33 010 494 473
ObjectLogRVS
2 174 653 888
ObjectLogRvsRotSmear
714 087 495
PhotoObsSpecialVo
10 196 787
PhotoObservation
29 095 929 577
PhotoObservationSmo
22 809 106
PhotoObservationVo
136 524 103
PreScan
953 420
RvsResolution
1 359
SifPkt
14 475 751
SpectroObsSpecialVo
295 886
SpectroObservation
1 930 334 418
SpectroObservationVo
69 596 589
Statistics
979 414
StatsVariant
976 872
WfsPkt
827 942
ZoomGateModePkt
2 317 976
1.3.4.1.2
DPCE cyclic processing
The cyclical processing consists of running AGIS and the MDB:
• AGIS produces the main astrometric solution for the mission. The applicable version for Gaia DR1
is 18.2, generating 1 466 675 582 sources (before CU9 filtering).
• The MDB is the central repository for the Gaia mission data. The size of the inputs for the Gaia DR1
generation is 60 TB (excluding the processing done during commissioning). The MDB comprises
a number of tools required for handling the input
/output actions, assessing the data accountability,
and checking the data consistency. In particular, the MDB Integrator collects all of the output data
processed during the cycle and previous inputs, unifying them into a unique table of Gaia sources
for publication.
53

---

In addition, DPCE receives and distributes the contents of the MDB to the rest of the Data Processing Centres
using the Gaia Transfer System over the Internet. The current bandwidth between the hub – DPCE – and the other
DPCs is 1 Gb s
−1
; this can be increased as needed for subsequent processing cycles.
1.3.4.2
DPCB
1.3.4.2.1
Background
The Data Processing Centre of Barcelona (DPCB) is embedded in the Gaia DPAC group
at the University of Barcelona (UB) and the Institute for Space Studies of Catalonia (IEEC), in close cooperation
with the Barcelona Supercomputing Centre (BSC) and the Consorci de Serveis Universitaris de Catalunya (CSUC),
also in Barcelona, Spain. The operational DPCB hardware is provided by BSC, whereas the team at the UB
/IEEC
carries out the management, operations, development, and software tests. The responsibilities of DPCB are the
execution of the:
• Gaia Transfer System (CU1-GTS), for the reception of input data on a daily basis from DPCE and
for the transfer of data produced at DPCB to DPCE;
• Intermediate Data Updating (CU3-IDU), one of the major processing tasks in the cyclic processing
in charge of regenerating all the intermediate data as described in Section 2.4.2.2;
• CU2 Simulations, specifically CU2-GASS and CU2-GOG, which simulate satellite telemetry and
the final Gaia catalogue, respectively.
The main focus of DPCB during operations is to execute the cyclic processing, running several stages of CU3-IDU
every data processing cycle. In some cases, depending on the inputs available and specially in the first processing
cycles, only part of these subsystems may be run whereas, in later stages of the mission, repeated execution of
some of these subsystems may be needed during a given cycle.
Additionally to the execution of CU3-IDU, DPCB is also responsible for the integration of the CU3-IDU soft-
ware into the execution environment and available resources, in particular the MareNostrum supercomputer. This
supercomputer, hosted at BSC, o
ffers a peak performance of 1.1 Petaflops and 100.8 TB of main memory. It is
composed of more than 3000 computing nodes.
The design and implementation of CU3-IDU and its integration in DPCB presents a variety of interesting chal-
lenges, covering not only the purely scientific problems that appear in any data-reduction process but also the
technical issues that arise when processing the huge amount of data that Gaia provides. In particular, DPCB has
developed an e
fficient and flexible execution framework, including tailored data-access routines, efficient data for-
mats, and an autonomous application in charge of handling and checking the correctness of all input data entering
or produced by CU3-IDU.
DPCB is therefore responsible for the reprocessing of all the accumulated astrometric data collected from the
spacecraft, adding the latest measurements, and recomputing the CU3-IDU outputs using the latest calibrations to
obtain better scientific results.
The improved results provided by CU3-IDU executions at DPCB are the starting point for the next iterative reduc-
tion loop, which includes AGIS and PhotPipe. Without CU3-IDU results, the Gaia data processing chain would
not be able to provide the envisaged accuracy. Therefore, its presence is key to obtain the optimum convergence of
the iterative process on which all the data processing of the spacecraft is based.
1.3.4.2.2
Gaia DR1
For Gaia DR1, the following IDU processes have been executed:
54

---