Gaia Data Release 1 Documentation release 0

Part II
Gaia data processing
69

---

Chapter 2
Astrometric and photometric
pre-processing
2.1
Introduction
Author(s): David Hobbs
This chapter presents the models and processing steps used for pre-processing the raw Gaia data before the basic
observables (or astrometric elementaries) can be generated and passed on to the Gaia core astrometric solution
which is discussed in Chapter 3. The input to the Gaia data processing is the raw satellite telemetry; the initial Gaia
source and ecliptic poles catalogues based on compilations of other catalogues to aid in the initial crossmatches;
an attitude star catalogue to allow a first reconstruction of the attitude of Gaia. The astrometric calibration models
are outlined in Section 2.3 including PSF
/LSF models and discussions of CCD calibration challenges followed by
the details of the daily and cyclic processing steps in Section 2.4. The final Section 2.5 discusses both the daily
and cyclic monitoring and validation that is performed before data products are passed on to the core astrometric
solution described in the next chapter.
2.1.1
Overview
Author(s): Claus Fabricius
The astrometric and photometric pre-processing produces the direct observational results for the SM and AF CCDs,
thus feeding the astrometric core process (AGIS) and the G band photometry (PhotPipe). More specifically, it
converts the raw telemetry (see Section 2.2.2) to image parameters (see Section 2.4.8), i.e. transit time, flux, and
position on the CCD, for each CCD transit of each detected object. This necessarily includes the calibration of
the CCD bias (see Section 2.3.5), and cosmetics (see Section 2.3.4), as well as the background (see Section 2.3.3,
Section 2.4.6), and the PSF
/LSF (see Section 2.3.2). For an overview of the pre-processing, see Fabricius et al.
(2016).
Another functionality of the photometric pre-processing is the reconstruction of the raw photometric measurements
from the BP and RP CCDs to feed the BP and RP bands photometry (PhotPipe), see Section 2.4.3. In the process,
70

---

it also produces preliminary spectro-photometric results (see Section 2.4.7), mainly used to monitor the correct
operation of those instruments (see Section 2.5.2.1).
The pre-processing also takes care of the identification of objects (see Section 2.4.9) in a source list (see Sec-
tion 2.2.3), and of determining a first on-ground attitude (see Section 2.4.5) of the spacecraft, using a star catalogue
(see Section 2.2.5).
The pre-processing runs on a daily basis, to allow a close monitoring of the status and performance of the instru-
ments (see Section 2.5.1), and to issue alerts on interesting sources. However, the CCDs and instrument cannot be
calibrated optimally in almost real time, as the models will need refinement, and as they depend on information on
the source astrometry and photometry, not yet available. Calibrations, image parameter determination, and object
identification, are therefore elements of a grand iteration loop, completed once in every data reduction cycle (see
Section 2.4.2.2). The feedback from the astrometric and photometric core processes is particularly important for
the PSF calibration, which must properly take chromatic e
ffects into account for the image shape as well as for the
PSF origin.
2.2
Properties of the input data
Author(s): Uli Bastian
This section describes the input data from which the astrometric and photometric pre-processing — and thus the
DPAC data processing as a whole — starts. The input data largely fall into two categories: Telemetry data from
the Gaia satellite, and auxiliary data prepared by the DPAC in advance of the mission.
2.2.1
Overview
Author(s): Uli Bastian
The most important and biggest input of course is the telemetry data from the Gaia satellite. Originating from the
spacecraft they enter the data processing after several transmission and transformation steps: through the telemetry
spacecraft-to-Earth telemetry link, the three ESA ground station antennas at Cebreros (Spain), New Norcia (Aus-
tralia) and Malarg¨ue (Argentina) to the Mission Operations Centre (MOC) at ESOC, Darmstadt (Germany), into
the Telemetry Archive at the Science Operations Centre (SOC) at ESAC, Villafranca (Spain) and into the DPAC’s
live pre-processing database via the DPAC’s MOC–SOC Interface Task (MIT) software.
The telemetry consists of housekeep and science data. The former contains a huge variety of on-board status
information, subsystems working logs etc., including the autonomous on-board attitude determination results. It is
not described further in the present chapter, although it enters the processing in many critical ways.
The science telemetry data are described in Section 2.2.2. The subsequent subsections, from Section 2.2.3 to
Section 2.2.5, explain three auxiliary star catalogues prepared before the mission and used in the pre-processing:
the Initial Gaia Source List (IGSL) for the preliminary assignment of Gaia observations to celestial objects, the
Ecliptic-Poles Catalogue (EPC) for the initial in-orbit performance verification and calibration after launch, and
the Attitude Star Catalogue (ASC) for the continual on-ground attitude reconstruction.
71

---

2.2.2
The raw science telemetry data
Author(s): Jordi Portell
The Gaia spacecraft, and specifically its focal plane through the Video Processing Units (VPUs), generate a variety
of raw data packets which are down-linked to the ground and must be processed by DPAC. These packets include
the astrometric, photometric and spectroscopic measurements, but they are not self-contained — in the sense
that their measurement features are provided through separate packets. This is done for down-link optimisation
reasons. Probably the most important task in the astrometric and photometric pre-processing is the reconstruction
of self-contained individual measurements.
Raw data is organized in Star Packets (SP) and Ancillary Science Data packets (ASD). The former contain the
science data in itself, such as the pixels acquired from the CCDs, whereas the latter contain shared data needed for
the reconstruction of raw measurements, such as information on the measurement coordinates through the focal
plane or the integration time of each image.
There are 9 types of Star Packets, identified as SP1 to SP9, plus 7 types of Ancillary Science Data packets, identified
as ASD1 to ASD7. There is yet another type of data packet, called Service Interface Packet (SIF), but that is only
used for payload diagnostics and extended, on-demand data acquisition.
2.2.2.1
Generation
Typically, one SP of one or more type is generated for every astronomical source transit across the Gaia focal plane.
That is to say, every time that a VPU detects, confirms and measures the transit of a source with enough brightness
and sharpness. Some of these packets are only generated during special calibration or non-nominal activities. We
can classify Star Packets as follows:
• Nominal astronomical packets:
– SP1, the most numerous ones, with one packet generated for each astronomical source tran-
sit across the SM, AF and BP
/RP CCDs. These form the main data input to all Gaia data
processing systems.
– SP2, same as for SP1 but only for those sources detected in the focal plane rows that have RVS
CCDs, and only for sources which are bright enough for being measured there.
– SP3, generated only for SP1 packets for which a significant across-scan motion has been au-
tonomously detected on board. These are called Suspected Moving Objects (SMO).
• Nominal instrumental packets:
– SP4, with regular (periodic) measurements from the Basic Angle Monitoring (BAM) device.
That is, although these are labelled as ‘Star Packets’, these do not contain any astronomical
information, but instrumental information instead.
• Non-nominal astronomical packets:
– SP6 and SP7, with SM and AF1 measurements of bright stars, which are only generated when
the on-board Attitude and Orbit Control System (AOCS) is being initialised and when it loses
convergence momentarily. These are mainly down-linked for further analysis and checks, but
they do not enter the main data processing pipelines.
72

---