Gaia Data Release 1 Documentation release 0

Figure 2.9: Detail of variation in electronic bias in device AF2 on row 4 around the large excursion illustrated
in Figure 2.8. Individual ‘bias records’ created as prescan telemetry arrives are denoted in blue and illustrate
interpolation within those records. Interpolation between the records is illustrated in magenta.
104

---

2.4
Processing steps
Author(s): Claus Fabricius
As mentioned above (Section 2.1.1) the pre-processing is run in almost real time on a daily basis, as well as much
later during each data processing cycle. Processing steps are of course somewhat di
fferent in the two cases, and
not all of them need to be repeated cyclically.
The demand of always being up to date in the daily processing, leads to a complication when the processing has
been stopped for some days due to maintenance or when the data volume is very high as it happens when the spin
axis is close to the Galactic poles. The adopted solution in some cases is to skip some processing steps for data of
lower priority in these specific situations, and essentially postpone the full treatment to the cyclic pre-processing.
This is relevant for Gaia DR1, which is based on the daily pre-processing.
2.4.1
Overview
Author(s): Claus Fabricius
The major complication for the daily pre-processing is the ambition to process a given time span before all the
telemetry has arrived at the processing centre, and without knowing for sure if data that appears to be missing will
in fact ever arrive. The driver is the wish to keep a close eye on the instrument and to issue alerts on interesting
new sources.
As a rule, housekeeping telemetry, and the so-called auxiliary science data (ASD, see Section 2.2.2), is sent to
ground first, followed by the actual observations for selected magnitude ranges. This is meant to be the minimum
required for the monitoring tasks. Later follows other magnitude ranges, unless memory becomes short on-board
and the data in down-link queue overwritten. Data can be received at di
fferent ground stations, and may also for
that reason arrive unordered at the processing centre.
The daily pre-processing is known as the Initial Data Treatment (IDT) and is described below (see Section 2.4.2.1).
It is followed immediately by a quality assessment and validation known as First-Look (FL, see Section 2.5.1 and
Section 2.5.2.2), which takes care of the monitoring tasks and the daily calibrations.
The cyclic pre-processing, known as the Intermediate Data Updating (see Section 2.4.2.2), runs over well-defined
data sets and can be executed in a much more orderly manner. It consists of three major tasks, viz. calibrations,
image parameter determination, and crossmatch, as well as several minor tasks as described below.
2.4.2
Daily and cyclic processing
Author(s): Jordi Portell, Claus Fabricius, Javier Casta ˜
neda
As previously explained, there are good reasons for performing a daily pre-processing, even if that leads to not fully
consistent data outputs. That is fixed regularly in the cyclic pre-processing task. Some algorithms and tasks are
only run in the daily systems (mainly the raw data reconstruction, which feeds all of the DPAC systems), whereas
other tasks can only reliably run on a cyclic basis over the accumulated data. There are also intermediate cases,
that is, tasks that must run on a daily basis but over quite consolidated inputs. That is achieved by means of the
First-Look (FL) system, which is able to generate some preliminary calibrations and detailed diagnostics. Table 2.6
105

---

Table 2.6: Main pre-processing steps and their execution in daily or cyclic systems.
Task
Daily (IDT)
Daily (FL)
Cyclic (IDU)
Raw data reconstruction
Final
Basic angle variations determination
Final
On-ground attitude reconstruction
Prelim. (OGA1)
Prelim. (OGA2)
Bias and astrophysical background
Prelim.
Final
Astrometric LSF calibration
Prelim.
Final
Spectro-photo image parameter determination
Prelim.
Astrometric image parameter determination
Prelim.
Final
Crossmatch processing
Prelim.
Final
Notes. ‘Final’ means that the outputs generated by that task are not updated anymore (unless in case of problems or bugs),
whereas ‘Preliminary’ means a first version of a data output that is later updated or improved.
provides an overview of the main tasks executed in these two types of data pre-processing systems. Please note
that most of the ‘Final’ tasks mentioned in IDU are not included in the present release: only the crossmatch is
included. The final determination of spectro-photometric image parameters (that is, BP
/RP processing) is done in
PhotPipe (see Section 5).
2.4.2.1
Initial Data Treatment (IDT)
IDT includes several major tasks. It must establish a first on-ground attitude (see Section 2.4.5.2), to know where
the telescopes are pointing in every moment; it must calibrate the bias, and it must calibrate the sky background
(see Section 2.4.6). Only with those pieces in place can it start thinking of attacking the actual observations.
For the observations, the first thing is to reconstruct all relevant circumstances of the data acquisition, as explained
in Section 2.4.3. From the BP and RP windows we can determine a source colour, and then proceed to determine
the image parameters (see Section 2.4.8).
The final step of IDT is the crossmatch between the on-board detections and a catalogue of astronomical sources,
having filtered detections deemed spurious (see Section 2.4.9). One catalogue source is assigned to each detection,
and if no one is found, a new source is added.
2.4.2.2
Intermediate Data Updating (IDU)
The Intermediate Data Updating (IDU) is the instrument calibration and data reduction system more demanding
in terms of data volume and processing power across DPAC. IDU includes some of the most challenging Gaia
calibrations tasks and aims to provide:
• Updated crossmatch table using the latest attitude, geometric calibration and source catalogue avail-
able.
• Updated calibrations for CCD bias and astrophysical background (see Section 2.4.6).
• Updated instrument LSF
/PSF model (see Section 2.3.2).
106

---