Gaia Data Release 1 Documentation release 0

resolution of the crossmatch will therefore often require the creation of new source entries. These new sources can
be created directly from the unmatched Gaia detections.
A first, preliminary crossmatching pre-processing is done on a daily basis, in IDT, to bootstrap downstream DPAC
systems during the first months of the mission, as well as to process the most recent data before it reaches cyclic
pre-processing in IDU. By definition, such daily crossmatching cannot be completely accurate, as some data will
typically arrive with a delay of some hours or even days to IDT.
On the other hand, the final crossmatching (also for the present release) is executed by IDU over the complete set
of accumulated data. This provides better consistency as having all of the data available for the resolution allows a
more e
fficient resolution of dense sky regions, multiple stars, high proper motion sources and other complex cases.
Additionally in the cyclic processing, the crossmatch is revised using the improvements on the working catalogue,
of the calibrations, and of the removal of spurious detections (see Section 2.4.9.3).
Some of the crossmatching algorithms and tasks are nearly identical in the daily and cyclic executions, but the
most important ones are only executed in the final crossmatching done by IDU.
For the cyclic executions of the crossmatch the data volume is rather small. However the number of detections
will be huge at the end of the mission, reaching ∼ 10
11
records. Ideally, the crossmatch should handle all these
detections in a single process, which is clearly not an e
fficient approach, especially when deploying the software
in a computer cluster. The solution is to arrange the detections by spatial index, such as HEALPix (G´orski et al.
2005), and then distribute and treat the arranged groups of detections separately. However, this solution presents
some disadvantages:
• Complicated treatment of detections close to the region boundaries of the adopted spatial arrange-
ment.
• Handling of detections of high proper motion stars which cannot be easily bounded to any fixed
region.
• Repeated accessing to time-based data such as attitude and geometric calibration from spatially
distributed jobs.
These issues could in principle be solved but would introduce more complexity into the software. Therefore
another procedure better adapted to Gaia operations has been developed. This processing splits the crossmatch
task into three di
fferent steps.
Detection Processor
In this first step, the input observations are processed in time order to compute the detection sky
coordinates and obtain the preliminary source candidates for each individual detection. Covered in
Section 2.4.9.1 and Section 2.4.9.4.
Sky Partitioner
This second step is in charge of grouping the results from the previous step according to the source
candidates provided for each individual detection. The objective is to determine isolated groups
of detections, all located in a rather small and confined sky region which are related to each other
according to the source candidates. Therefore, this step does not perform any scientific processing
but provides an e
fficient spatial data arrangement by solving any region boundary issues and high
proper motion scenarios. Therefore, this stage acts as a bridge between the time-based and the final
spatial-based processing. See Section 2.4.9.5.
121

---

Figure 2.16: Overview of the several reference systems used in pre-processing. From barycentric coordinates
to the system used for the acquisition parameters of the observations within each CCD of the focal plane. The
transformations on the left are of a general, large scale nature, while the ones on the right involve the detailed
properties of the Gaia mirrors and focal plane.
Match Resolver
Final step where the crossmatch is resolved and the final data products are produced. This step is
ultimately a spatial-based processing where all detections from a given isolated sky region are treated
together, thus taking into account all observations of the sources within that regiod Rel n from the
di
fferent scans. See Section 2.4.9.6.
In the following subsections we describe the main processing steps and algorithms involved in the crossmatching,
focusing on the cyclic (final) case.
2.4.9.1
Sky Coordinates determination
The images detected on board, in the real-time analysis of the sky mapper data, are propagated to their expected
transit positions in the first strip of astrometric CCDs, AF1, i.e. their transit time and AC column are extrapolated
and expressed as a reference acquisition pixel. This pixel is the key to all further on-board operations and to the
identification of the transit. For consistency, the crossmatch does not use any image analysis other than the on-
board detection, and is therefore based on the reference pixel of each detection, even if the actual image in AF1
may be slightly o
ffset from it. This decision was made because, in general, we do not have the same high-resolution
SM and AF1 images on ground as the ones used on board.
The first step of the crossmatch is the determination of the sky coordinates of the Gaia detections, but only for
those considered genuine. As mentioned, the sky coordinates are computed using the reference acquisition pixel
in AF1. The precision is therefore limited by the pixel resolution as well as by the precision of the on-board image
parameter determination. The conversion from the observed positions on the focal plane to celestial coordinates,
e.g. right ascension and declination, involves several steps and reference systems as shown in Figure 2.16.
122

---