Gaia Data Release 1 Documentation release 0

Table 7.2: MDB Integrator Input Records.
MDB Table
No. of records input
Size of input data (bytes)
Integrated CompleteSource
1,222,598,530
128,371,713,914
IDU Match
23,753,436,962
285,092,430,102
IDU NewSource
2,062,191,820
68,436,583,022
IDU Track
2,062,191,820
7,576,832,810
AGIS Source
2,578,806,414
646,918,489,170
PhotPipe CalPhotSource
1,368,438,497
115,684,489,620
PhotPipe CalSpecSource
1,736,618,434
3,958,676,941,868
CU7 SourceResult
TBD
TBD
generated in the previous cycle.
The two previous changes from the nominal operations plan are intended to reduce the number of new sources
generated from spurious detections.
256

---

7.3
Processing steps
7.3.1
MDB Integrator
Author(s): Alex Hutton
The operation of the MDB Integrator is relatively simple for data reduction cycle 01 and its main task is to combine
the data listed in table 7.1.
The steps in the MDB Integrator can be summarised as follows:
1. The MDB Integrator begins by taking the CompleteSource table produced from the IGSL catalogue.
2. The source list provided by IDU, represented by the unique list of source ids in the IDU Match table,
is read, and a new CompleteSource record is created for all source ids not already present in the
CompleteSource table.
3. The IDU New Source records are read, and any available astrometric and photometric information
is attached to the newly added CompleteSource records for these sources.
4. The information supplied by AGIS is used to update the astrometric information in the Complete-
Source table for all sources for which AGIS provides an update. If AGIS provides a 2-parameter
solution for a source, then the position of the source is updated in the CompleteSource table. If
AGIS provides a 5-parameter solution then the position, parallax and proper motion values are up-
dated. When an update is provided by AGIS, this replaces the existing information (from the IGSL
or the IDU NewSource record).
5. The information supplied by PhotPipe is used to update the photometric information in the Com-
pleteSource table for all sources for which PhotPipe provides an update. When an update is provided
by PhotPipe, this replaces the existing information (from the IGSL or the IDU NewSource record).
6. The information supplied by CU7 variability processing is attached to the sources in the Complete-
Source for which data is supplied.
7. The Integrator writes out the updated CompleteSource table, together with the Track records sup-
plied by IDU.
The operation of the MDB Integrator is expected to become more complicated in future processing cycles when
di
fferent cyclic processes evaluate different values for the properties of a same source.
7.3.2
Ingestion in GACS
Author(s): Enrique Utrilla
CompleteSource is a convenient format for the automated processing of information received from several di
ffer-
ent DPCs, but also a complex data structure. For this reason, the first step of the ingestion into the Gaia Archive
257

---

database is to convert the CompleteSources consolidated by MDB Integrator into a simpler and flatter data struc-
ture, gaia source, which is more suitable for publication in a table format.
The conversion of CompleteSource into gaia source performs the following operations:
• Mapping of names in internal DPAC conventions to easier to understand names.
• Conversion of units, e.g. from radians to milliarcseconds when appropriate
• Generation of a random index that can be used to generate randomly distributed, repeatable subsets
of the catalogue.
• Conversion of right ascension and declination from ICRS to ecliptic and galactic coordinates.
• Calculation of covariances between astrometric variables from the coe
fficients of the normal matrix.
• Calculation of the magnitude from the value of the flux.
In a similar fashion other data items, such as CU7 variability data, are converted to a format suitable for publication.
The converted data is ingested into the GACS database, including fields that are only used during the validation
process. When this validation is concluded, those fields are removed to publish only data items with the expected
level of quality.
258

---

7.3.3
Crossmatch with external catalogues
Author(s): Paola M. Marrese and Silvia Marinoni
7.3.3.1
Introduction
The Gaia DR1 includes a precomputed crossmatch with large optical
/near infrared photometric surveys. The
external catalogues are here shortly described, with a particular attention on the characteristics which are important
for the crossmatch. A subset of the matched external catalogues were also used by Gaia CU9 Validation and were
of help in validating Gaia results.
The version of the external catalogues included in the Gaia DR1 are the ones which were used during crossmatch
and validation activities: they reflect the objective they were created for, which implies that they are di
fferent from
the original external catalogues in several ways. First of all they are not complete versions of the corresponding
original catalogues, on the contrary they include only a subset of the available fields. In addition, we often modified
original fields names, null values treatment and units. We sometimes added new fields needed by crossmatch and
finally we tried to homogenize the catalogues as far as possible. Modifications were in general applied to simplify
and facilitate the use of the catalogue for crossmatch purposes. In some cases the external catalogues described
here were obtained from a larger set of data (SDSS dr9 was obtained from photoObj fits data).
7.3.3.2
The external catalogues matched with Gaia
The following is the list of External Catalogues crossmatched with Gaia DR1 catalogue:
• 2MASS PSC
• UCAC4
• GSC2.3
• SDSS DR9
• allWISE
• PPMXL
• URAT-1
2MASS PSC
Reference paper: Skrutskie et al. (2006)
Documentation: http://www.ipac.caltech.edu/2mass/releases/allsky/doc/explsup.html
Original catalogue: ftp://ftp.ipac.caltech.edu/pub/2mass/allsky
The 2MASS All-Sky Data Release contains Image and Catalog data covering 99.998% of the sky, derived from all
northern and southern Survey observations.
259

---