Gaia Data Release 1 Documentation release 0

Additionally, all IDU tasks integrate a validation and monitoring framework providing several tools for the gener-
ation of statistical plots of di
fferent kinds. This framework provides:
Bar Histograms
Histograms for the characterisation of the frequency of parameters with limited number of values.
For example the processing outcome of the image parameter processing, counts of observations per
row, etc.
1D Histograms
Histograms for the computation of the frequency of non discrete parameters; including the compu-
tation of statistical parameters as mean, variance and percentiles.
2D Histograms
Histograms showing the distribution of values in a data set across the range of two parameters.
They support static dimensions or abscissae dynamic allocation. The first type is mainly used for
the analysis of 2D dependencies or 2D density distributions of two given parameters — usually the
abscissae parameter is the magnitude whereas the second type is used for analysis of the evolution of
a given parameter as a function of a non restricted increasing parameter — typically the observation
time. The bins can be normalised globally or locally for each abscissae bin. Percentiles as well as
contours are also supported.
Sky Maps
Plots generated from a histogram based in the HEALPix G´orski et al. (2005) tessellation and im-
plementing the Hammer-Aito
ff equal-area projection. The plots can represent the pixel count, pixel
density or the pixel mean value for a given measured parameter. Mainly used to obtain the sky
distribution of some particular object (sources, observations, etc.) or to analyse the alpha and delta
dependency of some parameter mean value, i.e. the astrophysical background, proper motion, etc.
Sky Region Maps
Tool for plotting sources and detections in small ICRS-based sky regions. Mainly used for the
analysis of the crossmatch and detection classification results.
Focal Plane Region Maps
For the representation of the observations according to their along and across focal plane coordinates.
Mainly used for the analysis of the scene and detection classification results.
Round-Robin Database (RRD)
Round-Robin Databases are typically used to handle and plot time-series data like network band-
width, temperatures, CPU load, etc. but they can also be use to handle other measurements such as
the quaternion evolution, observation density, match distance evolution, etc.
Range Validators
Implement very basic field range validation against the expected nominal parameter values.
TableStats
Collector of statistics for miscellaneous table fields. Basically provides counters for the discrete
values of predefined fields or for boolean flags
/fields.
All Histograms and the Sky Maps, share a common framework allowing the split of the collected statistical data
according to the FoV, CCD row, CCD strip, window class, source type, etc. This functionality is very useful
for restricting the origin of any feature visible in the global plots — in that sense the user can see if some plot
peculiarity or feature are present only in one of the FoV, rows or for a given source type and detect possible
problems in the calibrations.
143

---

All these tools are also integrated in daily pipeline and they are used for its monitoring on a daily basis. A handful
of examples of the plots obtained using these tools have been included in Section 2.5.2.1, Section 2.4.9.2 and
Section 2.4.9.4.
All these tools ease the monitoring of the cyclic scientific results but unfortunately they are not enough to guarantee
the quality of the outputs. Specific diagnostics are needed to also assure the progressive improvement with respect
to the results obtained in previous iterations. Some examples of these diagnostics are:
• For all tasks in general:
– Range validation against expected nominal parameters.
• For the crossmatch and detection classification tasks:
– Monitoring of the amount of new sources created compared with previous executions.
– Monitoring of the time evolution of the along and across distance to the primary matched
source obtained in the crossmatch.
– Check the evolution of matches to a predefined set of reference sources, to check if the overall
transits have been assigned di
fferently now, as compared to the previous cycle.
– Monitoring of the evolution of the number of spurious detection density for very bright sources.
• For the image parameters:
– Monitoring on the goodness-of-fit of the LSF
/PSF fitting obtained.
– Comparison of the derived image parameters against the astrometric solution over a pre-selection
of well-behaved sources.
– Cross-check of the residuals from the previous statistic against the chromatic calibration resid-
uals from the astrometric solution.
Additionally, it is worth pointing out that the computational performance and the correct progress of the processing
is also monitored. IDU integrates di
fferent tasks, presenting different I/O and computational requirements. A good
balancing of the task jobs is essential to exploit the computational resources and to be able to meet the wall clock
constraints of the data reduction schedule. This balancing is only feasible when we have a good knowledge of the
processing performance profile of each task in terms of CPU time, memory and I
/O load.
These performance metrics are a built-in feature of IDU framework. Each task provide measurements for:
• Number of elements processed: sources, observations, time intervals, etc.
• Total time elapsed for data loading, data writing and for each data processing algorithm.
• File system timing on file access, copy and deletion.
• Total CPU and I
/O time accounted for each processing thread.
With all this information several diagnostics are generated to obtain the scalability of each task to di
fferent pa-
rameters. These diagnostics provide very valuable information on how the tasks scale when the data inputs are
increased; i.e. linearly or exponentially. These plots are obtained by executing each task in isolation with di
fferent
configurations, mainly covering larger time intervals or sky regions.
144

---