Cloud Customer Architecture for Big Data and Analytics Version 0

Figure 1: Big Data & Analytics Solutions in the Cloud
This big data and analytics architecture in a cloud environment has many similarities to a data lake 
deployment in a data center. Data is collected from structured and non-structured data sources. It is 
staged and transformed by data integration and stream computing engines and stored in different data 
repositories. The data is transformed, augmented with analytical insight, correlated and summarized as 
it is copied and moved through this processing chain and selected data is made available to consumers 
through APIs. Cognitive technologies such as machine learning, deep learning and natural language 
processing can be leveraged to semi-automate data ingestion, data integration, analytics discovery and 
exploration, and actionable analytics. 
Information governance, security and system management encompass each processing phase to ensure 
regulation and policies for all data are defined, enabled and reinforced across the system. Compliance is 
tracked to ensure controls are delivering expected results. Cloud Security covers all elements including 
generated data and analytics, as well as the underlying security of the cloud platform. 
The users of the analytics solution are broadly classified in two ways: enterprise and third party, or cloud 
users. Enterprise users access resources on premises or via a secure Virtual Private Network (VPN). Data 
is available directly and through applications that provide reports and analytics. Transformation and 

---

Copyright © 2017 Cloud Standards Customer Council 
Page 5 
connectivity gateways prepare information for use by enterprise applications as well as use on different 
devices, including mobile, web browsers and desktop systems. Third party users gain access to the 
provider cloud or the enterprise network via edge services that secure access to users with proper 
credentials. Access to specific data sets and analytics are then typically further restricted as dictated by 
corporate policy and controlled by the appropriate data owners. 
The above architectural approach supports the entire lifecycle of analytics, enabling the deployment of 
production analytics, as well as a data lake type of architecture that serves as a DevOps environment for 
data, collaboration and analytics. This is achieved by the addition of common metadata and semantic 
definitions to the descriptions of enterprise data repositories that are stored in a catalog. These catalog 
entries are augmented with governance classifications, rules and policies that are used by the processing 
engines in the data lake to automate the management of the data as it flows in, out and through the 
data lake. Additional data repositories provide sandboxes of selected data for analytical models and 
places for users to store their own data. Together these data repositories provide the data for the 
development of new analytics models or enhancements of existing models.