数据工程——处理、分析与服务

内容简介

本书以“数据—知识—服务”为主线，以数据处理、分析和服务的代表性方法与技术为重点。数据处理篇介绍结构化、非结构化和半结构化数据的存储、查询和最佳化方法；数据分析篇介绍数据挖掘、知识发现和数据仓库的经典算法；数据服务篇介绍Web服务和数据密集型计算技术。本书既考虑了数据工程技术在基础、经典和前沿三方面内容的系统性，也考虑了数据工程学科在数据、知识和服务三方面内容的完整性，介绍每部分内容的代表性技术；在每个知识点的阐述中，注重思路和技术框架的介绍、技术内涵和理念的传递，旨在为读者进一步学习和研究与数据相关的学科的方法和技术提供一些参考。
本书内容的学习，需要读者具有电脑程式设计和关係资料库查询处理的基础知识，以及使用资料库管理系统的基本能力，可作为资料库相关学科研究和开发人员的参考书，也可作为计算机科学与技术学科各专业研究生、高年级本科生相关课程的教材。

前言

随着数据规模的不断增大、数据採集手段的日益多样化，数据管理技术迅速发展，从传统的关係型数据到文本数据、半结构化数据和Web数据，从传统的关係资料库管理到面向大数据的分散式档案系统和数据中心，从经典的查询处理和最佳化到数据分析和知识发现，从数据集成到套用集成和服务计算，从集中式架构到分散式并行模型和数据密集型计算等。
人们从不同的角度来描述资料库这一概念，有不同的定义。例如，资料库是若干记录的集合；为解决特定的任务，以一定的组织方式存储在一起的相关的数据的集合等。然而，随着数据管理技术的发展，人们对资料库的认识和理解也不断深入。从学科领域的角度看，资料库学科探讨工程化和套用驱动背景下的数据管理理论、方法和支撑技术，是包括建模、管理和分析等方面的方法理念和支撑技术的平台和载体。因此，资料库逐渐向数据科学这一新兴学科演化发展，其研究逐渐从数据处理这一基础领域扩展到了数据分析和数据服务。
数据工程，是指面向不同计算平台和套用环境，使用信息系统设计、开发和评价的工程化技术和方法。以工程化作为基本出发点的数据处理、分析和套用方法与技术，是计算机科学与技术学科的重要内容、核心与趋势，具有广泛的套用和良好的前景。目前，数据工程已成为计算机相关学科中研究、开发和教学的基本理念和必不可少的内容。随着数据在不同套用中地位的逐渐提升、数据格式的日益多样化，数据工程领域的前沿层出不穷、内涵日益丰富、热点不断演变，“数据(Data)—知识(Knowledge)—服务(Service)”是目前数据科学与工程领域研究和套用的趋势和主线，基于数据的网路信息服务已成为目前信息技术的核心和未来发展的方向；大数据是目前国内外各个领域所关注的焦点，数据工程是其中的重点问题。因此，从工程化的角度理解数据科学，数据工程既包括数据处理技术，也包括数据分析技术和数据服务技术；既包括查询处理和最佳化、事务和工作流管理和资料库架构等基础内容，也包括数据挖掘与知识发现、时空数据、元数据和社会数据分析等经典问题，另外还包括机率数据、云计算和大数据管理等前沿课题。
一方面，技术发展迅速、涉及面较广，使得数据处理、数据分析和数据服务的学习通常可能既涉及数据存储和查询的传统技术，又涉及数据挖掘和知识发现的经典技术，以及面向网路信息服务的新技术。另一方面，不同层次的读者，对数据工程相关知识的需求也有很大差异。数据工程本身的特点决定了它并不存在通用的学习模式、面面俱到的文献和一成不变的学习方法；技术内涵和方法理念，是希望通过学习获得的最有价值的内容。因此，综合考虑数据工程技术内容和学科领域内涵的完整性和系统性，本书以“数据—知识—服务”为主线，以数据处理、分析和服务的代表性方法与技术为重点，包括关係资料库的设计与查询最佳化，信息检索与Web搜寻引擎、XML数据管理、数据挖掘与数据仓库、Web服务、数据密集型计算等；在每个知识点的阐述中，注重思路和技术框架的介绍，并不陷入技术的细节。通过本书内容的学习，使读者对数据处理、数据分析和数据服务的工程化方法，有较为系统和完整的理解。以这些内容作为数据工程技术的代表，旨在传递概念、方法和技术内涵与理念，为读者进一步学习和研究面向数据科学的方法和技术提供一些参考。
本书由数据处理篇、数据分析篇和数据服务篇三部分构成。
数据处理篇的主要内容包括第1~3章。第1章介绍关係资料库查询最佳化的常用技术，主要包括资料库设计与连线操作，基于索引、关係模式反规範化、物化视图和查询重写的最佳化策略。第2章介绍信息检索，主要包括信息检索模型、文本信息检索、Web搜寻引擎关键技术以及信息检索评价。第3章介绍XML数据管理，主要包括XML语法、数据模型、解析、存储、索引和查询处理技术以及XML资料库性能评测。
数据分析篇的主要内容包括第4、5章。第4章介绍数据挖掘，主要包括数据挖掘和知识发现的概念，数据清理、数据分类与聚类分析技术以及数据挖掘算法评价。第5章介绍数据仓库，主要包括数据仓库的概念、架构和主要数据分析操作。
数据服务篇主要包括第6、7章。第6章介绍Web服务的基本概念、架构、标準协定以及Web服务质量、Web服务发现与组合和Web服务安全的支撑技术。第7章介绍数据密集型计算，包括数据密集型计算的基本概念、数据密集型计算的支撑技术、支持海量数据管理的计算平台、海量数据处理和海量数据分析技术。
在成书过程中得到国家自然科学基金项目、教育部博士点基金专项课题、云南省中青年学术与技术带头人后备人才培养计画、云南大学计算机科学与技术国家级特色专业建设项目、云南大学研究生精品课程建设项目的资助。在本书编着过程中，华东师範大学周傲英教授、云南大学刘惟一教授和张学杰教授，对本书的内容、选材和出版提出了许多中肯的意见，并给予了大力的支持。此外，云南大学信息学院和研究生院以及云南大学数据与知识工程课题组的研究生，给予了很多有益的帮助，在此一併表示衷心的感谢。由于作者水平有限，对方法和技术的理解及观点可能不够全面，难免有错误和疏漏之处，恳请各位专家和读者批评指正。

数据工程——处理、分析与服务

数据工程——处理、分析与服务

基本介绍

内容简介

前言

目录