nosql课程设计,nosql课程设计期末大作业

急！求个数据库课程的设计！！

《数据库原理及应用》课程设计

南县ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为成都创新互联的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：028-86922220（备注：SSL证书合作）期待与您的合作！

数据库原理课程设计任务书

一、目的

1. 掌握计算机管理信息系统设计的一般方法，主要包括系统分析、系统设计的组织和实施。

2. 关系型数据库管理系统的编程技术，并能独立完成一般小系统的程序设计、调试运行等工作。

3. 培养把所学知识运用到具体对象，并能求出解决方案的能力。

二、任务（任选其一）

A.运用关系型数据库管理系统，实现本院图书馆管理信息系统。具体要求如下：

—图书、资料的登记、注销和查询。

—借书证管理，包括申请、注销借书证，查询借书证持有人等。

—借还图书、资料的登记、超期处理，超期拒借等。

—图书、资料查询，借、还图书和资料情况查询。

—图书、资料借阅情况的统计分析，拒此作为图书馆图书、资料订够的依据之一。（本项不作为基本要求）

B. 运用关系型数据库管理系统，实现服务电话管理系统

向客户现场派技术人员的服务公司可以用服务电话管理系统跟踪客户、员工、工作订单、发票、付款等等。

要求：

数据库要存储以下信息：

—客户信息

—客户工需单信息

—完成工需单所需人工

—完成工需单所需部件

—部件信息

—付款信息

—雇员信息

完成的功能：

—输入/查看 客户工需单信息

—输入/查看部件、雇员等其它信息

—付款

—打印发票等

三、结果形式

1． 设计报告：含E-R图、数据字典、关系模式、关系实例、查询描述、关系代数、SQL实现的查询语言及查询结果。

2． 上机实现。

四、考核

1． 课程设计态度（20分）。

2． 递交的书面材料（40分）。

3． 上机运行情况（40分）

目录

1.问题描述 2

1.1背景 2

1.2数据需求 2

1.3事物需求 3

1.4关系模式 3

2.方案图表设计 3

2.1 E-R图 3

2.2数据流程图 8

2.3数据字典 9

2.4关系图： 11

3.数据库源代码 12

3.1数据库建立 12

3.2数据初始化 14

4.结果数据处理 17

4.1单表查询 17

4.2超期处理 19

4.3还书操作 20

4.4借书操作 22

4.5书籍状态 24

4.6读者状态 24

5.结束语 26

5.1课程设计心得 26

1.问题描述

1.1背景

随着图书馆规模的不断扩大，图书数量也相应的增加，有关图书的各种信息量也成倍增加，面对着庞大的信息量，传统的人工方式管理会导致图书馆管理上的混乱，人力与物力过多浪费，图书馆管理费用的增加，从而使图书馆的负担过重，影响整个图书馆的运作和控制管理，因此，必须制定一套合理、有效，规范和实用的图书管理系统，对图书资料进行集中统一的管理。

另一方面，IT产业和Internet获得了飞速发展，计算机应用已渗透到了各个领域，引起信息管理的革命，实现了信息的自动化处理，提高了处理的及时性和正确性。

提高图书管理工作效率，作到信息的规范管理，科学统计和快速查询，让图书馆更好的为学校，社会服务。

1.2数据需求

图书馆管理信息系统需要完成功能主要有：

1. 读者基本信息的输入，包括借书证编号、读者姓名、读者性别。

2．读者基本信息的查询、修改，包括读者借书证编号、读者姓名、读者性别等。

3．书籍类别标准的制定、类别信息的输入，包括类别编号、类别名称。

4．书籍类别信息的查询、修改，包括类别编号、类别名称。

5．书籍库存信息的输入，包括书籍编号、书籍名称、书籍类别、作者姓名、出版社名称、出版日期、登记日期。

6．书籍库存信息的查询，修改，包括书籍编号、书籍名称、书籍类别、作者姓名、出版社名称、出版日期登记日期等。

7．借书信息的输入，包括读者借书证编号、书籍编号、借书日期。

8．借书信息的查询、修改，包括借书证编号、读者编号、读者姓名、书籍编号、书籍名称、借书日期等。

9．还书信息的输入，包括借书证编号、书籍编号、还书日期。

10．还书信息的查询和修改，包括还书读者借书证编号、读者姓名、书籍编号、书籍名称、借书日期、还书日期等。

11．超期还书罚款输入，还书超出期限包括超出期限还书的读者借书证号，书籍编号，罚款金额。

12．超期还书罚款查询，删除，包括读者借书证编号、读者姓名、书籍编号、书籍名称，罚款金额等

1.3事物需求

(1)在读者信息管理部分,要求:

a.可以查询读者信息。

b.可以对读者信息进行添加及删除的操作。

(2 )在书籍信息管理部分,要求:

a.可以浏览书籍信息,要求:

b.可以对书籍信息进行维护,包括添加及删除的操作。

(3)在借阅信息管理部分,要求:。

a.可以浏览借阅信息。

b.可以对借阅信息进行维护操作。

(4)在归还信息管理部分，要求:

a.可以浏览归还信息

b.对归还信息可修改维护操作

(5)在管理者信息管理部分,要求:

a.显示当前数据库中管理者情况。

b.对管理者信息维护操作。

(6)在罚款信息管理部分,要求:

a.可以浏览罚款信息

b.对罚款信息可以更新

1.4关系模式

(一) 书籍类别（种类编号，种类名称）

(二) 读者（借书证编号，读者姓名，读者性别，读者种类，登记时期）

(三) 书籍（书籍编号，书籍名称，书籍类别，书记作者，出版社名称，出版日期，登记日期）

(四) 借阅（借书证编号，书籍编号，读者借书时间）

(五) 还书（借书证编号，书籍编号，读者还书时间）

(六) 罚款（借书证编号，读者姓名，借书证编号，书籍编号，读者借书时间）

以上通过关系代数方法的进行运算得到所需要的结果，在实验结果中可以看到。

2.方案图表设计

2.1 E-R图

根据1）所要实现的功能设计，可能建立它们之间的关系，进而实现逻辑结构功能。

图书管理信息系统可以划分的实体有：书籍类别信息实体、读者信息实体、书籍信息实体、借阅记录信息实体，归还记录信息实体。用E-R图一一描述这些实体。

2.1.1类别实体E-R图：

图2-1类别实体E-R图

2.1.2读者信息实体E-R图：

图2-2 读者信息实体E-R图

2.1.3信息实体E-R图：

图2-3信息实体E-R图

2.1.4.记录信息实体E-R图：

图2-4 记录信息实体E-R图

2.1.5记录信息实体E-R图：

图2-5记录信息实体E-R图

2.1.6罚款信息实体E-R图：

图2-6罚款信息实体E-R图

2.1.6总的信息实体E-R图：

图2-7总的信息实体E-R图

2.2数据流程图

D5

归还信息录入 基本信息录入

D2

D1

基本信息录入 基本信息录入

D3

D4

借阅信息录入

读者信息返回 书籍信息返回

图2-7系统的数据流程图

2.3数据字典

表2-1 book_sytle 书籍类别信息表

表中列名 数据类型 可否为空 说明

bookstyleno varchar not null(主键) 种类编号

bookstyle Varchar not null 种类名称

表2-2 system_readers读者信息表格

表中列名 数据类型 可否为空 说明

readerid varchar not null(主键) 读者借书证号

readername varchar not null 读者姓名

readersex varchar not null 读者性别

readertype varchar null 读者种类

regdate datetime null 登记日期

表2-3 system_book书籍信息表

表中列名 数据类型 可否为空 说明

bookid Varchar Not null(主键) 书籍编号

bookname Varchar Not null 书籍名称

bookstyle Varchar Not null 书籍类别

bookauthor Varchar Not null 书籍作者

bookpub Varchar Null 出版社名称

bookpubdate Datetime Null 出版日期

bookindate Datetime Null 登记日期

isborrowed Varchar Not Null 是否被借出

表2-4 borrow_record 借阅记录信息表

表中列名 数据类型 可否为空 说明

readerid Varchar Not null(外主键) 读者借阅证编号

bookid Varchar Not null(外主键) 书籍编号

borrowdate Varchar Not null 读者借书时间

表2-5 return_record 借阅记录信息表

表中列名 数据类型 可否为空 说明

readername Varchar Not null(外主键) 读者借阅证编号

readerid Varchar Not null(外主键) 书籍编号

returndate datetime Not null 读者还书时间

表2-6 reader_fee 罚款记录信息表

readerid varchar Not null 读者借书证编号

readername varchar Not null 读者姓名

bookid varchar Not null(外主键) 书籍编号

bookname varchar Not null 书籍名称

bookfee varchar Not Null 罚款金额

borrowdate datetime Not Null 借阅时间

2.4关系图：

图2-8数据库存表关系图

3.数据库源代码

3.1数据库建立

3.1.1创建数据库

USE master

GO

CREATE DATABASE librarysystem

ON

( NAME = librarysystem,

FILENAME = 'd:\librarysystem.mdf',

SIZE = 10,

MAXSIZE = 50,

FILEGROWTH = 5 )

LOG ON

( NAME = 'library',

FILENAME = 'd:\librarysystem.ldf',

SIZE = 5MB,

MAXSIZE = 25MB,

FILEGROWTH = 5MB )

GO

3.1.2书本类别表建立

create table book_style

(

bookstyleno varchar(30) primary key,

bookstyle varchar(30)

)

3.1.3创建书库表

create table system_books

(

bookid varchar(20) primary key,

bookname varchar(30) Not null,

bookstyleno varchar(30) Not null,

bookauthor varchar(30),

bookpub varchar(30) ,

bookpubdate datetime,

bookindate datetime ,

isborrowed varchar (2) ,

foreign key (bookstyleno) references book_style (bookstyleno),

)

3.1.4借书证表建立

create table system_readers

( readerid varchar(9)primary key,

readername varchar(9)not null ,

readersex varchar(2) not null,

readertype varchar(10),

regdate datetime

)

3.1.5借书记录表建立

create table borrow_record

( bookid varchar(20) primary key,

readerid varchar(9),

borrowdate datetime,

foreign key (bookid) references system_books(bookid),

foreign key (readerid) references system_readers(readerid),

)

3.1.6还书记录表建立

create table return_record

( bookid varchar(20) primary key,

readerid varchar(9),

returndate datetime,

foreign key (bookid) references system_books(bookid),

foreign key (readerid) references system_readers(readerid)

)

3.1.7罚款单表建立*/

create table reader_fee

( readerid varchar(9)not null,

readername varchar(9)not null ,

bookid varchar(20) primary key,

bookname varchar(30) Not null,

bookfee varchar(30) ,

borrowdate datetime,

foreign key (bookid) references system_books(bookid),

foreign key (readerid) references system_readers(readerid)

)

3.2数据初始化

3.2.1将书籍类别加入表book_style中

insert into book_style(bookstyleno,bookstyle)values('1','人文艺术类')

insert into book_style(bookstyleno,bookstyle)values('2','自然科学类')

insert into book_style(bookstyleno,bookstyle)values('3','社会科学类')

insert into book_style(bookstyleno,bookstyle)values('4','图片艺术类')

insert into book_style(bookstyleno,bookstyle)values('5','政治经济类')

insert into book_style(bookstyleno,bookstyle)values('6','工程技术类')

insert into book_style(bookstyleno,bookstyle)values('7','语言技能类')

3.2.2将已有的图书加入system_books表中(定义相同的作者出版社的书本编号不一样)

insert

into system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub,bookpubdate, bookindate, isborrowed )

values('00125415152','计算机组成原理','6','王爱英','清华大学出版社','2001-01-03','2003-11-15','1');

insert

into system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub,bookpubdate, bookindate, isborrowed )

values('00125415153','计算机组成原理','6','王爱英','清华大学出版社','2001-01-03','2003-11-15','1');

insert

into system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub, bookpubdate,bookindate, isborrowed )

values('00456456','数据库原理','6','萨师煊','高等教育出版社','2007-07-02','2007-09-15','1');

insert

into system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub,bookpubdate, bookindate, isborrowed )

values('12215121','C程序设计','6','谭浩强','清华大学出版社','2002-04-02','2004-03-14','1');

insert

into system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub, bookpubdate,bookindate, isborrowed )

values('9787308020558','计算机体系结构','6','石教英','浙江大学出版社','2004-10-03','2006-11-15','1');

insert

into system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub, bookpubdate,bookindate, isborrowed )

values('45456141414','数据结构（C语言版）','6','吴伟民，严蔚敏','清华大学出版社','2002-06-28','2004-01-21','1');

insert

into system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub, bookpubdate,bookindate, isborrowed )

values('5455515','中华历史5000年','1','吴强','北京大学出版社','2005-04-03','2006-05-15','1');

insert

into system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub, bookpubdate,bookindate, isborrowed )

values('015115','古代埃及','3','赵文华','北京大学出版社','2001-02-02','2002-09-15','1');

insert

into system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub, bookpubdate,bookindate, isborrowed )

values('1514514','日本文化','1','吴小鹏','北京大学出版社','2002-04-02','2004-03-14','1');

insert

into system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub, bookpubdate,bookindate, isborrowed )

values('15154656','微观经济学','5','李小刚','北京大学出版社','2000-10-03','2001-11-15','1');

insert

into system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub, bookpubdate,bookindate, isborrowed )

values('5658','影视文学','4','苏庆东','北京大学出版社','1999-02-28','2000-01-21','1');

insert into

system_books(bookid ,bookname, bookstyleno,bookauthor,bookpub, bookpubdate,bookindate, isborrowed )

values('565800020','探索宇宙奥秘','2','苏庆东','北京大学出版社','1999-02-28','2000-01-21','1');

3.2.3将已有图书证的读者加入system_readers表中*/

insert into system_readers(readerid,readername,readersex,readertype,regdate)

values('X05620207','陈远鹏','男','学生','2005-9-23 14:23:56')

insert into system_readers(readerid,readername,readersex,readertype,regdate)

values('X05620206','陈特','男','学生','2005-09-30 13:24:54.623')

insert into system_readers(readerid,readername,readersex,readertype,regdate)

values('X05620204','赵铭静','女','学生','2005-09-27 11:24:54.123')

insert into system_readers(readerid,readername,readersex,readertype,regdate)

values('X05620202','潘虹','女','学生','2005-09-30 13:24:54.473')

insert into system_readers(readerid,readername,readersex,readertype,regdate)

values('008415','蒋伟','男','教师','2004-04-30 09:24:54.478')

insert into system_readers(readerid,readername,readersex,readertype,regdate)

values('001456','李叶风','女','教师','2004-04-30 09:24:54.478')

3.2.4添加已借书读者的记录，同时将在已借出的借阅标记置0*/

insert into borrow_record(bookid,readerid,borrowdate)

values('00125415152','X05620202','2007-09-27 11:24:54.123')

update system_books

set isborrowed=0

where bookid='00125415152'

insert into borrow_record(bookid,readerid,borrowdate)

values('00125415153','X05620206','2007-12-27 08:26:51.452')

update system_books

set isborrowed=0

where bookid='00125415153' and isborrowed='1'

insert into borrow_record(bookid,readerid,borrowdate)

values('5455515','X05620207','2007-12-27 08:26:51.452')

update system_books

set isborrowed=0

where bookid='5455515' and isborrowed='1'

insert into borrow_record(bookid,readerid,borrowdate)

values('015115','X05620204','2007-10-21 12:11:51.452')

update system_books

set isborrowed=0

where bookid='015115' and isborrowed='1'

insert into borrow_record(bookid,readerid,borrowdate)

values('15154656','001456','2007-12-28 14:11:51.312')

update system_books

set isborrowed=0

where bookid='15154656' and isborrowed='1'

insert into borrow_record(bookid,readerid,borrowdate)

values('565800020','008415','2007-08-28 15:11:31.512')

update system_books

set isborrowed=0

where bookid='565800020' and isborrowed='1'

4.结果数据处理

4.1单表查询

4.1.1表book_style中查询演示:

图4-1 表book_style中内容

4.1.2表system_books中查询演示:

图4-2 表system_books中内容

4.1.3将已有图书证的读者加入system_readers表中结果查询:

图4-3 表system_readers中内容

4.1.4借书纪录表borrow_record结果查询:

图4-4 表borrow_record中内容

4.2超期处理

4.2.1现在对已有借书证的读者进行查询借书是否超期（这里归定30天）:

说明：当前的getdate()以日期为2008年1月6日计算

图4-4 选出借出超过30天的读者

4.2.2同时也可以用语句超过天数的读者进行罚款，加入到罚款单里面，一天以0.3元扣除计算:

SQL语言:

insert into reader_fee(readerid,readername,bookid,bookname,bookfee,borrowdate)

select system_readers.readerid 读者借书证编号 ,readername 读者姓名,

system_books.bookid 书籍编号,bookname 书名,

0.3*(Datediff(day,convert(smalldatetime,borrowdate),getdate())-30) 超过时间天数,

borrowdate 借书时间

from borrow_record ,system_readers ,system_books

where system_readers.readerid=borrow_record.readerid

and system_books.bookid=borrow_record.bookid

and Datediff(day,convert(smalldatetime,borrowdate),getdate())=30

（所影响的行数为 3 行）

select readerid 书读者借书证编号,readername 读者姓名,

bookid 书籍编号,bookfee 超期罚款

from reader_fee

形成各本书对应的罚款金额，按0.3元每天算

图4-5查看罚款单

4.3还书操作

4.3.1现在对某一读者进行还书操作:

1．首先还书要在还书纪录中添加一条还书纪录

2．其次删除相应书本的借阅纪录

3．最后在书库中标记该本书为1，表示归还了未借，可供其他读者借阅

说明：学号为X05620207 姓名为陈远鹏 借阅的565800020书籍编号进行归还。

SQL语言：

insert into return_record(bookid,readerid,returndate)

select bookid,readerid,getdate()

from borrow_record

where bookid='565800020'

（所影响的行数为 1 行）

delete

from borrow_record

where bookid='565800020'

（所影响的行数为 1 行）

update system_books

set isborrowed=1

where bookid='565800020'

（所影响的行数为 1 行）

三个表的结果如图：

图4-6 增加了565800020纪录

图4-7 565800020这本书在借书纪录里没有了

图4-8 标记设为了‘1’

说明：这本书重新回到未被借出标记为1（注，相同的书其编号是不同的）

其结果为还书成功，相应的各表都有变化，对于罚款单通过借阅记录表borrow_record中更新。

4.4借书操作

4.4.1查询未被借出的书本：

图4-9

4.4.2查询已被借出的书本：

图4-10

4.4.3申请借书证：

SQL语言：

Insert into system_readers(readerid,readername,readersex,readertype,regdate)

values('X05620211','小华','男','学生',getdate())

图4-11

说明：查询相应的纪录增加了小华这样一个读者的借书证纪录：

4.4.4注销借书证：

说明：

1．在注销之前执行所有的还书过程，就是上面写到的所述SQL语句，然后执行

delete from system_readers where readerid=' X05620211',

2．小华借书证纪录就被删除了，同时要删除和小华归还纪录的内容

delete from return_record where readerid=' X05620211',

4.4.5查询所有书所对应的类别：

图4-12

4.5书籍状态

4.5.1查询所有工技术类的书:

图4-13

4.5.2查询清华大学出版社出版的书：

图4-14

4.6读者状态

4.6.1查询什么人借了什么书：

SQL语言：

select readername 读者姓名,bookname 书籍名称

from borrow_record,system_books,system_readers

where system_readers.readerid=borrow_record.readerid

and system_books.bookid=borrow_record.bookid

图4-15

4.6.2指定潘虹借了什么书：

SQL语言：

select readername 读者姓名,bookname 书籍名称

from borrow_record,system_books,system_readers

where system_readers.readerid=borrow_record.readerid

and system_books.bookid=borrow_record.bookid

and readername='潘虹'

图4-16

5.结束语

5.1课程设计心得

通过此次数据库的课程设计，真正达到了学与用的结合，增强了对数据库方面应用的理解，对自己今后参与开发数据库系统积累了不少经验，在实验过程中，从建立数据开始，对灵据库设计理念及思想上有更高的认识，从需求分析，到概念设计和逻辑设计，E-R图的表示，数据字典的创建，懂得了不少有关数据库开发过程中的知识，在实验中建表，及其关系模式，关系代数的建立及理解，将SQL语的查询语句用得淋漓尽致，增强了自己在数据库中应用SQL语言的灵活性，其中包括，插入、删除、修改、查询,牵涉表和表之间的联系，主建与外主键的定义，约束项的设置，使逻辑更严密，在学习过程中，我也能过上网查了不少资料，也看了一些别人设计的图书馆管理信息系统的设计报告，学以致用，自我创新，独立完成了这份自己的报告，从中在学到用，从用又到学，不断修改，系统更新。虽然不能达到完善系统，但也做到了尽善尽美，加强理论学习对完善系统会有很多帮助，不管怎么说，对这次做的课程设计自己觉得还算满意。

你觉得数据库这个课怎么样？

普通。就是学习数据库的操作而已。读取,编辑,删除这三种操作逻辑。只要记忆力好,把那几种命令语句背下来,基本的操作就没问题。这对今后的其他课程尤其是编程是有帮助的,因为有些软件会设计到数据库的读写操作。尤其是一些网站,肯定会连接数据库。不会数据库操作,就没办法制作动态网站。

大数据管理专业学什么

大数据管理专业学计算机科学原理，数据科学原理，数据结构原理，算法原理，程序设计原理，数据挖掘技术，数据分析方法，概率论和统计等。

一、大数据管理与应用学科基础课程:

大数据管理与应用导论、管理学、会计学、经济学、运筹学、概率论与数理统计等。另外安排有计算机基本技能训练、程序设计基础课程设计等实践课。

二、大数据管理与应用专业基础课程:

数据结构、大数据技术原理、数据库原理与应用、管理统计学数据挖掘技术、LINUX基础与应用等。

三、大数据管理与应用专业核心课程:

数据采集与管理、商业数据分析、数据可视化技术、数据安全与治理、商务智能及应用、大数据应用系统设计。

四、大数据管理与应用专业方向课程:这部分属于选修课程，并不全部学习。

有人工智能导论、信息管理与系统建模、电子商务、企业大数据管理、推荐系统导论、大数据营销与管理、网络前沿安全技术、深度学习导论、区块链技术、智能交互技术、云计算基础、多元系统分析及R语言建模、WEB前端设计、NOSQL数据库、IT项目管理等等。

五、专业实践课程:大数据技术原理与应用课程设计、数据库原理及应用课程设计、商业数据分析课程设计、数据可视化综合实践、大数据管理毕业实习及毕业设计等。

sql语言实验报告

1

select

*

from

教师表

where

系别

='cs';

2

select

姓名,2011-年龄

as

出生日期

from

学生表

3

select

*

from

学生表

where

年龄=20

and

系别='cs';

4

select

*

from

学生表

where

年龄

not

between

18

and

20;

5

select

姓名,年龄

from

教师表

where

系别

in('cs','is');

6

select

*

from

教师表

where

姓名

like

'%敏';

7

select

*

from

选课表

where

先修课

is

null;

8

select

count(*)

from

教师表

9

select

avg(成绩),max(成绩),min(成绩)

from

选课表

where

课程号=5;

10

select

count(*)

from

选课表

group

by

课程号

大数据培训学校学哪些内容

首先我们要了解Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

大数据

大数据

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

JAVA的学习路线是怎么样的

很多新手在学习java的时候都比较迷茫，不知道从哪里开始学起，这里就给大家整理了一份java开发学习路线，比较系统全面，可参考这份大纲来安排学习计划，希望可以帮到你~

2020最新java学习路线图：

学习内容：

第一阶段：java专业基础课程

阶段目标：

1、熟练掌握java的开发环境与编程核心知识；

2、熟练运用java面向对象知识进行程序开发；

3、对java的核心对象和组件有深入理解；

4、熟练运用javaAPI相关知识；

5、熟练应用java多线程技术；

6、能综合运用所学知识完成一个项目。

知识点：

1、基本数据类型，运算符，数组，掌握基本数据类型转换，运算符，流程控制；

2、数组，排序算法，java常用API，类和对象，了解类与对象，熟悉常用API；

3、面向对象特征，集合框架，熟悉面向对象三大特征，熟练使用集合框架；

4、IO流，多线程；

5、网络协议，线程运用。

第二阶段：javaWEB核心课程

阶段目标：

1、熟练掌握数据库和MySQL核心技术；

2、深入理解JDBC与DAO数据库操作；

3、熟练运用JSP及Servlet技术完成网站后台开发；

4、深入理解缓存、连继池、注解、反射、泛型等知识；

5、能够运用所学知识完成自定义框架。

知识点：

1、数据库知识，范式，MySQL配置，命令，建库建表，数据的增删改查，约束，视图，存储过程，函数，触发器，事务，游标，建模工具。

2、深入理解数据库管理系统通用知识及MySQL数据库的使用与管理。为Java后台开发打下坚实基础。Web页面元素，布局，CSS样式，盒模型，JavaScript，jQuery。

3、掌握前端开发技术，掌握jQuery。

4、Servlet，EL表达式，会话跟踪技术，过滤器，FreeMarker。

5、掌握Servlet相关技术，利用Servlet，JSP相关应用技术和DAO完成B/S架构下的应用开发。

6、泛型，反射，注解。

7、掌握JAVA高级应用，利用泛型，注解，枚举完成自己的CRUD框架开发为后续框架学习做铺垫。

8、单点登录，支付功能，项目整合，分页封装熟练运用JSP及Servlet核心知识完成项目实战。

第三阶段：JavaEE框架课程

阶段目标：

1. 熟练运用Linux操作系统常见命令及完成环境部署和Nginx服务器的配置

2. 熟练运用JavaEE三大核心框架：Spring,SpringMVC,MyBatis

3. 熟练运用Maven,并使用SpringBoot进行快速框架搭建

4. 深入理解框架的实现原理，Java底层技术，企业级应用等

5. 使用Shiro,Ztree和Spring,SpringMVC,Mybaits完成企业项目

知识点：

1、Linux安装配置，文件目录操作，VI命令，管理，用户与权限，环境部署，Struts2概述，hiberante概述。

2、Linux作为一个主流的服务器操作系统，是每一个开发工程师必须掌握的重点技术，并且能够熟练运用。

3、SSH的整合,MyBatis,SpringMVC,Maven的使用。

4、了解AOP原理，了解中央控制器原理，掌握MyBatis框架，掌握SSM框架的整合。

5、Shiro,Ztree，项目文档，项目规范，需求分析，原型图设计，数据库设计，工程构建，需求评审，配置管理，BUG修复，项目管理等。

6、独立自主完成一个中小型的企业级综合项目的设计和整体架构的原型和建模。独立自主完成一个大型的企业级综合项目，并具备商业价值。

第四阶段：分布式与微服务课程

阶段目标：

1.掌握前端框架VUE及Bootstrap的应用开发

2.基于SpringCloud完成微服务架构项目的开发

3.掌握NoSQL数据库Redis的使用

4.掌握消息队列RabbitMQ的使用

5.掌握Mycat数据库中间件的使用

知识点：

1、Bootstrap前端框架、VUE前端框架、RabbitMQ消息队列。

2、掌握Bootstrap前端框架开发、掌握VUE前端框架开发、掌握RabbitMQ消息队列的应用、掌握SpringBoot集成RabbitMQ。

3、Redis缓存数据库的应用、Java基于Redis的应用开发、基于SpringCloud微服务架构开发实战。

4、掌握NOSQL数据库Redis的安装、使用，Redis客户端的安装使用，Java访问操作Redis数据库，Redis的持久化方案、主从复制、高可用。

5、掌握SpringCloud微服务架构的开发，注册中心，网关配置，配置中心，微服务间通信及容器化部署。

6、项目文档，项目规范，需求分析，数据库设计，工程构建，需求评审，配置管理，BUG修复，项目管理等。

7、掌握数据库中间件Mycat的应用，基于Mycat实现数据读写分离，高可用集群。

8、掌握项目开发的流程，按照项目开发流程完成基于微服务架构项目的需求分析，编码开发。