曙海教育集团
全国报名免费热线:4008699035 微信:shuhaipeixun
或15921673576(微信同号) QQ:1299983702
首页 课程表 在线聊 报名 讲师 品牌 QQ聊 活动 就业
 
 
     班级规模及环境--热线:4008699035 手机:15921673576( 微信同号)
         坚持小班授课,为保证培训效果,增加互动环节,每期人数限3到5人。
     上课时间和地点
  上课地点:【上海】:同济大学(沪西)/新城金郡商务楼(11号线白银路站) 【深圳分部】:电影大厦(地铁一号线大剧院站)/深圳大学成教院 【北京分部】:北京中山学院/福鑫大楼 【南京分部】:金港大厦(和燕路) 【武汉分部】:佳源大厦(高新二路) 【成都分部】:领馆区1号(中和大道) 【沈阳分部】:沈阳理工大学/六宅臻品 【郑州分部】:郑州大学/锦华大厦 【石家庄分部】:河北科技大学/瑞景大厦 【广州分部】:广粮大厦 【西安分部】:协同大厦
最近开课时间(周末班/连续班/晚班):即将开课,详情请咨询客服!
     实验设备
       ☆资深工程师授课
        
        ☆注重质量 ☆边讲边练

        ☆合格学员免费推荐工作
        ★实验设备请点击这儿查看★
     质量保障
 

        1、培训过程中,如有部分内容理解不透或消化不好,可免费在以后培训班中重听;
        2、课程完成后,授课老师留给学员手机和Email,保障培训效果,免费提供半年的技术支持。
        3、培训合格学员可享受免费推荐就业机会。

 
课程大纲
   
 


 

垂直搜索引擎是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸,是对网页库中的某类专门的信息进行一次整合,定向分字段抽取出需要的数据进行处理后再以某种形式返回给用户。垂直搜索是相对通用搜索引擎的信息量大、查询不准确、深度不够等提出来的新的搜索引擎服务模式,通过针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务。其特点就是“专、精、深”,且具有行业色彩,相比较通用搜索引擎的海量信息无序化,垂直搜索引擎则显得更加专注、具体和深入。

 

垂直搜索引擎原理图

 

什么是垂直搜索引擎 最有前途的软件开发技术搜索引擎技术 开源爬虫: Heritrix 1.14.4 安装/使用
 

 

1、整体思路

整个课程,按照一个从无到有的过程来展开。所有的数据,来自于互联网,用heritrix去抓取。对于抓取的数据,进行去重,去标签,然后利用lucene 和 solr 进行索引和搜索。如下图所示:

 

 

整个课程 的最大特点是内容新颖全面而又通俗易懂。对于实际搜索引擎所涉及的各种核心技术都有全面细致的介绍,除了作为搜索系统核心的网络爬虫、索引系统、排序系统、链接分析及用户分析外,还包括网页反作弊、缓存管理、网页去重技术等实际搜索引擎必须关注的技术,同时用相当大的篇幅讲解了云计算与云存储的核心技术原理及实现。

 

整个课程的另一亮点是:整个项目的构建全部采用最新技术,包括但不限于以下技术:struts 2.3.16 +spring 4.0.1 +hibernate 4.3.1+jquery-easyui 1.3.5+lucene 4.6.0+solr 4.6.0+Heritrix1.14并对其做了二次封装。为了增进学员的理解,课程大量引入形象的图片来讲解算法原理,相信读者会发现原来搜索引擎的核心技术理解起来比原先想象的要简单得多。

 

 

一、理论部分:

2.1、搭建heritrix

1.什么是网络爬虫

2.网络爬虫能做什么

3.Heritrix原理

4.Heritrix搭建

 

2.2、如何进行主题抓取

1.什么是主题抓取

2.主题抓取的意义

3.主题抓取的策略

4.如何用heritrix进行主题抓取

 

2.3、heritrix优化

1. ELFHash算法

2.关于robot.txt

3.将heritrix打包成工具

 

2.4、解析html页面

1.java正则表达式

2.基于模板获取网页内容

3.利用htmlparser解析html

 

2.5、中文分词介绍

1.Lucene自带的分词

2.ICTCLAS

3.IK

4.利用机器学习的算法识别中文文章中的领域词

 

2.6、网页去重

1.网页去重的意义

2.网页去重的主要方法

3.什么是tf*idf

4.基于指纹算法的网页去重

 

2.7、Lucene4.6快速索引与搜索

1.如何用lucene创建索引

2.如何用lucene搜索结果

3.Lucene中intfield怎么搜索

4.Lucene的结果高亮显示

 

2.8、Lucene4.6索引的相关操作

1.创建索引

2.修改索引

3.删除索引

4.索引优化

 

2.9、Lucene4.6的query、及queryparser

1.TermQuery 

2.BooleanQuery

3.TermRangeQuery

4.NumericRangeQuery

5.PrefixQuery

6.PhraseQuery

7.MultiPhraseQuery

8.FuzzyQuery

9.WildcardQuery

10.queryparser

 

2.10、Lucene的Filter及自定义排序

1.Filter

2.Lucene自带排序及指定权重

3.Lucene自定义排序

 

2.11、Solr快速索引与搜索

1.什么是solr

2.为什么工程中要使用solr

3.Solr的原理

4.如何在tomcat中运行solr

5.如何利用solr进行索引与搜索

 

2.12、Solr的查询及Filter

1.solr的各种查询

2.solr的Filter

3.solr的排序

4.solr的高亮

 

2.13、Solr的facet介绍

1.solr的某个域统计

2.solr的范围统计

 

2.14、Solrcloud集群搭建

1.zookeeper简介

2.solrcloud集群搭建

 

2.15、搜索服务的工具封装

1.工厂模式

2.封装搜索服务_lucene

3.封装搜索服务_solr

4.将lucene与solr封装成可以配置的工具,可以支持任何业务系统

 

二、项目部分:

2.16、项目实战

1.项目需求分析及框架选择

2.Struts 2.3.16介绍

3.Struts 2.3.16整合Spring 4.0.1

4.Spring 4.0.1整合hibernate 4.3.1

5.利用jquery-easyui 1.3.5 做后台管理页面

6.Heritrix 在工程中的运用

7.封装好的搜索框架在工程中的运用

8.Flexpaper模仿百度文库

9.文件上传

10.相关代码编写

11.搜索结果优化

12.项目总结

 

        Troubleshooting Java Applications
                Classpath Errors
                Class Loaders
                Common Java Errors
        Troubleshooting Servers
                Native Libraries
                Threading Architecture
                Work Managers
                Deadlocks
                Overload Protection
                Deployment Problems
        Troubleshooting JDBC
                Data Source Management
                Diagnostics
                Debug Flags
                Connectivity Problems
                Connection Leaks
                Database Availability
        Troubleshooting JMS
                Management
                MBean Hierarchy
                Message Logging
                Diagnostics
                Debug Flags
                Overload Protection
                Lost Messages
                Duplicate Messages
        Troubleshooting Security
                SSL Internals
                Keystore Management
                Debug Flags
                Common SSL Problems
                Certificate Validation
                Embedded LDAP
                Security Audit
                Common LDAP Problems
        Troubleshooting Node Manager
                Internals
                Security
                Common Issues
        Troubleshooting Clusters
                Plug-in Configuration
                OHS Overview
                Plug-in Connectivity
                Plug-in Diagnostics
                Unicast Communication
                Replication Debug Flags
                Typical Replication Issues
热线:4008699035 手机:15921673576( 微信同号)
备案号:沪ICP备08026168号 .(2014年7月11).....................
友情链接:Cadence培训 ICEPAK培训 EMC培训 电磁兼容培训 sas容培训 罗克韦尔PLC培训 欧姆龙PLC培训 PLC培训 三菱PLC培训 西门子PLC培训 dcs培训 横河dcs培训 艾默生培训 robot CAD培训 eplan培训 dcs培训 电路板设计培训 浙大dcs培训 PCB设计培训 adams培训 fluent培训系列课程 培训机构课程短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班培训 南京 NS3培训 OpenGL培训 FPGA培训 PCIE培训 MTK培训 Cortex训 Arduino培训 单片机培训 EMC培训 信号完整性培训 电源设计培训 电机控制培训 LabVIEW培训 OPENCV培训 集成电路培训 UVM验证培训 VxWorks培训 CST培训 PLC培训 Python培训 ANSYS培训 VB语言培训 HFSS培训 SAS培训 Ansys培训 短期培训系列课程培训机构 长期课程列表实践课程高级课程学校培训机构周末班 曙海 教育 企业 学院 培训课程 系列班 长期课程列表实践课程高级课程学校培训机构周末班 短期培训系列课程培训机构 曙海教育企业学院培训课程 系列班