數字博物館—博物館網(wǎng)絡(luò )信息采集系統
斌鉞博物館網(wǎng)絡(luò )信息資源采集系統定位是一套功能強大的網(wǎng)絡(luò )信息資源開(kāi)發(fā)利用與整合系統，可用于定制跟蹤和監控互聯(lián)網(wǎng)實(shí)時(shí)信息，能夠快速及時(shí)地捕獲用戶(hù)所需的熱點(diǎn)新聞、市場(chǎng)情報、行業(yè)信息、政策法規、學(xué)術(shù)文獻等網(wǎng)絡(luò )信息內容，建立可再利用的信息服務(wù)系統。系統能夠從各種網(wǎng)絡(luò )信息源采集用戶(hù)感興趣的特定信息，經(jīng)自動(dòng)分類(lèi)處理后,以多種形式提供給最終用戶(hù)使用。
系統可以對國內外不少于50個(gè)網(wǎng)站上公開(kāi)發(fā)布的指定內容的信息進(jìn)行定向采集；實(shí)時(shí)動(dòng)態(tài)監控特定目標；將標題、全文等內容轉為結構化數據；支持部分附件全文等非結構化內容的采集，支持全文檢索。采集信息自動(dòng)建庫存儲，內容可進(jìn)行加工處理，直接存入數據庫，可與本項目中其他館內資源整合到一起進(jìn)行資源服務(wù)。
（一）系統功能要求：
（1）先進(jìn)的資源智能處理能力
系統基于語(yǔ)義分析技術(shù)，集成多種智能信息處理算法，支持采集信息的自動(dòng)分類(lèi)；支持用戶(hù)自定義分類(lèi)體系。系統擁有自學(xué)習功能，可以根據用戶(hù)反饋信息，及時(shí)地自學(xué)習完善知識體系，提高自身的智能性。
（2）強大的信息采集能力
高效的信息采集技術(shù)完成網(wǎng)絡(luò )數據獲取，能快速、全面、準確的從Internet上獲取數據，并可對采集的數據進(jìn)行結構化處理?？梢远嗑€(xiàn)程并行采集，靈活地定制采集策略。對于采集規模較大的應用，可支持采用集群式網(wǎng)絡(luò )蜘蛛抓取，從而滿(mǎn)足抓取速度上的需求。
（3）體系結構靈活
網(wǎng)絡(luò )蜘蛛群集，智能代理群集，應用服務(wù)器智能調度，各子系統可以支持隨時(shí)斷開(kāi)以及隨時(shí)連接到系統中來(lái)，不影響整個(gè)系統的運行。
（4）基于海量非結構化數據存儲和全文檢索能力
能夠與本項目購買(mǎi)的全文檢索數據庫系統協(xié)同工作，支持海量非結構化數據的存儲管理，支持全文檢索，支持智能相似檢索技術(shù)，檢索速度可達百萬(wàn)級文獻量毫秒級響應。
（5）強大的發(fā)布系統
系統支持多種發(fā)布風(fēng)格，包括：專(zhuān)題庫風(fēng)格、信息資源門(mén)戶(hù)風(fēng)格、搜索引擎風(fēng)格等。支持動(dòng)態(tài)摘要和敏感摘要，并提供標紅、網(wǎng)頁(yè)快照、相關(guān)網(wǎng)頁(yè)自動(dòng)關(guān)聯(lián)等實(shí)用功能。
（6）穩定可靠的系統性能
系統支持采用分布式的群集系統、高效的搜索算法以及靈活的體系結構，保證整個(gè)系統的高穩定性和易用性。
（7）滿(mǎn)足用戶(hù)的各種個(gè)性化檢索需求
支持用戶(hù)自定義符合特殊需求的個(gè)性化分詞詞典，只需要輸入專(zhuān)業(yè)詞匯，系統便會(huì )按照用戶(hù)的定制精確檢索，大幅提高檢索效率和查全查準率，充分滿(mǎn)足用戶(hù)的各種個(gè)性化檢索需求。
（8）支持主流的中文編碼標準
包括GBK(漢字內碼擴展規范)、GB2312(簡(jiǎn)體)、BIG5(繁體)、Unicode，并且能夠在不同的編碼之間轉換。
（9）支持與博物館其他系統進(jìn)行深度整合
系統采集信息支持與博物館信息資源建設與管理系統建設的信息進(jìn)行整合服務(wù)，與信息資源建設與管理系統采用相同架構的全文數據庫管理系統進(jìn)行數據管理。
（二）系統性能要求：
l信息采集器：采集快，實(shí)時(shí)響應。
l信息采集器監控：實(shí)時(shí)響應。
l采集信息排重：實(shí)時(shí)響應。
l相似性分析時(shí)間：100萬(wàn)記錄/20毫秒。
Hash:27efc0d85d42f5318909e5ed01e03406c6a12910
聲明：此文由 錦霖文保 分享發(fā)布，并不意味本站贊同其觀(guān)點(diǎn)，文章內容僅供參考。此文如侵犯到您的合法權益，請聯(lián)系我們 kefu@qqx.com