企業(yè)建網站藏文網頁倒排索引（上）
日期 : 2020-10-21 18:43:13
藏文網頁倒排索引。
第一步:抽取網頁正文。網頁正文是相對網頁噪聲而言。當今的互聯網網頁上, 頁面的很多篇幅用在廣告、搜索推薦和其他鏈接上。網頁搜索工具關注的是網頁本身要表達的信息, 所以在通過爬蟲獲取到頁面源碼之后, 要去除那些與本文無關的噪聲, 抽取到網頁正文。
第二步:分字。藏文文字區(qū)別于漢文, 漢文是一個字使用一個編碼, 而藏文是對組成字的基字編碼, 一個完整的藏文字可能存在多個編碼, 這些編碼按組成藏文字的方法順序排列。
第三步:對全文以字建索引。以字建索引, 雖然檢索過程的匹配計算量會更大, 但考慮到目前藏文網頁總體數量不大, 應該是一種可行的提高查全率的辦法。根據上一步得到的字, 記錄每個字在文中出現的位置, 計算每個字出現的次數, 建立鏈表。位置用于檢索時的準確定位, 次數用于計算字對文檔的重要性, 也用于相關性排序計算。
第一步:抽取網頁正文。網頁正文是相對網頁噪聲而言。當今的互聯網網頁上, 頁面的很多篇幅用在廣告、搜索推薦和其他鏈接上。網頁搜索工具關注的是網頁本身要表達的信息, 所以在通過爬蟲獲取到頁面源碼之后, 要去除那些與本文無關的噪聲, 抽取到網頁正文。
第二步:分字。藏文文字區(qū)別于漢文, 漢文是一個字使用一個編碼, 而藏文是對組成字的基字編碼, 一個完整的藏文字可能存在多個編碼, 這些編碼按組成藏文字的方法順序排列。
第三步:對全文以字建索引。以字建索引, 雖然檢索過程的匹配計算量會更大, 但考慮到目前藏文網頁總體數量不大, 應該是一種可行的提高查全率的辦法。根據上一步得到的字, 記錄每個字在文中出現的位置, 計算每個字出現的次數, 建立鏈表。位置用于檢索時的準確定位, 次數用于計算字對文檔的重要性, 也用于相關性排序計算。
相關文章
精彩導讀
熱門資訊
