英文拼寫糾錯
在用戶輸入英文單詞時,經常發生錯誤,我們需要對其進行糾錯。假設已經有一個包含了正確英文單詞的詞典,請你設計一個拼寫糾錯的程序。
(1)請描述你解決這個問題的思路;
(2)請給出主要的處理流程,算法,以及算法的復雜度;
(3)請描述可能的改進(改進的方向如效果,性能等等,這是一個開放問題)。
解答:
(1)思路 :
字典以字母鍵樹組織,在用戶輸入同時匹配
(2)流程:
每輸入一個字母:
沿字典樹向下一層,
a)若可以順利下行,則繼續至結束,給出結果;
b)若該處不能匹配,糾錯處理,給出拼寫建議,繼續至a);
算法:
1.在字典中查找單詞
字典采用27叉樹組織,每個節點對應一個字母,查找就是一個字母一個字母匹配.算法時間就是單詞的長度k.
2.糾錯算法
情況:當輸入的最后一個字母不能匹配時就提示出錯,簡化出錯處理,動態提示可能處理方法:
(a)當前字母前缺少了一個字母:搜索樹上兩層到當前的匹配作為建議;
(b)當前字母拼寫錯誤:當前字母的鍵盤相鄰作為提示;(只是簡單的描述,可以有更多的)
根據分析字典特征和用戶單詞已輸入部分選擇(a),(b)處理
復雜性分析:影響算法的效率主要是字典的實現與糾錯處理
(a)字典的實現已有成熟的算法,改進不大,也不會成為瓶頸;
(b)糾錯策略要簡單有效 ,如前述情況,是線性復雜度;
(3)改進
策略選擇最是重要,可以采用統計學習的方法改進。
尋找熱門查詢
搜索引擎會通過日志文件把用戶每次檢索使用的所有檢索串都記錄下來,每個查詢串的長度為1-255字節。假設目前有一千萬個記錄,這些查詢串的重復度比較高,雖然總數是1千萬,但如果除去重復后,不超過3百萬個。一個查詢串的重復度越高,說明查詢它的用戶越多,也就是越熱門。請你統計最熱門的10個查詢串,要求使用的內存不能超過1G。
(1)請描述你解決這個問題的思路;
(2)請給出主要的處理流程,算法,以及算法的復雜度。
解答:
(1)思路:
用哈希做
(2)
首先逐次讀入查詢串,算哈希值,保存在內存數組中,同時統計頻度(注意值與日志項對應關系)選出前十的頻度,取出對應的日志串,簡單不過了。
哈希的設計是關鍵。
集合合并
給定一個字符串的集合,格式如:
{aaa bbb ccc}, {bbb ddd},{eee fff},{ggg},{ddd hhh}
要求將其中交集不為空的集合合并,要求合并完成后的集合之間無交集,例如上例應輸出{aaa bbb ccc ddd hhh},{eee fff}, {ggg}
(1)請描述你解決這個問題的思路;
(2)請給出主要的處理流程,算法,以及算法的復雜度
(3)請描述可能的改進(改進的方向如效果,性能等等,這是一個開放問題)。
解答:
(1)思路:先將集合按照大小排列后,優先考慮小的集合是否與大的集合有交集。有就合并,如果小集合與所有其他集合都沒有交集,則獨立。獨立的集合在下一輪的比較中不用考慮。這樣就可以盡量減少字符串的比較次數。當所有集合都獨立的時候,就終止。
(2)處理流程:
1.將集合按照大小排序,組成集合合并待處理列表
2.選擇最小的集合,找出與之有交集的集合,
如果有,合并之;
如果無,則與其它集合是獨立集合,從待處理列表 中刪除。
3.重復直到待處理列表為空
算法:
1。將集合按照大小從小到大排序,組成待處理的集合列表。
2。取出待處理集合列表中最小的集合,對于集合的每個元素,依次在其他集合中搜索是否有此元素存在:
1>若存在,則將此小集合與大集合合并,并根據大小插入對應的位置 。轉3。
2>若不存在,則在該集合中取下一個元素。如果無下一個元素,即所有元素都不存在于其他集合。則表明此集合獨立,從待處理集合列表中刪除。并加入結果集合列表。轉3。
3。如果待處理集合列表不為空,轉2。如果待處理集合列表為空,成功退出,則結果集合列表就是最終的輸出。
算法復雜度分析:
假設集合的個數為n,最大的集合元素為m
排序的時間復雜度可以達到nlog(n)
然后對于元素在其他集合中查找,最壞情況下為(n-1)m
查找一個集合是否與其他集合有交集的最壞情況是mm(n-1)
合并的時間復雜度不會超過查找集合有交集的最壞情況。
所以最終最壞時間復雜度為O(mmnn)
需要說明的是:此算法的平均時間復雜度會很低,因為無論是查找還是合并,都是處于最壞情況的概率很小,而且排序后優先用最小集合作為判斷是否獨立的對象,優先與最大的集合進行比較,這些都最大的回避了最壞情況。
(3)可能的改進:
首先可以實現將每個集合里面的字符串按照字典序進行排列,這樣就可以將查找以及合并的效率增高。
另外,可能采取恰當的數據結構也可以將查找以及合并等操作的效率得到提高。
需要引入用戶對搜索結果相關性的評分
需求:需要引入用戶對搜索結果相關性的評分,100分制。希望用戶的打分能幫助搜索引擎排序,但又避免惡意投票、作弊等。請設計一個比較公平的評分系統。
輸入:N(整數)
輸入:N(整數)
輸入:數據文件A.txt,不超過6條記錄,字符串長度不超過15個字節
文件格式如下:
字符串/t數字/n
說明:
每行為1條記錄;字符串中不含有/t。
數字描述的是該字符串的出現概率,小于等于100的整數。
多條記錄的出現概率之和為100,如果A.txt不滿足該條件,程序則退出;
如果文件格式錯誤,程序也退出。
要求:
編寫一個程序,輸入為N(正整數),讀入文件A.txt,按照字符串出現概率隨機地輸出字符串,輸出N條記錄
例如:
輸入文件A.txt
abc/t20
a/t30
de/t50
輸入為:10
即 abc有20%的概率輸出,a有30%的概率輸出,de有50%的概率輸出,輸出10條記錄
以下為一次輸出的結果,多次輸出的結果可能不相同。
abc
a
de
de
abc
de
a
de
a
de
解答:
這個題目感覺意思有歧義。什么是”按照字符串出現概率隨機地輸出字符串,輸出N條記錄”?可以有幾種理解。第一,每次擲骰子,擲出了哪個就輸出哪個,不管前面輸出了什么。第二,要考慮前面出現的字符串。按照題目里的例子,如果前面輸出了兩次abc,那接下來的無論隨機出了什么數,都不能輸出abc,最后的結果在數量上符合開始給的概率條件,只是順序有所不同。這讓我想起了排列組合里的袋中取黑球紅球問題。把字符串abc,a,de當作2個紅球,3個黑球和 5個白球,放入袋中。每次拿一個球出來,并記錄拿出球的顏色。第一種情況就是拿出球后,把球放回袋中進行下一次抽取;而第二種自然就是不放回的抽取。