比如說類似下面這種url:
https://foo.com/?timestamp=時間&nonce=隨機串&sign=簽名
我能想到的方法有以下幾種:
1、存資料庫:首次訪問,把該url存庫,第二次訪問,查庫;
2、存session,先存,後查;
3、存redis、mencache等,先存,後查;
以上幾種方法雖然能夠達到要求,但是每次都得先存再查,資料量小還好,如果有上千萬、上億條資料呢?也這麼查嗎?有沒有好的解決辦法?
我正在考慮能不能根據url的規則設計一個演算法來對url進行是否訪問過的驗證,就算存資料也只存少許資料,而不用存整個url。
回複內容:
比如說類似下面這種url:
https://foo.com/?timestamp=時間&nonce=隨機串&sign=簽名
我能想到的方法有以下幾種:
1、存資料庫:首次訪問,把該url存庫,第二次訪問,查庫;
2、存session,先存,後查;
3、存redis、mencache等,先存,後查;
以上幾種方法雖然能夠達到要求,但是每次都得先存再查,資料量小還好,如果有上千萬、上億條資料呢?也這麼查嗎?有沒有好的解決辦法?
我正在考慮能不能根據url的規則設計一個演算法來對url進行是否訪問過的驗證,就算存資料也只存少許資料,而不用存整個url。
你總是要在後台儲存“url是否訪問過”這個資訊的,這一點跑不了,憑演算法手段無法消滅這個問題。
但這個需求的容易之處在於:請求與請求之間是沒有聯絡的,你可以用任意的方法去分表、分庫。例如以URL作為分桶依據(注),直接把資料庫請求分散到資料庫叢集中。上千萬上億也是能做到的。
這個需求的真正困難之處在於原子性,即兩個請求同時到達伺服器時,如何抵抗兩個事務同時操作資料庫的時間差,造成的資料不一致。
不過這一點的解決也可以靠分表+資料庫的鎖機制實現。分表分庫在這裡更是同時承擔了(1)分擔請求數量壓力(2)分擔加鎖帶來的效能壓力兩個作用。
注1:當然實務上,要先對URL要做一下正常化,避免?v1=1&v2=2
和?v2=2&v1=1
被判定為不同的URL等烏龍情況發生。
注2:實際上根據商務邏輯,用單次有效索引字串/token/nonce key(不管叫啥了,隨你喜歡)做key才是最好的,省的處理URL的麻煩。
注3:一般而言資料庫叢集套件,會自動承擔平攤分桶的演算法,無需手工編寫。
url本身沒有變化, 那伺服器端總得有什麼東西變化
所以若要嚴格保證1次, 儲存這件事感覺是逃不掉的
你現在這個就不用存整個url,存nonce就可以
加臨時令牌不行??
不需要整個url,其實說穿了就是訪問你的網頁需要憑密碼,而且密碼只能用一次。
你自己設想的方法中,session不是全域的,所以用不了,只有資料庫或者redis兩種選擇。
實在是無法理解為什麼要讓url失效...
不管用上面方法儲存, 伺服器不儲存怎麼可能做的到
隨機串取長一點兒。URL有有效時間,然後儲存那些 URL 有效。可以儲存在資料庫,定時+訪問過後清理資料庫。
一般的註冊使用者郵箱驗證/修改密碼就是這樣的。
從機率上來說,未獲得合法 隨機數和 sign 的惡意攻擊者在有效時間內是遍曆不出所有可能的。如果再加一些IP嘗試次數限制,這樣做就很安全了。
如果你不是要驗證,一個URL 可以訪問最多一次的話 nonce
設為一個遞增的數吧。
訪問過之後寫個cookie
毫秒級時間戳記加隨機字串HASH值作為key有效時間緩衝任意內容(簡單即可如1),先時間戳記判斷有效時間,再驗證該緩衝是否存在,這兩參數必傳
你主要不是糾結資料量的問題嗎?
那麼,為!什!麼! 不用COOKIE, 將資料儲存在使用者本地終端
通過timestamp來做就好辦很多了, 一般timestamp超過一定範圍就當做是無效url, 所以nonce入庫或者redis, 一段時間後失效就好,因為會先用timestamp判斷這個請求是否到期, 再用nonce來判斷是否重複請求., timestamp範圍30秒左右基本上是夠用了的