程式者的胡言亂語
星期四 六月 14, 2007
長尾還是短尾的書籤網站
最近一連串的黑米外掛程式，基本上是瞄準bias網友的某一段留言而來，在之前的blog「HEMiDEMi書籤搜尋工具preprepre-alpha」中已經有提過，這一篇不待贅述。之後bias在獨孤木的blog上也參加了討論，解釋了他的想法，基本上，我還挺同意他的想法，如果再從他的留言裡去思考，他提到了一個問題（應該就是他一直被我們追著講的那一段話），就是書籤的來源夠不夠多元的問題。其實，任何filter再怎麼做，都是後段的問題，而書籤的來源卻是前段的問題，倘若書籤的來源不夠豐富，怎麼做filter效果也都很有限。
所以我覺得這個問題必須要回歸到書籤網站收錄的書籤究竟是長尾還是短尾的問題上來看。bias提到的問題是多元不多元，豐富不豐富的問題，但我覺得還有另一個問題，就是量的問題，也許是更重要的。最近因為持續觀察黑米的最新書籤，我發現到每天的進貨量大概只有幾百則。我估計黑米的使用者每天不重複造訪人數可能達兩萬人左右，但這麼一除下來，平均要一百人或接近一百人，一天才會貢獻一個書籤出來，這正是bias提到的一個重要問題所在。
filter的存在重要性，是建立在長尾的基礎上，倘若這條尾巴一點都不長時，filter的威力就不那麼容易顯現出了。所以，也許拼了命做了後段的功課，也不能交出讓人滿意的效果，因為前段的問題根本沒解決，我覺得這是bias有點出來的。
不過，這個前段的問題，固然可能得透過分享的文化建立來達成外，我要說的是，其實整個網站的機制設計也大有干係（工程師先用工程師想法來思考看看）。這話要怎麼說呢？
目前黑米是一個共享的書籤網站，並且提供留言、討論等等的社群功能，但總的來說，它的原料是書籤。這個原料要怎麼取得呢？現在大抵是使用者透過其他的途徑看到值得收藏的文章後，再到黑米上把這文章或相簿、影片之類的分享成書籤。也就是說，黑米基本上是藉由提供網路書籤的這個工具，做為好處，吸引使用者在其上進行分享的動作。HEMiDEMi是一半一半的意思，一半的digg、一半的delicious。但，「似乎感覺上」用digg的人多，用到delicious的人少。當初會這樣的設計，出發點應該是基於拿delicious來做為一個甜頭，讓使用者得到delicious網路書籤的好處，同時可以讓別人搭到便車拿來digg。
由於我以前沒有研究過每天的書籤量，所以不知道黑米的書籤量是不是有減少，但是倘若有減少的趨勢的話，那肯定是一個警訊。會不會是因為在這個重口味的時代裡，delicous服務的甜頭已經不夠了？
如果不夠的話，是不是應該考慮如何吸引或便利使用者來分享書籤呢？分享書籤這個動作，說來容易，但對有搭便車習慣的人，恐怕也還是懶得去做。系統倘若要從機制上著手，可能必須考慮如何降低做這件事情的effort。因為，就連按「推」這個動作這麼簡單，許多使用者可能還是不願意移動他的尊食指去click一下。
推推王有一個機制上設計，看來可以使這個症狀稍解，黑米也許可以用別的方式來達成類似的作用。推推王的不願透露姓名且又有意角逐2028年總統大選的邱姓學弟，一直宣稱他們不「只」是共享書籤服務是有道理的。因為，雖然從名稱上看來，早期有可能是這個定位，但後期肯定是改變了，後期的定位看來是定位在個人資訊入口在發展著，因為它們加上了RSS閱讀器的功能，所以對使用者來說，能夠在這上頭直接匯整個人所需的各種資訊。跟單純的書籤服務相較起來，單純的書籤服務也可以做為個人資訊入口之用，但那是對搭便車人士而言，想要分享的使用者，還是得透過其他的途徑閱讀到值得分享的材料後，才能丟到這個服務上。可是，整合了RSS閱讀器的推推王，在機制上稍解（不見得能根本解決）了這個問題，因為使用者在上頭做RSS訂閱，使得當他看到所訂閱的內容值得分享時，可以直接做「貼文」的動作，完全不需要離開推推王的服務，而分享一個網址時有點花力氣的「複製網址並貼上」的動作，也可以藉此省去。當RSS的內容，含tags及描述時，更可以直接拿它們來當做貼文時的預設設定，省去了一些貼文時的功夫（這個功能好像現在還沒有，但可以做呀！）。如果delicious服務是一個甜頭的話，推推王等於是多提供了另一個甜頭就是RSS閱讀器，來吸引或便利使用者來分享。當需要花費的力氣愈少時，分享的人就會隨之變多，這應該是肯定的。
人性的因素，在設計服務的機制時，似乎始終都應該要被考慮進來。倡導人性的光明面固然很好，能建立起好的使用者文化也很棒，但考慮人性的機制面設計，能降低分享的門檻，二者並行，或者能收更佳的效果。
另外，我覺得就比較巨觀的角度來看，尾巴只要拖的夠長就會多元起來。所以，應該還是要先衝一下量再說。
Posted at 01:38下午 六月 14, 2007 by Chien-Hsing Wang in 黑米蟲 | 迴響[2]
星期二 六月 12, 2007
黑米外掛再推出－黑米個人雷達
就是這樣，每個外掛都是建立在前一個外掛的基礎之上發展出來的。
黑米關鍵字雷達適合的應用情境是，當你對某個領域下的特定主題感興趣時，你可以用它來幫你監測黑米的最新書籤裡有沒有你可能會感興趣的東西。我們來說一個故事好了，原先你可能不會想要關注「星光幫」這個主題，但是因為看到了大眾化的書籤（黑米首頁），所以你明白了流行的趨向（黑米網站首頁代表的是一種大眾化的流性趨向），讀了幾則書籤後，你了解到，有個叫超級星光大道的節目，裡頭有一群人被稱為是星光幫，而這個節目裡引起大眾注意的兩個要角，分別是楊宗緯及蕭敬騰，所以你想要在這一陣子，特別留意這個主題，你便可以透過關鍵字雷達，輸入：「星光大道,星光幫,楊宗緯, 蕭敬騰」，那麼產生出來的網址就可以丟到你的RSS reader去。爾後，這個關鍵有震字雷達便會時時關注最新的書籤中有沒有你可能會感興趣的這幾個主題，如果有，便會以RSS的形式直遞給你。所以，關鍵字雷達是一種主題式的訂閱。你可以依不同的需要，同時訂閱多組關鍵字。例如，我還訂閱了「職棒,王建民,郭泓志,林威助」這一組關鍵字，用來關心我會關心的棒球球員的消息或評論。這關鍵字雷達的訂閱，你也可以在不需要時把它移除，所以可以動態依觀注的需求調整，尤其是適合短期的需要。
除此之外，今天真是喜事連連！除了找到一年多前開發的系統的舊DB，使得明天demo不至於開天窗外，掛了半個月的一個神奇bug，也在心領神會之下，一瞬間突然找到問題所在。所以，突然有空了XD。再接再勵，繼續改良黑米雷達系列服務。這次推出的是原始版的個人雷達。意思是說，就不用再讓使用者介入去設定究竟要訂閱什麼關鍵字了，你就直接指定你自己的ID吧，至於你會想要看什麼，就讓這個個人雷達幫你搞定吧。
當然，我會稱為原始版的原因就是在於，如何去猜想使用者可能會最想看什麼這件事，用的是一個heuristics，日後還是要持續調整。已知已經有不少因素必須再納入，無論如何，就請大爺大娘們試試，並且回饋一下想法。如果丟給你的RSS裡的書籤，你不想看的成份太高，就麻煩跟小弟說一下，我會好好檢討。
所以個人雷達是一個從人的特質的角度出發的雷達服務，和關鍵字雷達是從主題出發的角度不同（雖然最後殊途同歸）。所以二者可併用，聽說Yahoo ! Pipes還可以直接拿來合併，是嗎？
我在本blog上提過很多次了，我讀完《長尾理論》這本書最大的收獲在於認識到，當商品呈現出長尾的分佈時，filter就變得十分的重要（filter已經變成了一個可以獨立運作的專門服務了！）。黑米這樣的共享書籤，本身已經是利用Web 2.0的工人智慧做了一次的filtering，但黑米每天的進貨量可能是500-1000則書籤左右，如果一律用逆時序的方式來看最新書籤，自己做過濾，已經開始會有點辛苦。但黑米首頁上反映的又只是大眾化的趨向，倘若你在大眾化的口味之外，尚有個人較為獨特（像我其實會想訂閱專案管理、軟體開發等主題），就可以利用這兩種雷達服務，來幫你過濾出比較有機會符合你需求的書籤。
這麼一來，交互運用大眾化及個人化的攝取手段，便有機會更有效率的吸收資訊。大眾化很重要，雖然大眾化的東西，可能很多你都不想看，但從大眾化的主題中，卻有機會認識到可以補充至個人化的主題，增添一點活水到你的個人化池塘裡，持續的更新你可能會感興趣的事物。
耶，竟然有人搶先在官方報導之前先行介紹了。
Posted at 06:02下午 六月 12, 2007 by Chien-Hsing Wang in 黑米蟲 | 迴響[2]
黑米新外掛－黑米關鍵字雷達
在#twjug跟一堆人一起做一件邪惡的事一直做不起來，十分心煩，分神改一下黑米新外掛。在還沒拿到API前，（為了響應我的機器不再被BAN）姑且先用RSS取得書籤資訊看看，美中不足的是，黑米的RSS中少了標籤的資訊。
廢話不多說，先來個網址。
我做黑米個人化首頁，有其順序性。有些網友就曾問到，為什麼嗆聲要做的是個人化首頁，但丟出來的卻是全文搜尋。因為全文搜尋是一個重要的基礎，有了它，接下來的事情才能夠繼續做下去。
然後這次的這個東西，個人化的成份就漸漸浮現出來的。它是「黑米關鍵字雷達」。你可以在這個網址上，輸入你想訂閱的主題關鍵字，例如：「楊宗緯,星光大道,王建民」，按下「訂閱」後，就會被導到一個網址去，這個網址是一個RSS的網址，你可以把它複製到任何一個RSS閱讀器去，即可在RSS閱讀器中直接閱讀「最新書籤」五百則中，符合你所訂閱之關鍵字的書籤。如果你真的要（我勸你還是不要）訂閱「獨孤木」這個關鍵字，你也可以試試看，看看他如何把黑米當做是個人的競技場在使用，或者是觀看最新他被別人釘孤枝的戰況，都很方便。
如果善用Y社水管，應該能夠有更靈活的運用。
這麼一來，我心中的個人化做法是不是感覺就快呼之欲出了呢？
ps. 貼出這篇blog的時候，正開始砍掉重練，重捉所有文章，篇數有點少是正常的。
ps2.照慣例，想罵的可以寫信來罵，或是指出你覺得加什麼什麼功能會更好，歡迎投稿（沒有稿費:p）。
Posted at 12:31上午 六月 12, 2007 by Chien-Hsing Wang in 黑米蟲 | 迴響[6]
星期五 六月 08, 2007
黑米站方對外掛程式的想法及觀點
適才葛力跟我連繫上了，透過MSN把一些事情或其中的誤會說明清楚了。基本上，葛力對於這次的事情的想法是這樣子的：
(1) HEMiDEMi站方希望的方式，是透過API或RSS的方式，如果不是，就希望能知會一下。站方歡迎Qing（或其他人）透過黑米提供的RSS或API開發工具。只要是HEMiDEMi站方提供的RSS或API合理使用，原則上是歡迎的，但是前提是不能損害黑米的經營。站方會公告說明合理的使用規範。
(2) HEMiDEMi站方剛好利用Qing公開外掛程式的機會，定好合理使用黑米資料的規則。
這樣子挺好的，我會繼續我的社交書籤功能的實驗計畫，而這計畫也獲得黑米官方支持，希望這個計畫能產生出一些想法，對黑米這樣的社交書籤網站產生一些值得參考的產物。我也肯定黑米官方抱持的開放態度，而不是我原先所猜想或誤解的封閉想法。
喂！不願透露姓名且有意角逐2028總統大位的邱姓學弟，請不要在那邊唉了，接下來事情跟我沒關係了喔。
Posted at 08:27下午 六月 08, 2007 by Chien-Hsing Wang in 黑米蟲 | 迴響[1]
嘖嘖，這是黑米丁丁化的開始嗎？
話說黑米有了新版的「黑米數位 (HEMiDEMi.com) 服務條款」，嘖嘖，不知不覺偷偷加了兩條呢？
· 除了透過黑米提供的API或標準資料格式(如RSS)，或經本公司書面同意，任何人不得使用任何程式或工具(如robot/spider等)以非人為操作方式使用本站。另外，不得有以下行為：
- 以任何方式，在「黑米」的合理判斷下，施加、或可能施加不合理或異常負擔至「黑米」的網站架構
- 干擾或試圖干擾「黑米」網站或與「黑米」相關服務之正常運作
- 試圖略過「黑米」限制網站使用或讀取的機制與方式
· 其他「黑米」有正當理由認為不適當之行為
這看來是針對本黑米外掛計畫而來的啊！這真是太妙啊！妙在那邊呢？這是新版的條款，當初我們註冊帳號時，簽的可是舊版的，如果是這樣的話，是不是不算數啊？XD如果算數的話，以後黑米就加一條：使用者如果使用黑米的服務，必須每月支付一百萬元新台幣，並且溯及以往，如果不溯及以往的話，那我的帳號當初沒有簽這個新版的，所以是不是就不算數了？
嘖嘖，連法律訴訟的部份都寫上來了，有興趣的話，去查一下這一份頁面在Google的頁庫存檔就可以比對一下了。
另外還有一個很妙，Google沒有簽這個條款，所以Google總可以去爬吧？如果法律上Google也不能去爬的話呢？我個人極力主張黑米去告Google，因為Google索引了他們的網頁（而且我相信Google每天index的量一定比我多），而侵犯到他們的商業權利。從今以後，Google不應該再能夠搜尋到黑米上的書籤網頁。如果黑米去告Google，我個人自掏腰包，贊助兩萬塊律師費！
一般來說，一個網站會用robots.txt來指引spider的行為。我們來看看此時此刻（因為很快就會再推出新版了，敬請期待！）黑米的robots.txt長什麼樣：
Disallow: /bookmark/click
Disallow: /bookmark/users
Disallow: /bookmark/search
Disallow: /user_bookmark/search
#Disallow: /user/*/bookmark/tag
Disallow: /user/*/bookmark/click
Disallow: /group/*/bookmark/users
Disallow: /group/*/bookmark/click
Disallow: /tools
Disallow: /search/bookmark
Disallow: /search/user_bookmark
Crawl-delay: 10
Crawl-delay才設10秒耶。
沒問題，我會遵守的。現在設的這麼長似乎太小看黑米承受流量的能力了，我會把它調的更小。另外，這些Disallow的，我都沒有去爬，所以我很守規矩，是個好小孩。另外，我要說明的是，我用的勉強算是robot，而不是spider，像Google這樣的spider，會掃更多的內容，我已經盡量的只取很少的部份，而且，更重要的是，不知道別人有沒有像我一樣很客氣，我送出去的request裡都有註明我接受GZIP壓縮，而黑米也會真的用GZIP壓縮給我，所以流量大概又更省，變成了十分之一左右。話說到這，我要惡整你，連GZIP都不用，直接叫你傳原檔，不是更能把你的流量吃掉，多幫你花頻寬費？為什麼要以小人之心度君子之腹呢？我每天不過就打你頂多一兩百個page view而已，覺得黑米的機器撐不起，先把robots.txt裡的Crawl-delay設大一點啊。對Google就這麼客氣，對我的服務就要使出BAN IP這一招嗎？不過就是做做研究嘛，大家一起來看看社交書籤能做什麼功能嘛，交流一下，切磋一下也很不錯啊。我的search result還幫你放一個黑米的圖示連回黑米的本站，有沒有看到？我要惡搞的話，就不會這好心了。不歡迎robot的話，請Disallow: *，我會遵守，不會去捉。不要對Google或其他的search engine和對我的robot有差別待遇！
這就是Web 2.0的分享嗎？這就是Web 2.0的open mind嗎？這台灣Web 2.0的龍頭指標，為Web 2.0的開放分享精神，下了最佳的註腳。
這篇的最後我要說，如果黑米站方真的很不開心，希望我不要再用程式捉了，寫一篇公告或私底下寫信給我，我會照辨，我會號召認識的朋友，每天到我的服務上來手動輸入書籤，一天幾百則，人工做的來呀。這樣總行了吧。
最後再補充一點，「除了透過黑米提供的API或標準資料格式(如RSS)」這一句實在歡樂，這使得我決定為我的robot提供一個RSS服務，到時再歡迎大家用這個RSS來爬黑米的網頁喔。
Posted at 12:00下午 六月 08, 2007 by Chien-Hsing Wang in 黑米蟲 | 迴響[6]
