tag:blogger.com,1999:blog-3119609358191447624Thu, 12 Apr 2012 22:17:53 +0000BCMPLogTemplateTables螺絲起子資料探勘HDFSQL InjectionOrbit Viewer THORWindowsSQLiteFinderNDUWEBGAAccessFIXRSSSOM資料ClustingFTP實驗流程TMIApacheOverflight雨量前置處理程式Mail安全計畫ThumbsProFTPDMySQLShell ScriptCSSWordPressFreeBSDPerl溫度實驗前處理PHPPEARVimNFSDataFuzzy C-Means亮度心得豪大雨Database*nixLinuxTRMM即時預報雨量防治XSS修改My Project Loghttp://project.snese.net/noreply@blogger.com (snese)Blogger22125tag:blogger.com,1999:blog-3119609358191447624.post-3755153895062915714Sun, 15 Aug 2010 17:12:00 +00002010-08-16T01:12:01.145+08:00SQLitePHPRSS這個專案主要是希望節省自己的時間，希望能改由訂閱 RSS 的方式來獲知是否有新訊息且可能會用資料庫的方式來將資訊儲存起來，有必要的話可能會避開他們家的廣告系統，而此次的目標則為有名的地下網站，早餐店。 現階段想法很簡單，主要就下列這些項目。 抓網頁資料 雖然可能會在 Unix-Like 的環境下跑，但能的話會想個盡量不靠外部程式的方法 分析內容、過濾資訊 這個部份是最麻煩的地方，可能要花點時間在正規表示示上面 比對資訊 目前雖有想到方法，但還沒有最好的解決方案，基本上還是先做再說 儲存檔案 看是要用檔案的方式，還是用 SQLite，當然個人偏好使用 SQLite 產生 RSS 如果用 SQLite 那這部份可能就算最單純的了！只要 select 最新的資訊出來就行 http://project.snese.net/2010/08/rss.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-282754400821488890Wed, 17 Jun 2009 12:28:00 +00002009-06-17T22:48:58.184+08:00TRMM溫度Orbit Viewer THOR亮度Orbit Viewer THOR 是一套由 NASA 所提供專門來解析 TRMM 衛星資料的軟體，詳細的軟體介紹就不在這邊做介紹，畢竟只要會用就好了，是吧！由於這篇主要是針對亮度溫度分佈圖，所以其他的部份就不會多做說明。一開始如果不知道想畫的颱風圖是存在哪筆衛星資料時，這時請將颱風資料庫和搜尋 TRMM/TMI 資料兩種資訊做個整合交叉查詢已得到確切的衛星資料編號。知道了衛星資料編號後，就可以到 TRMM Data Access 去下載相對應的資料，在這邊要注意的地方是，含有亮度溫度資訊的衛星資料，其開頭代碼為 1B11: Microwave Brightness Temperature (TMI)，下載錯的話可是沒法顯示出正確的資訊。啟動 Orbit Viewer，接著點選 File 開啟欲繪亮度溫度的衛星檔案，在這邊將以 1B11.080912.61677.6.HDF 為例，http://project.snese.net/2009/06/orbit-viewer-thor.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-6824479197370496895Tue, 09 Jun 2009 13:32:00 +00002009-06-09T21:41:13.245+08:00安全WEBSQL InjectionXSS防治　　隨著科技不斷演進，使得WEB面臨著許多前所未知的風險。首先，於系統層面存在版本較舊的HTTP 軟體，未定時更新的作業系統等問題；其次，在應用層面有SQL Injection、XSS(Cross Site Scripting)、表單漏洞、上傳漏洞、網站掛馬等漏洞需加防範；最後在網路層面上則有ARP欺騙攻擊等，只要管理員稍不留心，便會使主機和使用者身陷於危險之境。　　至於是哪些危險呢？必須瞭解怪客(Cracker)產業鏈。怪客主要是使用這些漏洞來進行一些「商業」行為，以網站掛馬為例，怪客大多是鎖定政府網站或企業網站為目標，利用應用層面安全漏洞，如SQL Injection等，來進行控制和入侵WEB伺服器，篡改網頁且植入惡意程式碼以啟動網站掛馬，接著掛馬便執行病毒，該使用者在不知情的狀況下，其電腦已成了殭屍網路(BotNet)的一員。在控制使用者的電腦之後，怪客通過竊取手段偷取使用者帳號、http://project.snese.net/2009/06/web.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-2453262973560177617Fri, 06 Mar 2009 07:00:00 +00002009-03-06T15:14:24.626+08:00PHPFreeBSDVimPEARFIX雨量前置處理程式WindowsApache主要是修正 雨量前置處理程式 (1/2) 與 雨量前置處理程式 (2/2) 這兩篇中所提的程式。修正的列表如下：自動判斷年份的讀取機制(ADD)時區轉換判斷系統(FIX)Windows Server 的相容性(ADD)在做修正的時候，意外發現站台編號 94061 實際的資料，其實是對應 94062 的資訊，這點以後可能得多注意些。http://project.snese.net/2009/03/20090306.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-1398197315944454283Tue, 03 Mar 2009 07:59:00 +00002009-03-03T16:52:44.121+08:00TRMMHDFAccess豪大雨實驗資料雨量TMIData前處理這邊是去 TRMM Data Access 做下載資料的動作，其主要是依據 搜尋 TRMM/TMI 資料 所提供的編號列表來做選擇式的下載。Step 1.進入至 TRMM Data Access 網站後，點擊 Data Products 。Step 2.這一頁中，點選 Orbital 以進入下一個流程。Step 3.於這個頁面中，我們則需要點選 1B11: Microwave Brightness Temperature (TMI) 這個連結。Step 4.從這開始，便要開始依據 搜尋 TRMM/TMI 資料 這篇所紀錄的資訊，來進行年、月、日的查詢資料。Step 5.這邊是月的部份。Step 6.這邊是日的部份。Step 7.按照 搜尋 TRMM/TMI 資料 的範例，我們將查找 2008-12-01 編號 62964 的資料。Step 8.可以見到第三行為我們要找的編號 62964 http://project.snese.net/2009/03/trmmtmi_03.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-2965985182524731342Tue, 03 Mar 2009 07:30:00 +00002009-03-03T15:58:54.124+08:00TRMM豪大雨OverflightFinder實驗資料雨量TMIData前處理這邊的工作，主要是藉由 TRMM Overflight Finder 來限定搜尋範圍且得到相關的衛星資料編號。以下為詳盡的工作流程：Step 1.除了經緯度和搜尋範圍為固定的數值(25、130、600)之外，起始日期可以依照需求去做微調，待一切設定完成之後，便可點擊 Search for Oribt(s)以取得資料。Step 2.於本頁一開始的 Based on Selections 便是上一頁的設定參數，而下面的表格則為結果的輸出。但我們需要的部份只有 Orbit (編號) ，以圖例來說 62964 就是我們所需要的數字。點擊連結時，我們則可以得到該編號所呈現的帶狀衛星資料圖，如下所示。Step 3.將這些編號逐一記錄起來，此動作就算圓滿達成任務。http://project.snese.net/2009/03/trmmtmi.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-6890550222143813758Wed, 14 Jan 2009 16:47:00 +00002009-01-15T00:54:03.243+08:00NDUFTP*nixThumbsWindowsShell Script如果是用 *nix 的主機上傳時，往往是沒有這個問題的。但在使用 Windows 主機做上傳時往往會順手把 Thumbs.db 這個 Windows 用的預覽檔傳上去。 雖然對主要的系統沒有什麼影響，但我就是覺得看起來很不舒服阿！也因為不完全都是我在上傳，所以這部份屬於無法控制的範圍，在這邊計劃使用被動的處理方式來解決這個問題。在不影響系統做統計的狀況下，希望能在被紀錄前先把 Thumbs.db 先刪除，在 Shell Script 完成後，應該會加入 daily 的排程去處理。http://project.snese.net/2009/01/thumbsdb.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-6574650050574571637Tue, 30 Dec 2008 17:02:00 +00002008-12-31T01:07:24.364+08:00NDUFTP前陣子調到了 400G 和約 100G 的空間，趁著寫計畫書的空檔，我想還是將一些分區做一些整併和異動。目前主要是把原先的電影和動漫做個整併，統整起來約 250G 的空間將全換成電影，剩下動漫則都歸類到 400G 的空間那邊去。剩下的細節等過幾天再補上最新的配置圖。http://project.snese.net/2008/12/ftp.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-5000707436456778063Sat, 06 Dec 2008 04:21:00 +00002008-12-06T12:29:22.938+08:00GAFuzzy C-MeansSOM實驗Clusting雨量BC這次實驗以 clusting 為主要的實驗方法，主要使用到的演算法有 SOM、Clusting、Fuzzy C-Means 這三種，分群的數量則為 4、5、10 總共三組做為比對。全部數據出來後，再由 GA 去跑出最佳解的 BC 順序，但可能需要再修改 GA 的程式以達到需求。此外有幾個需要考量的地方，像是選擇 BC 的 Threshold 該設定回多少，最低限度的資料數量又該是多少？預定下星期三前把這些做完。http://project.snese.net/2008/12/1.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-3846031069691565245Wed, 03 Dec 2008 01:26:00 +00002008-12-03T10:21:01.623+08:00MySQLTablesNDUFTPDatabaseProFTPD由於受限於 proftpd 的一些先天上的問題，所以在設計上比較不能照正統的方式去處理相關的 Tables。雖然在資料庫裡前前後後有 26 個 Tables，但大都是用 View 去實現的，所以在先這邊列出實體上的四個 Tables。FTP_UserCREATE TABLE `FTP_User` ( `Id` int(10) unsigned NOT NULL AUTO_INCREMENT, `Name` varchar(12) NOT NULL, `Passwd` varchar(20) NOT NULL, `Uid` smallint(5) unsigned NOT NULL DEFAULT '5001', `Gid` smallint(5) unsigned NOT NULL DEFAULT '5000', `Home` varchar(16) NOT NULL DEFAULT 'http://project.snese.net/2008/12/ftp-table.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-6954258924656711158Sat, 08 Nov 2008 18:15:00 +00002008-11-09T02:23:56.301+08:00TemplatePHP螺絲起子修改CSSWordPress目前先排除掉 WordPress 升級的問題，只優先考量 Template 修改的問題，目前有幾個點是需要自己去改進的。字型放大Recent Post 的 offsetLatest Post 的篇數Home 的版型微調除了 1 是 CSS 的問題之外，其他都要動到 PHP。原來想做點比較結構化的東西，但為了效率就先求有再求精吧！一切的一切都是希望螺絲起子能夠夠好阿。http://project.snese.net/2008/11/wordpress-template.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-4229270698813387111Sun, 14 Sep 2008 14:16:00 +00002008-09-14T22:20:59.710+08:00計畫心得現在想到的簡易 SOP 如下：轉寄信件至系統系統將會把文章自動轉成草稿模式人工檢視內文且予以標籤目前有些許的問題需解決，在 1 時系統有一次只能存放 50 篇文章的上限，另外在執行 3 時，可能會浪費不少時間去驗證內容。大致上的雛型如上。http://project.snese.net/2008/09/blog-post_14.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-6292894005261475580Fri, 12 Sep 2008 15:19:00 +00002008-09-12T23:25:17.419+08:00計畫心得目前打算再建立一個園地，裡面主要是收集一些公司的心得文，以方便我做個統計和查詢使用。畢竟有些文章裡面，一篇可能就討論了好幾間公司，所以也只好靠自己來做人工篩選和整理嚕！在這還只是個構想，更詳盡的東西，等有感覺了再來寫完整些。http://project.snese.net/2008/09/blog-post_12.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-2298427964070056952Thu, 04 Sep 2008 07:18:00 +00002008-09-04T15:26:14.491+08:00資料探勘NDU實驗流程雨量在替實驗流程做個簡易的紀錄。Step 1.將有雨量的資料，進行雨量編碼，其主要是依據氣象局標準 15 mm/hr 來區分一般降雨事件與強降雨事件。Step 2.將編碼後的資料及其屬性，利用各個資料探勘演算法來產生分類規則。Step 3.把每個資料探勘演算法所產生的規則，加入至 AHHC 程式中，同樣依照訓練資料來進行規則排列的先後順序。Step 4.將最將的分類規則先後順序取出，以測試驗證之結果。Step 5.把產生出來的結果，使用不同的颱風來進行繪圖驗證。EX: 凱米 or 敏督利颱風。http://project.snese.net/2008/09/blog-post.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-7614238496179790399Sun, 10 Aug 2008 09:11:00 +00002008-08-10T17:46:20.909+08:00NDUFTPFreeBSDNFSLinux目前的問題就如利用 NFS 來彌補空間不足的問題這邊所說的一樣，需要一些額外的空間。而整個現階段的 FTP 架構如下圖所示：按照規劃來看，應該是將電(淡籃色)這塊，整個移到額外的主機上，這樣本機端應該將可以有約 100G 空間來做應用。不過要克服的問題可能會很多，一切還是等下週開始實作後，再來處理。http://project.snese.net/2008/08/ftp-nfs.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-8786818918772827808Wed, 09 Jul 2008 06:43:00 +00002010-02-27T15:11:29.080+08:00資料探勘即時預報豪大雨引用至申請書：由陳助理教授所負責之「資料探勘應用於豪大雨即時預報技術之研究」，為跨領域研究計畫，重點在利用資料探勘(Data Mining)及機器學習(MachineLearning)等相關關鍵技術之特性，建立精確、即時的預測系統，以提供天氣系統分析與災害性降雨即時預報之參考與運用。基於本整合型計畫之研究團隊第一年蒐集之大量衛星資料：如DMSP、TRMM、AQUA 衛星上所蒐集之的SSM/I、TMI、AMSR 衛星微波觀測資料；及海面風場、海面溫度、大氣垂直溫度及濕度剖等衛星反演資料，本研究計畫規劃於接續的兩年內完成：第一年為豪大雨重要資料屬性探勘，本研究除了探討已知的因素及相關的物理特性外，並將綜合探勘各衛星資料之屬性，與各資料屬性與豪大雨的關聯法則(Association Rules)，以及其他對降雨量有影響的重要因素，方能發展出精確、及時的豪大雨預報系統。第二年為異質資料之整合、與http://project.snese.net/2008/07/blog-post.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-5490082569726611304Sat, 14 Jun 2008 01:59:00 +00002008-06-14T10:34:02.290+08:00MySQLPHPNDUFTPFreeBSDFTP 相關統計資訊，是整個系統下面的一個子功能而已。原本預計是希望能先刻出程式，再來做版型美化的部份，無奈自己手賤，邊刻的同時也順便把版型寫得差不多了。目前大概的樣子就如圖所示，未來可能也不會有太大的改變。這邊只顯示了服務概況的部份，一方面是圖太大不想拉太長，另一方面是下面的分區排行榜其實並沒有完成，主要是因為分區排行榜並沒有像使用者資料統計一樣，只要單利用 SQL 語法便能把結果丟出來。由於我只顯示前 10 名，所以在分區排行榜想到的做法是先把資料用 SQL 語法丟出來後，再利用 PHP 做二次的處理，避免掉重複顯示的部份。至於詳細的細節，預計是這幾個星期會完成，這種東西還是早點動手會比較好一些。http://project.snese.net/2008/06/ftp.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-5350026407225797059Fri, 13 Jun 2008 01:48:00 +00002008-06-13T09:57:54.915+08:00NDUFTPFreeBSDPerlShell ScriptMail目前此功能已經正式上線運作有一陣子，當初的初始設定是希望每天的早上六點進行寄信的動作。不過由於我個人認為過於頻繁，所以在今天改成只在週間的一、三、五進行寄信。現階段的程式是使用 Shell Script 完成，其架構是先用 find 來找出這五天新增了哪些檔案，接著利用 Perl 來進行過濾清單，然後分成兩種版本，一個是含 AAAA 特區另一個則無，最後再照著已經建立好的郵件清單來發信。未來在這部份，應該是沒什麼要做加強的部份，頂多在一些細節方面的東西能做個整合，譬如說郵件清單的部份，希望能統一由 Database 那邊定時同步產生出來。一來較易管理，二來整個程式也能更自動化些。http://project.snese.net/2008/06/blog-post.htmlnoreply@blogger.com (snese)1tag:blogger.com,1999:blog-3119609358191447624.post-6333800320354486113Wed, 02 Apr 2008 07:51:00 +00002008-04-02T15:58:12.624+08:00NDUFTPFreeBSDMail由於是固定 IP，所以經過簡易的測試後，發現 GMail 可以立即收到回報信件、Yahoo 的信箱則稍慢一點會收到且有可能被丟到 JUNK 去，至於 hotmail 的部份，則尚在測試階段。希望能把大家常用的 e-mail 都拿來測試，好讓系統的信件能正常發送。http://project.snese.net/2008/04/blog-post.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-5849419340191160043Mon, 18 Feb 2008 14:25:00 +00002008-02-18T22:45:46.927+08:00PHPFreeBSDVimPEAR雨量前置處理程式Apache正規化：上圖為tmi_xxxxx_ok.txt的格式，我們只需要黃線所框選起來的部份，那裡面分別代表的是“年 月 日 時 分 秒”，又因其檔案所見的空白之處並非使用鍵來進行縮排（\t），而是使用許多沒有規則性的空白來進行排版。在這我使用PHP的函式split()來進行正規化處理，使用的方式如下，split("[\n\r\t ]+", $buffer);其中 "[\n\r\t ]+" 為正規表示式（Regular Expression），意思為不管 \n\r\t 出現幾次皆視為一個切割點（裡面有包含一個空白）。正規化：如(C)圖所示，把時間和測站資訊（93011, 4, 6, 5, 17）及經緯度資料全部濾除掉，以利程式化作業。限定範圍的雨量數據：假使今天的目標資料為測站93011　5月17日1點00分的雨量資訊，則由此圖可以看到我們怎樣選取雨量的範圍。分別是向上取兩個位置及向下取三個位置http://project.snese.net/2008/02/22.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-149905479625822760Fri, 15 Feb 2008 04:57:00 +00002008-02-15T13:29:42.685+08:00PHPFreeBSDVimPEAR雨量前置處理程式Apache主要是由 PHP（Hypertext Pre-Processor） 語言撰寫而成，主要的組成有 find.php、config.php和 func.php 這三個檔案，其中主程式為 find.php，func.php 則負責處理主程式需要用到的相關函式，其他可以依據使用者需求調整的參數則放在 config.php 裡。撰寫與測試環境為 FreeBSD、Apache、PHP、Vim、PEAR。主要是看重 PHP 在處理字串很強的特性，外加以娛樂性和溫故知新的方式來撰寫研究用的程式。使要方式很簡單只需將測站資料(1)、雨量資料(2)和兩個檔案共同存放於同一個資料夾，接著執行(3) find.php便可得到需要的雨量資料。測站資料：檔名格式為 tmi_xxxxx_ok.txt，其中 xxxxx 為測站的編號，例如：tmi_93011_ok.txt。在config.php 中，已經將 11 http://project.snese.net/2008/02/12.htmlnoreply@blogger.com (snese)0tag:blogger.com,1999:blog-3119609358191447624.post-504546797221681478Thu, 14 Feb 2008 17:23:00 +00002008-02-15T02:01:53.199+08:00MPLog這邊與螺絲起子不同，主要是一些自娛娛人的想法和工具開發的記錄，更新的頻率可能會比其他網站還慢，畢竟點子不是天天有、時間也不是多到可以天天來玩這些東東，所以就順其自然啦！雖然只是個忘了都不覺得可惜的網站，但還是得為它取個名字。既然是記錄我的 Project 用的，所以一定可以用到 Log 這個單字，想來想去就決定使用 MPLog(My Project Log) ，以上就是這個網站的由來啦！最後希望能在這幾天內做個簡單的版面整理，不會特別精心設計，但至少要達到那應該有的水準。http://project.snese.net/2008/02/mplog.htmlnoreply@blogger.com (snese)0