DB 호환성 수정, 주석 추가, 타입 분류

노현종
Commit de0d0a1a84a79e6ff8a5296430493d80f563fa16 de0d0a1a 1 parent 1f2ccc0f
Showing 3 changed files with 82 additions and 55 deletions
Vulnerablity_DB/VulnCrawler/Program.cs
Vulnerablity_DB/VulnCrawler/VulnRDS.cs
Vulnerablity_DB/VulnUserCodeAnalyzer/Program.cs
--- a/Vulnerablity_DB/VulnCrawler/Program.cs
View file @de0d0a1
+++ b/Vulnerablity_DB/VulnCrawler/Program.cs
View file @de0d0a1
@@ -64,11 +64,7 @@ namespace VulnCrawler
         }
         /* 메인 동작 함수 */
-        public static void Run() {
+        public static void Run() {  
-
-
-
-
             // Repository 폴더들이 있는 주소를 지정하면 하위 폴더 목록을 가져옴(Repository 목록)
             Regex.CacheSize = 50;
@@ -88,35 +84,6 @@ namespace VulnCrawler
                 {
                     continue;
                 }
-                //var crawler = new VulnC();
-                //crawler.Init(directory);
-
-                //Tree commitTree1 = crawler.Repository.Lookup<Commit>("e589db7a6a9c8f1557007f2cc765ee28ad7a1edd").Tree;
-                ////Tree parentTree1 = crawler.Repository.Lookup<Commit>("344ba37bdc299660e1b1693b6999e5fe116893e1").Tree;
-
-                //Commit commit = crawler.Repository.Lookup<Commit>("e589db7a6a9c8f1557007f2cc765ee28ad7a1edd");
-
-                //foreach (var parent in commit.Parents)
-                //{
-                //    Console.WriteLine($"Parent ID:{parent.Sha}");
-                //    Tree commitTree = commit.Tree;
-                //    Tree parentTree = parent.Tree;
-                //    var patch = crawler.Repository.Diff.Compare<Patch>(commitTree, parentTree.);
-                //    foreach (var item in patch.Where(p => p.OldPath.EndsWith(".c")))
-                //    {
-
-                //        Console.WriteLine(item.Status);
-                //        Console.WriteLine(item.Path);
-                //        Console.WriteLine(item.Patch);
-                //    }
-                //    Console.ReadLine();
-
-                //}
-            
-
-                ////Console.WriteLine(patch.Content);
-                //Console.ReadLine();
-
                 // 템플릿 패턴화 T : VulnAbstractCrawler
                 VulnWorker.Run<VulnC>(directory);
             }
--- a/Vulnerablity_DB/VulnCrawler/VulnRDS.cs
View file @de0d0a1
+++ b/Vulnerablity_DB/VulnCrawler/VulnRDS.cs
View file @de0d0a1
@@ -67,6 +67,7 @@ namespace VulnCrawler
             public string FileName { get; set; } = "NULL"; /* FileName */
             public string FuncName { get; set; } = "NULL"; /* funcName */
             public string Url { get; set; } = "NULL"; /* Url */
+            public string Product { get; set; }
         }
         //connect
@@ -242,7 +243,7 @@ namespace VulnCrawler
                 {
                     Connection = Conn,
                     //db에 추가
-                    CommandText = "INSERT INTO vulnDetail(type, year, level, userName, cveName, publish_date,update_date, cveDetail,fileName, funcName, url) VALUES(@type, @year, @level, @userName, @cveName, @publish_date,@update_date, @cveDetail,@fileName, @funcName,@url)"
+                    CommandText = "INSERT INTO vulnDetail(type, year, level, userName, cveName, publish_date,update_date, cveDetail,fileName, funcName, url, product) VALUES(@type, @year, @level, @userName, @cveName, @publish_date,@update_date, @cveDetail,@fileName, @funcName,@url,@product)"
                 };
                 cmd.Parameters.AddWithValue("@type", $"{vuln.Type}");
                 cmd.Parameters.AddWithValue("@year", $"{vuln.Year}");
@@ -255,16 +256,16 @@ namespace VulnCrawler
                 cmd.Parameters.AddWithValue("@fileName", $"{vuln.FileName}");
                 cmd.Parameters.AddWithValue("@funcName", $"{vuln.FuncName}");
                 cmd.Parameters.AddWithValue("@url", $"{vuln.Url}");
-                
+                cmd.Parameters.AddWithValue("@product", $"{vuln.Product}");
                 cmd.ExecuteNonQuery();
                 //콘솔출력용
                 sql = "INSERT INTO vulnDetail(type, year, level, userName, cveName, publish_date,update_date, cveDetail,fileName, funcName, url) " +
                        $"VALUES({vuln.Type}, {vuln.Year}, {vuln.Level}, {vuln.UserName}, {vuln.CveName},{vuln.Publish_date}, {vuln.Update_date}, {vuln.CveDetail}, {vuln.FileName}, {vuln.FuncName}, {vuln.Url})";
-                Console.WriteLine(sql);
+              //  Console.WriteLine(sql);
             }
             catch (Exception e)
             {
-                Console.WriteLine(e.ToString());
+               // Console.WriteLine(e.ToString());
                 string es = e.ToString();
                 if (es.Contains("Connection must be valid and open"))
                 {
--- a/Vulnerablity_DB/VulnUserCodeAnalyzer/Program.cs
View file @de0d0a1
+++ b/Vulnerablity_DB/VulnUserCodeAnalyzer/Program.cs
View file @de0d0a1
@@ -111,10 +111,13 @@ namespace VulnUserCodeAnalyzer
     {
         static void Main(string[] args)
         {
+            /* 연도별 CVE JSON 파일 로드 */
             CVE_JSON.AutoLoad();
+            /* 크롤러 타입 */
             var crawler = new VulnC();
+            /* 매칭을 위한 자료구조 Bloom Filter */
             int capacity = 50000000;
             var filter = new Filter<string>(capacity);
@@ -146,10 +149,15 @@ namespace VulnUserCodeAnalyzer
                 Console.WriteLine("연결 실패");
                 return;
             }
+
+            /* hashDict = 사용된 사용자 함수 정보 */
             var hashDict = new Dictionary<int, HashSet<VulnAbstractCrawler.UserBlock>>();
+            /* 경과 시간 체크 */
             Stopwatch stopwatch = new Stopwatch();
             stopwatch.Start();
             DirectoryInfo dirInfo = new DirectoryInfo(@"C:\code");
+
+            /* 모든 .c 파일 탐색 */
             var codeFiles = dirInfo.EnumerateFiles("*.c", SearchOption.AllDirectories);
             int totalFileCount = codeFiles.Count();
             int count = 0;
@@ -158,17 +166,21 @@ namespace VulnUserCodeAnalyzer
                 Console.WriteLine(codeFile.FullName);
                 using (var reader = codeFile.OpenText())
                 {
+                    /* 사용자 코드를 함수별로 나눔 */
                     var dict = crawler.CrawlUserCode(reader);
                     foreach (var item in dict)
                     {
+                        /* hashDict의 키와 item.key는 함수 블록의 코드 길이 */
                         if (!hashDict.ContainsKey(item.Key))
                         {
                             hashDict[item.Key] = new HashSet<VulnAbstractCrawler.UserBlock>();
                         }
+                        /* item.Value는 각 코드 길이 마다의 블록 정보 
+                         * Bloom Filter에 코드 블록 해쉬값 기록
+                         */
                         foreach (var hash in item.Value)
                         {
                             hash.Path = codeFile.FullName;
-                            
                             hashDict[item.Key].Add(hash);
                             filter.Add(hash.Hash);
                         }
@@ -178,12 +190,11 @@ namespace VulnUserCodeAnalyzer
                     Console.WriteLine($"{count} / {totalFileCount} :: {per.ToString("#0.0")}%, 개체 수 : {hashDict.Count}");
                 }
             }
-            //Console.ReadLine();
-
             var findBlocks = new Queue<VulnAbstractCrawler.UserBlock>();
             var vulnDict = new Dictionary<string, IEnumerable<VulnRDS._Vuln>>();
             foreach (var set in hashDict)
             {
+                /* 사용자 코드의 길이 마다 DB로 부터 같은 길이의 CVE 레코드 목록 가져옴 */
                 var cveList = VulnRDS.SelectVulnbyLen(set.Key).Select(v => v.Cve).Distinct();
                 foreach (var cve in cveList)
                 {
@@ -191,6 +202,10 @@ namespace VulnUserCodeAnalyzer
                     {
                         vulnDict[cve] = new HashSet<VulnRDS._Vuln>();
                         var vulnHashSet = vulnDict[cve] as HashSet<VulnRDS._Vuln>;
+                        /* 같은 길이의 CVE에서 또 같은 종류의 CVE 레코드 목록 가져옴
+                         * 같은 종류의 CVE 레코드들이 사용자 코드에서 모두 포함되어야 
+                         * CVE를 가지고 있다고 인정하는 프로그램 정책 때문 
+                         */
                         var searchedCveHashList = VulnRDS.SelectVulnbyCve(cve);
                         Console.WriteLine($"cve:{cve}, {searchedCveHashList.Count()}개 가져옴");
                         foreach (var s in searchedCveHashList)
@@ -203,30 +218,37 @@ namespace VulnUserCodeAnalyzer
             }
             var findCveDict = new Dictionary<string, List<VulnAbstractCrawler.UserBlock>>();
             var findCveList = new HashSet<string>();
+            /* 본격적인 취약점 매칭 부분 */
             foreach (var vulnSet in vulnDict)
             {
                 //Console.WriteLine($"-----cve:{vulnSet.Key}");
                 bool match = false;
                 foreach (var vuln in vulnSet.Value)
                 {
+                    /* 사용자 코드 해쉬 저장해논 bloom filter에 취약점 레코드 해쉬값들이 포함되는지 확인
+                     * 포함이 된다는 건 해당 취약점 레코드가 사용자 코드에도 있다는 뜻(취약점)
+                     * 같은 종류의 CVE 레코드가 전부 필터에 포함된다면 취약점으로 판단한다.
+                     */
                     if (filter.Contains(vuln.BlockHash))
                     {
-                       // Console.WriteLine($"필터 확인 : {vuln.BlockHash}");
                         if (hashDict.ContainsKey(vuln.LenFunc))
                         {
+                            /* Bloom Filter는 아쉽게도 포함 여부만 알 수 있기에 
+                             * 포함되었음을 알았다면 검색해서 정보를 구한다. */
                             var userBlock = hashDict[vuln.LenFunc].FirstOrDefault(b => b.Hash == vuln.BlockHash);
                             if (userBlock == null)
                             {
-                                //Console.WriteLine("userBlock이 비어있습니다.");
                                 continue;
                             }
+                            /* 해당 유저 블록을 임시 저장한다.
+                             * 밑에서 블록 정보를 DB로 전송하기 위해서다. 
+                             */
                             if (!findCveDict.ContainsKey(vuln.Cve))
                             {
                                 findCveDict[vuln.Cve] = new List<VulnAbstractCrawler.UserBlock>();
                             }
                             userBlock.Url = vuln.Url;
                             findCveDict[vuln.Cve].Add(userBlock);
-                            //Console.WriteLine($"CVE:{vuln.Cve}, {userBlock.FuncName}, 블록 확인 : DB : {vuln.BlockHash}, User : {userBlock.Hash}");
                             match = true;
                         }
                     }
@@ -236,10 +258,11 @@ namespace VulnUserCodeAnalyzer
                         break;
                     }
                 }
+                /* 취약점 레코드가 전부 있어야 CVE 찾음 인정 */
                 if (match)
                 {
                     Console.WriteLine($"CVE 찾음 {vulnSet.Key}");
-
+                    /* 찾았으면 cve값을 기록함 밑에서 찾은 cve 정보 전송하기 위해 */
                     findCveList.Add(vulnSet.Key);
                 }
                 else
@@ -248,22 +271,18 @@ namespace VulnUserCodeAnalyzer
                 }
             }
             stopwatch.Stop();
+            /* 매칭 끝 후처리 (출력, DB 전송 등) */
             var hours = stopwatch.Elapsed.Hours;
             var minutes = stopwatch.Elapsed.Minutes;
             var seconds = stopwatch.Elapsed.Seconds;
             Console.WriteLine($"경과 시간 {hours.ToString("00")}:{minutes.ToString("00")}:{seconds.ToString("00")}");
-            // CVE JSON 검색
             Console.WriteLine($"찾은 CVE 개수 : {findCveList.Count}");
-
             var yearMatch = new Regex(@"CVE-(\d{4})-(\d+)");
             foreach (var cve in findCveList)
             {
                 Console.WriteLine(cve);
-
                 var c = yearMatch.Match(cve);
-
                 int year = int.Parse(c.Groups[1].Value);
-
                 if (!CVE_JSON.CveDict.ContainsKey(year))
                 {
                     continue;
@@ -273,19 +292,59 @@ namespace VulnUserCodeAnalyzer
                     continue;
                 }
                 var data = CVE_JSON.CveDict[year][cve];
+
+                /* 취약점 타입 분류 */
+                string type = "NORMAL";
+                if (data.Detail.IndexOf("overflow", StringComparison.CurrentCultureIgnoreCase) > 0)
+                {
+                    type = "OVERFLOW";
+                }
+                else if (data.Detail.IndexOf("xss", StringComparison.CurrentCultureIgnoreCase) > 0)
+                {
+                    type = "XSS";
+                }
+                else if (data.Detail.IndexOf("injection", StringComparison.CurrentCultureIgnoreCase) > 0)
+                {
+                    type = "SQLINJECTION";
+                }
+                else if (data.Detail.IndexOf("dos", StringComparison.CurrentCultureIgnoreCase) > 0)
+                {
+                    type = "DOS";
+                }
+                else if (data.Detail.IndexOf("Memory", StringComparison.CurrentCultureIgnoreCase) > 0)
+                {
+                    type = "MEMORY";
+                }
+                else if (data.Detail.IndexOf("CSRF", StringComparison.CurrentCultureIgnoreCase) > 0)
+                {
+                    type = "CSRF";
+                }
+                else if (data.Detail.IndexOf("inclusion", StringComparison.CurrentCultureIgnoreCase) > 0)
+                {
+                    type = "FILEINCLUSION";
+                }
+                else if (data.Detail.IndexOf("EXCUTE", StringComparison.CurrentCultureIgnoreCase) > 0)
+                {
+                    type = "EXCUTE";
+                }
+                var urlBytes = Convert.FromBase64String(findCveDict[cve].FirstOrDefault().Url);
+                string url = Encoding.Unicode.GetString(urlBytes);
+
+                /* DB 전송 */
                 VulnRDS.InsertVulnDetail(new VulnRDS.Vuln_detail
                 {
                     CveName = data.Code,
-                    Type = data.Type,
+                    Type = type,
                     Level = data.Level.ToString(),
                     Year = data.Year.ToString(),
                     CveDetail = data.Detail,
-                    Publish_date = data.Publish_Date.ToString(),
+                    Publish_date = data.Publish_Date.ToString("yyyy-MM-dd"),
-                    Update_date = data.Update_Date.ToString(),
+                    Update_date = data.Update_Date.ToString("yyyy-MM-dd"),
                     UserName = "samsung",
-                    Url = findCveDict[cve].FirstOrDefault().Url,
+                    Url = url,
-                    FileName = findCveDict[cve].FirstOrDefault().Path,
+                    FileName = findCveDict[cve].FirstOrDefault().Path.Replace(@"C:\code", ""),
                     FuncName = findCveDict[cve].FirstOrDefault().FuncName,
+                    Product = data.Type,
                 });
                 Console.WriteLine("추가 완료");
             }