블로그는 귀차니즘

  이틀 의 공백기간 후 올리는 포스팅 이군요. 퇴근시간이 약간 늦어지는 것 때문에 막상 도착하니 짧은 시간에 무엇을 할까 고심을 많이 했습니다. 최근 계속해서 알고리즘 트레이닝 북에 있는 문제를 하나씩 풀어가고 있긴 했지만 워낙 남은 시간이 짧아 조금 그렇더군요.

  그래서 오늘 마침 빨리 퇴근한 김에 수정하고 있는 프로그램에서 쓰고 있는 boost::tokenizer 를 보기로 했습니다. 아주 예전 C 부터 사용하던 분들이라면 strtok 함수를 이용하여 토큰을 분리하거나, 직접 코드를 작성하여 코드를 분리하곤 했습니다. 파싱을 통한 토큰 분리를 수행해 주는 여타 클래스도 존재하긴 합니다.
  그런 김에 boost::tokenizer를 보니 stl과 비슷한 방법으로 토큰 분리를 해주는 클래스를 보니 무척 반갑더군요. 그런데 문제는 하나 있었습니다. 일단 코드를 한 번 보도록 하겠습니다.

Tokenizer.cpp (Language : cpp)

1. #include <iostream>
2. #include <boost/tokenizer.hpp>
4. int main( int argc, char **argv )
5. {
6.     std::string aa = "a bb ccc ddd";
8.     boost::tokenizer<> Token(aa);
9.     for(boost::tokenizer<>::iterator Iter=Token.begin(); Iter!=Token.end();++Iter)
10.         std::cout << *Iter << "\n";
12.     return 0;
13. }

  위 코드 수행시 결과는 a\nbb\rccc\nddd 입니다. \n는 뉴라인이라고 생각하시면 결과를 추측하실 수 있겠죠? 간단하게 출력을 수행하는 부분인데, 기본적인 이 방법으로는 std::string 형인 aa에 한글이 섞여있는 문자열을 적을경우 분리가 불가능하며 심지어 에러를 표시합니다.
  그래서 선언을 봤는데 token_functions.hpp에 있는 seperator를 기본으로 사용하듯이 한글이나 2바이트 확장 아스키에 대해서는 추가로 seperator 클래스를 구현해주어야 하더군요.

sjis_seperator.cpp (Language : cpp)

1. class escaped_list_separator_sjis
2. {
3.   private:
4.     bool last_;
6.     enum {
7.         QUOTE     = '\"',  // 囲み記号
8.         SEPARATOR = ',',        // 区切り記号
9.         ESCAPE    = '\\',       // エスケープ記号
10.     };
12.     // マルチバイトコードの1byte目判定
13.     bool is_multibyte1(char c_)
14.     {
15.         unsigned char c = static_cast<unsigned char>(c_);
16.         return ((c >= 0x81 && c <= 0x9f) || (c >= 0xe0 && c <= 0xfc));
17.     }
19.     // マルチバイトコードの2byte目判定
20.     bool is_multibyte2(char c_)
21.     {
22.         unsigned char c = static_cast<unsigned char>(c_);
23.         return ((c >= 0x40 && c <= 0x7e) || (c >= 0x80 && c <= 0xfc));
24.     }
26.     // エスケープ文字の処理
27.     template <typename iterator, typename Token>
28.     void do_escape(iterator& next, iterator end, Token& tok)
29.     {
30.         if (++next == end)
31.             throw boost::escaped_list_error(std::string("cannot end with escape"));
33.         switch (*next) {
34.           case 'n':
35.             tok += '\n';
36.             break;
37.           case QUOTE:
38.           case SEPARATOR:
39.           case ESCAPE:
40.             tok += *next;
41.             break;
42.           default:
43.             throw boost::escaped_list_error(std::string("unknown escape sequence"));
44.         }
45.     }
47.     // マルチバイト文字の処理
48.     template <typename iterator, typename Token>
49.     void do_multibyte(iterator& next, iterator end, Token& tok)
50.     {
51.         tok += *next;
53.         if (++next == end)
54.             throw boost::escaped_list_error(std::string("cannot end with multi byte"));
55.         if (is_multibyte2(*next)) {
56.             tok += *next;
57.         } else {
58.             throw boost::escaped_list_error(std::string("unknown multi byte code"));
59.         }
60.     }
62.   public:
63.     escaped_list_separator_sjis(void) : last_(false)
64.     {
65.     }
67.     void reset() {last_=false;}
69.     template <typename InputIterator, typename Token>
70.     bool operator()(InputIterator& next, InputIterator end, Token& tok)
71.     {
72.         bool bInQuote = false;
73.         tok = Token();
75.         if (next == end) {
76.             if (last_) {
77.                 last_ = false;
78.                 return true;
79.             } else {
80.                 return false;
81.             }
82.         }
84.         last_ = false;
86.         for ( ; next != end; ++next) {
87.             switch (*next) {
88.               case ESCAPE:
89.                 do_escape(next, end, tok);
90.                 break;
92.               case SEPARATOR:
93.                 if (!bInQuote) {
94.                     ++next;
95.                     last_ = true;
96.                     return true;
97.                 } else {
98.                     tok+=*next;
99.                 }
100.                 break;
102.               case QUOTE:
103.                 bInQuote=!bInQuote;
104.                 break;
106.               default:
107.                 if (is_multibyte1(*next)) {
108.                     do_multibyte(next, end, tok);
109.                 } else {
110.                     tok += *next;
111.                 }
112.                 break;
113.             }
114.                }
115.         return true;
116.     }
117. };

Token.cpp (Language : cpp)

1. vector<string> fromCSV2_3(const string& csv)
2. {
3.     vector<string> data;
5.     boost::tokenizer<escaped_list_separator_sjis> tok(csv);
7.     copy(tok.begin(), tok.end(), back_inserter(data));
9.     return data;
10. }

  위와 같은 클래스를 구현해주고, 해당 tokenizer에서 사용하는 TokenizerFunc Template 인자에 넣어주면 됩니다. 어차피 Template 이라는 자체가 결과적으로는 Define 치환결과하고 동일하다고 볼 수 있으니까요. 예전 strtok혹은 개별 토큰 기능을 구현하기 보다는 이런 클래스를 사용한다면 에러가 더 적게 발생하지 않을까요? 당연한 말이겠지만 이미 이런 클래스들은 여러사람이 사용하고 문제점은 이미 검증되었으니까요.
  만약 이런 클래스 구현을 통한 확장 아스키 지원이 조금 걸리면 Unicode 변환 -> Tokenizing -> 확장아스키 변환 이런 방법도 있겠네요. 사실 최근 대세가 Unicode로 돌아선지 꽤 되었다 보니, 이미 Unicode 형태로 처리를 하고 있을지도 모르겠습니다. 그래도 예전에 사용했거나 필요할 때 이 글을 보면서 구현을 하면 될 듯 하군요. 그럼 오늘도 즐거운 하루 되세요..^^

크리에이티브 커먼즈 라이센스

이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.