问题发布与敏感词过滤

起因

这其实是上节课的内容了，不过还是记录一下好了；

问题发布

题外话

• 对一个web程序，架构是不变的，service负责拿数据，上层也不在意你是怎么取得的；所以一个功能的实现，要从建立数据库开始，然后是与之对应的model，然后是DAO层，service，然后controller就可以去的数据了，然后再通过model传到页面上，数据量大的话，可以使用ViewObject 来进行传输；
• 切面可以让我们在业务中横插一刀，不管是打印log信息，还是做什么，都很好用；拦截器则是针对请求，我们可以在拦截器中检验用户状态，也可以进行重定向；

部分重点

• 发布问题其实就是在数据库中添加一条记录，然后刷新页面，页面又会提取几条最新的数据，这样就发布了问题，代码上没什么困难；
• 问题表有一个created_date的索引，据说如果想要找到一个范围的数据，这个索引还是有用处的；

  敏感词过滤

  html便签过滤

• 这个其实就是调用函数就ok了，做的也就是将HTML的关键词给转义掉；

  question.setContent(HtmlUtils.htmlEscape(question.getContent()));

敏感词与前缀树

• 重点就是这个部分了啦

• 前缀树的结构：会持有一个map或者一个数组表明它有那些子节点，然后判断敏感词是不是能够继续，另外就是是否为关键词，这里的布尔值有局限性，就是当一个字符串为另一个的前缀时，不过这也取决于我们的文本是如何写的；简单的方法是结尾结点保存沿途字符所构成的字符串

  private class TrieNode {
        //是否为关键词结尾的结点
        private boolean end = false;
        //前缀树中的一个结点持有一个map，这个map中就是当前结点的子结点
        private Map<Character, TrieNode> subNodes = new HashMap<Character, TrieNode>();
  
        //增加子节点
        public void addSubNode(Character key, TrieNode node) {
            subNodes.put(key, node);
        }
  
        //得到子节点
        TrieNode getSubNode(Character key) {
            return subNodes.get(key);
        }
        //判断是否为结尾节点
        boolean isKeyWordEnd() {
            return end;
        }
        //设置为结尾结点
        void setKeyWord(boolean end) {
            this.end = end;
        }
    }

• 增加敏感词的函数，其实还是蛮容易懂得了

  /**
   * 增加关键字的结点
   * 每次从lineText中读一个字符。然后查询当前结点下有没有这个字符
   * 如果没有就创建一下，然后当前指针向下移动
   * 如果lineText走到最后，说明为结尾结点
   * @param lineText
   */
  private void addWord(String lineText) {
      TrieNode temp = rootNode;
      for (int i = 0; i < lineText.length(); i++) {
          Character c = lineText.charAt(i);
          TrieNode node = temp.getSubNode(c);
          if (node == null) {
              node = new TrieNode();
              temp.addSubNode(c, node);
          }
          temp = node;
          if (i == lineText.length() - 1) {
              temp.setKeyWord(true);
          }
      }
  }

• 过滤函数

  //判断是否为故意扰乱敏感词的字符
  private boolean isSymbol(char c) {
      int ic = (int) c;
      //东亚文字
      return !CharUtils.isAsciiAlphanumeric(c) && (ic < 0x2E80 || ic > 0x9FFF);
  }
  
  /**
   * 用来过滤的函数
   * @param text
   * @return
   */
  public String filter(String text) {
      if (StringUtils.isBlank(text)) {
          return text;
      }
      StringBuilder result = new StringBuilder();
      String replaceMent = "***";
      TrieNode tempNode = rootNode;
      //begin一直向后移动，代表当前搜索的敏感词的头结点
      int begin = 0;
      //position是当前敏感词的某一个结点，来回移动的那个
      int position = 0;
  
      while (position < text.length()) {
          char c = text.charAt(position);
          if (isSymbol(c)) {
              //如果还在rootNode，说明还没进前缀树，
              //这部分奇怪的字符直接加进来就好
              //否则就跳过，只找那些关键字过滤
              if (tempNode == rootNode) {
                  result.append(c);
                  begin++;
              }
              position++;
              continue;
          }
          tempNode = tempNode.getSubNode(c);
          //当前结点为null，说明不是敏感词
          if (tempNode == null) {
              result.append(text.charAt(begin));
              position = begin + 1;
              begin = position;
              tempNode = rootNode;
          } else if (tempNode.isKeyWordEnd()) {
              result.append(replaceMent);
              position = position + 1;
              begin = position;
              tempNode = rootNode;
          } else {
              ++position;
          }
      }
      //position走到了最后，别忘了把begin剩下的也加进来，
      //不过也有可能begin也没有啥嘞
      result.append(text.substring(begin));
      return result.toString();
  }