WordPress指定文章不让蜘蛛爬取的方法

前段时间在开发一个客户的网站中，客户需要让某一个指定的文章不让蜘蛛爬取，在这里找到了一段代码可以完成此功能，非常实用，有需要的朋友可以拿去用！

<?php
// 需要说明的是，如果你的WordPress站点开启了页面缓存，此功能无效
function hithemese_add_custom_box() {
  if (function_exists('add_meta_box')) {    
    add_meta_box('hitheme_allow_se', '搜索引擎', 'hitheme_allow_se', 'post', 'side', 'low');
    add_meta_box('hitheme_allow_se', '搜索引擎', 'hitheme_allow_se', 'page', 'side', 'low');
  }
}
add_action('add_meta_boxes', 'hithemese_add_custom_box');

function hitheme_allow_se() {
  global $post;
  
  //添加验证字段
  wp_nonce_field('hitheme_allow_se', 'hitheme_allow_se_nonce');
  
  $meta_value = get_post_meta($post->ID, 'hitheme_allow_se', true);
  if($meta_value)
    echo '<input name="hitheme-allow-se" type="checkbox" checked="checked" value="1" /> 屏蔽搜索引擎';
  else
    echo '<input name="hitheme-allow-se" type="checkbox" value="1" /> 屏蔽搜索引擎';
}

// 保存选项设置
function hithemese_save_postdata($post_id) {
  // 验证
  if ( !isset( $_POST['hitheme_allow_se_nonce']))
    return $post_id;

  $nonce = $_POST['hitheme_allow_se_nonce'];

  // 验证字段是否合法
  if (!wp_verify_nonce( $nonce, 'hitheme_allow_se'))
    return $post_id;

  // 判断是否自动保存
  if (defined('DOING_AUTOSAVE') && DOING_AUTOSAVE) 
      return $post_id;

  // 验证用户权限
  if ('page' == $_POST['post_type']) {
    if ( !current_user_can('edit_page', $post_id))
      return $post_id;
  }
  else {
    if (!current_user_can('edit_post', $post_id))
      return $post_id;
  }
  
  // 更新设置
  if(!empty($_POST['hitheme-allow-se']))
    update_post_meta($post_id, 'hitheme_allow_se', '1');
  else
    update_post_meta($post_id, 'hitheme_allow_se', '0');
}
add_action('save_post', 'hithemese_save_postdata');

// 对于设置不允许抓取文章和页面
// 禁止搜索引擎抓取，返回404
function do_hitheme_allow_se() {
  // 本功能只对文章和页面有效
  if(is_singular()) {
    global $post;
    $is_robots = 0;
    $hitheme_allow_se = get_post_meta($post->ID, 'hitheme_allow_se', true);

    if(!empty($hitheme_allow_se)) {
      // 下面是爬虫Agent判断关键字数组
      // 有点简单，自己优化一下吧
      $bots = array(
            'Baiduspider',
            'Googlebot',
            'sogou spider',
            'Sogou web spider',
            'YodaoBot',
            'Bingbot',
            'Slurp',
            'MSNBot',
            'yahoo-blogs',
            'psbot',
            'Yandex',
            'Yeti',
            'blogsearch',
            'EasouSpider',
            'Mediapartners-Google'
            );
    
      $useragent = $_SERVER['HTTP_USER_AGENT'];
    
      if(!empty($useragent)) {
        foreach ($bots as $lookfor) {
          if (stristr($useragent, $lookfor) !== false) {
            $is_robots = 1;
            break;
          }
        }
      }

      // 如果当前文章/页面禁止搜索引擎抓取，返回404
      // 当然你可以改成403
      if($is_robots) {
        echo '<meta name="robots" content="noindex,nofollow" />';
      }
    }
  }
}
add_action('wp_head', 'do_hitheme_allow_se');