GitHub中文论坛

帖子

• ---

  GitHub官网汉化插件
  K k1995

  @9closehauled 有啊，https://greasyfork.org/zh-CN/scripts/407485-github-internationalization

  Github & Git github github-i18n

• ---

  GitHub中文社区域名迁移公告
  A admin

  GitHub中文社区 启用新域名github-zh.com，原域名githubs.cn暂时停止访问。

  Github & Git

• ---

  怎么解决pycharm爬取天气预报存入mysql总是重复存入数据？
  K k1995

  你代码写的太复杂了，完全不需要selenium，数据别人其实都结构化好了，在

  var weather_data = {
  ...
  }
  

  这个变量里面。

  下面代码是我解析数据的例子

  import json
  import requests
  import re
  
  # 获取 HTML
  rsp = requests.get("https://tianqi.2345.com/")
  rsp.raise_for_status()
  
  # 正则匹配weather_data变量，获取结构化后数据
  matched = re.search(r"daily:(.*)", rsp.text)
  data = matched.group().replace("daily:", "")
  
  # 解析JSON
  data = json.loads(data)
  for item in data:
      if 'hourly' in item:
          print("--------------------------")
          for i in item['hourly']:
              print(i['day'], i['time_origin_text'], i['aqi_info'], i['weather'])
  

  输出采集结果

  --------------------------
  10月26日 0时 良 中雨
  10月26日 1时 良 小雨
  10月26日 2时 良 小雨
  10月26日 3时 良 小雨
  10月26日 4时 良 小雨
  10月26日 5时 良 小雨
  10月26日 6时 优 小雨
  10月26日 7时 优 小雨
  10月26日 8时 优 小雨
  10月26日 9时 优 小雨
  10月26日 10时 优 小雨
  10月26日 11时 优 小雨
  10月26日 12时 优 小雨
  10月26日 13时 优 小雨
  10月26日 14时 优 小雨
  10月26日 15时 优 小雨
  ....
  

  技术交流