职位描述
岗位职责:
1、设计与开发分布式网络爬虫系统,进行医疗健康领域相关数据的采集与更新。
2、负责爬虫核心算法的研究与优化,解决反爬虫策略,提升数据抓取效率与稳定性。
3、参与数据清洗、去重及结构化处理,保障数据质量与可用性。
4、维护和监控现有爬虫任务运行状态,及时排查并处理异常。
任职要求:
1、学历与经验不限,具备扎实的编程基础,熟练掌握Python或Java语言。
2、熟悉常见的爬虫框架(如Scrapy、BeautifulSoup、Selenium等)。
3、了解常用的反爬虫机制及应对策略(如IP代理、Headers伪装、验证码处理等)。
4、具备良好的问题分析与解决能力,对数据敏感,有团队协作精神。