爬虫工程师

岗位前置语:
1、科技型创业公司，小天花板级技术团队，事密则成。
2、接受线上、线下Part-time，结果导向，不拘泥于形式。
3、未来定位为一家以技术驱动业务的科技独角兽。

职位描述:

1、遵循robots协议，参与爬虫系统的建设与优化，满足各类业务数据需求;
2、负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程;
3、帮助团队攻克网页信息抽取技术算法的难关，提升海量数据系统的抓取效果与性能。
4、关注最新数据挖掘、抓取技术，不断维护和优化现有爬虫框架，确保抓取的高效和稳定性。

职位要求:
1、本科或研究生以上学历，3-5年爬虫抓取采集相关工作经历;
2、熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/Scrapy/PhantomJS等;
3、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力;
4、熟悉常见反爬封禁策略，并具备相关的实战经验。

加分项:
有产业链数据相关经验者优先考虑。
有大模型应用开发相关经验者优先考虑。
熟悉分布式爬虫框架(如StormCrawler、Heritrix等)
有大数据相关技术(如Hadoop、Spark、Kafka)的使用经验