岗位职责：1、负责分布式网络爬虫系统及数据库的设计与开发；2、维护和优化已有的爬虫服务；3、负责爬虫核心算法的策略优化研究，设计爬虫策略和防屏蔽规则，充分利用资源，提升网页抓取的效率和质量；4、负责数据平台建设，数据清洗、处理,提供数据服务以及数据管理；5、分析、理解大数据业务需求,设计技术方案并落地实施6、处理各个业务在使用数据平台过程中的各种问题，分析并给出优化方案；7、可以独立跟进需求项目开发进度；任职资格:1、计算机相关专业，4年及以上数据采集和大数据生态开发工作经验；2、Python服务器应用开发经验，熟悉Django/flask等web开发框架。并具有独立搭建、维护和优化Django/flask框架和系统的能力。3、掌握网络爬虫开发原理，对互联网各种类型数据交互模式熟悉，知道如何处理需登录网站、动态网页等各种情况下的数据采集方法。4、有网络爬虫开发经验、有scrapy等开源抓取工具开发经验优先。5．熟悉常用数据库(MySQL/Oracle/SQLSever) ，熟悉索引技术和SQL优化6．精通大数据生态技术：有Hadoop、Zookeeper、HBase、Hive、Flume、Kafka、Sqoop、Spark等实际项目经验。7、对代码和设计质量有严格要求，重视代码检查和审核，良好的编程习惯的标准；8、具备良好的学习能力、沟通能力和团队协作精神，对技术有非常强烈的热情；

苏州百捷信息科技有限公司隶属于赛博威集团，广东赛博威信息科技有限公司（以下简称：赛博威）是信息产业内多元化发展的大型企业，自成立以来，通过信息技术革新和行业智慧创新，以及凭借众多的高科技和IT专家和人才，结合超25年核心行业（大消费、房地产物业、石化等）经验，致力于为企业提供数字化咨询、软件技术实施与运营服务。赛博威在华南（广州）、华东（苏州）设有两大交付中心，同时在华南（广州）还设有服务中心，业务范围面向全国，辐射亚太，目前公司员工已超过600人，其中80%为专业技术团队人员。赛博威深耕大消费行业，凭借丰富的资源与经验沉淀，已形成一体化数字营销平台-TPM、微镜大数据分析、新零售SBC产业电商平台等企业数字赋能产品系列，同时面向房地产、物业以及石化行业，有成熟的智慧社区物管系统，智慧物流管理系统、无人值守地磅称重系统等智慧科技产品系列。目前赛博威已成为宝洁、玛氏、维他奶、屈臣氏、强生、小罐茶、中石化、广州地铁、泛海物业、珠海正方、富力地产、欧派等多家知名大型企业的长期IT软件服务合作伙伴。未来，赛博威将秉承面向客户-客户至上、诚实守信、合作共赢，面向员工-探索创新、简单快乐、彼此成就的企业价值观以及全渠道数字营销产品体系、扎实的大数据分析能力与IT建设及运维服务能力，携手B端客户为C端消费者提供更便捷、舒适的生活体验，致力于成为企业数字赋能的领跑者。苏州地址：工业园区启月街288号紫金东方C座2楼216广州：广州市越秀区先烈中路73号穗丰大厦C座7-8楼 广州市黄埔区科学城彩频路11号广东软件园F栋10楼、12-13楼