上海市企业数据名录爬取采集与收集

上海市企业数据名录爬取采集与收集2019年全年上海市新设立各类市场主体43.15万户。其中,新设企业36.76万户;新设个体工商户6.35万户;新设农民专业合作社349户。日均新设企业1476户。至年末,上海市共有各类市场主体27…

上海市企业数据名录爬取采集与收集

    2019年全年上海市新设立各类市场主体43.15万户。其中,新设企业36.76万户;新设个体工商户6.35万户;新设农民专业合作社349户。日均新设企业1476户。至年末,上海市共有各类市场主体270.43万户。其中,企业220.77万户;个体工商户48.59万户,;农民专业合作社1.07万户。

上海市唯一一个城市是企业比个体工商户多的城市,这也体现上海的企业高质量发展。

下面我会解释如何收集爬取上海的市场主体(企业)。

 

一、官方平台

1、国家企业信用公示平台

网站:http://sh.gsxt.gov.cn/   

国家企业信用公示平台,应该是一个数据比较及时和完整的平台,设计到很多相关企业公示注册信息。但是平台没有地方公布最新注册企业名单,只能做到企业注册名称,信用代码才能查询相信息。

2、上海信用

网站:http://www.creditshanghai.org.cn/credit/f/credit/query?model=tyshxydm&page=3  

上海信用平台,应该是个地方企业信息展示的比较少的平台,但是本地唯一的信用平台。这个平台也没有公布最新企业名单,但在查询的时候的验证码比国家企业信用平台简单的多。

 

二、第三方平台

1、企查查

网站:https://www.qcc.com/g_SH

页面显示最新注册的上海企业信息和更新的信息,不过一个搜索条件可以显示5000调数据,可以更具上海的区域:
黄浦区、徐汇区、长宁区、静安区、普陀区、虹口区、杨浦区、闵行区、宝山区、嘉定区、浦东新区、金山区、松江区、青浦区、奉贤区、崇明区 进行企业查询,,还是能查询到很多注册企业信息。

 

2、天眼查

网站:https://www.tianyancha.com/search?base=sh

和企业和类似,可以通过区域,行业,注册资本,注册时间等多维度的查询企业信息。

 

这里还有企查猫、启信宝等大多的第三方平台,他们有一个共同特征就是能查询到相关的数据,由于平台都想买接口,所以只能提供部分数据,让爬虫爬取,如果要取得全量的数据,那么就需要调用接口。

 

三、数据全量更新平台

网站:https://www.tngou.net/tmall/show/27

现在上海全量数据,一般提供全量数据的比较少,甘三数据网主要是提供全量数据+数据更新业务,和其他平台不一样的是不提供数据业务,主要做数据采集和更新。

可以通过下载上海企业数据,和调用企业更新接口来实现企业本地数据和更新。

测试更新地址:https://www.tngou.net/openapi/v1/comp/complist?api_id=1&ProvinceCode=31&Type=1&sign=866448ec11ae82412c2805e30db7e757&ssl=on

 

总结:  如果有住够的人力成本,和对数据要求比较高可以使用官方平台;如果只是想使用数据,不涉及到本地分析和应用可以直接使用第三方平台的API接口; 如果想在本地做数据存储和分析可以通过第三方数据和更新功能;当然也可以自己抓取数据,后期我也会分析如何抓取上海公司数据,也可以联系我了解相关数据抓取方式和策略。

果需要相关的代码和数据,可以联系作者(QQ:397713472 电话:13880334484[微信同号])。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/8474.html

(0)
上一篇 2023-02-27 16:30
下一篇 2023-02-27

相关推荐

  • SQL 关联子查询[通俗易懂]

    SQL 关联子查询[通俗易懂]学习重点 关联子查询会在细分的组内进行比较时使用。 关联子查询和 GROUP BY 子句一样,也可以对表中的数据进行切分。 关联子查询的结合条件如果未出现在子查询之中就会发生错误。 一、普通的子查询和

    2023-04-29
    103
  • Ubuntu如何安装Mysql+启用远程连接[完整版]

    Ubuntu如何安装Mysql+启用远程连接[完整版]唉。下面是我花了不知道多少个小时踩过的所有坑总结出来的血泪史,希望能帮你们少踩一些坑吧,正常来讲一步一步下来就不会出现任何问题了。 背景 用的是百度云的云服务器(其他云服务器同理),系统是Ubuntu

    2023-05-23
    105
  • python调用卸载dll,python卸载教程[通俗易懂]

    python调用卸载dll,python卸载教程[通俗易懂]可以的,python中一般有两种方法调用DLL中的函数。1.直接使用函数名,函数名可以用dependencywalker等工具查看。(这个工具在vc或者vs的工具包中)[python]viewplaincopyimportctypesdll=CTYPES.CDLL(“test.dll”)res=test(3,4)2.使用Ordinal,Ordinal可以用dependencywalker等工具查看。[python]viewplaincopyimportctypesdll=CTYPES.CDLL(“test.dll”)res=dll[1](3,4)

    2023-08-24
    70
  • mysql试题库_数据库试题

    mysql试题库_数据库试题1.取得每个部门最高薪水的人员名称: 先取出每个部门的最高薪水,再作为临时表与(对应最高薪水的人员名称表)连接……

    2023-05-01
    102
  • 记一次数据库迁移的踩坑过程

    记一次数据库迁移的踩坑过程业务场景 最近的一个项目最开始由于资源问题,mysql 数据库是部署在一台云服务器上的,这两天客户提供了云数据库,所以原来在部署在 ECS 服务器上的数据库,需要迁移到云数据库。在云数据库上的优势很…

    2023-03-01
    91
  • 东方优播,或许是新东方在线的救命解药[通俗易懂]

    东方优播,或许是新东方在线的救命解药[通俗易懂]出品 l 观点财经 作者 l 大钊 “每人有每人的烦恼,每人的烦恼都是按照自己的尺寸造成的,只不过,人人的烦恼都不一样。” 这是法国文学家罗曼·罗兰(Romain Rolland)在其著作《母与子》…

    2023-04-10
    111
  • DbUTils「建议收藏」

    DbUTils「建议收藏」DBUTILS dbutils是apeach公司 封装了jdbc的jar包用来 便捷操作数据库: 核心类:QueryRunnner > 核心方法:query()查询 update()增删改 具体使用…

    2023-04-01
    119
  • oracle 删除目录_城建档案馆归档目录最新

    oracle 删除目录_城建档案馆归档目录最新对客户DB环境进行巡检过程中,竟然发现其中一个RAC数据库的两个节点的ALERT日志均有错误,其中一个节点日志文件更是很快到达了2G,马上提起分析日志暴增的原因。初步查看发现,两个节点通过PL/SQ…

    2022-12-22
    109

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注