利用python进行数据分析案例_如何进行大数据的采集和分析

利用python进行数据分析案例_如何进行大数据的采集和分析好几年前写了一篇《SSIS利用Microsoft Connector for Oracle by Attunity组件进行ETL!》,IT技术真是日新月异,这种方式对于新的SQL SERVER 数据库

利用SSIS进行SharePoint 列表数据的ETL

     好几年前写了一篇《SSIS利用Microsoft Connector for Oracle by Attunity组件进行ETL!》,IT技术真是日新月异,这种方式对于新的SQL SERVER 数据库版本已不适用了,比如SQL SERVER 2016 的SSIS不需要安装任何插件就可以抽取SharePoint 列表数据了,主要利用OData源实现读取SharePoint列表数据,比如需要抽取SharePoint test列表数据,具体如下:

     利用python进行数据分析案例_如何进行大数据的采集和分析

         该test列表数据有文件夹和项目,但实际只要抽取项目数据即可,比如11,22,fsd等,用VS 2015以上版本新建SSIS项目,并在数据流任务中添加Odata数据源获取test列表的项目数据即可,具体如下:

         利用python进行数据分析案例_如何进行大数据的采集和分析

         服务文档位置需要设置:http://<sharepoint站点url>/_vti_bin/listdata.svc,设置好后,选择集合:test

利用python进行数据分析案例_如何进行大数据的采集和分析

        利用python进行数据分析案例_如何进行大数据的采集和分析

      因为不需要取test列表的文件夹数据,因此需要在查询选项设置:$filter=内容类型 eq “项目”

      利用python进行数据分析案例_如何进行大数据的采集和分析

      查询选项支持的表达式类型如下:

      利用python进行数据分析案例_如何进行大数据的采集和分析

       利用python进行数据分析案例_如何进行大数据的采集和分析

       可以根据具体的业务场景,灵活进行配置,是不是很简单?后续将继续分享几篇SSIS方面的应用,欢迎交流指正!

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/8926.html

(0)
上一篇 2023-02-19
下一篇 2023-02-19

相关推荐

  • 设置mysql允许远程连接「终于解决」

    设置mysql允许远程连接「终于解决」最近在Linux上安装了Mysql,然后在Windows环境下通过Navicat来连接时,出现报错:1045 Access denied for user 'root'@&apo…

    2023-02-04
    155
  • 新特性解读 | 从 wireshark 看 MySQL 8.0 加密连接[亲测有效]

    新特性解读 | 从 wireshark 看 MySQL 8.0 加密连接[亲测有效]作者:秦福朗 爱可生 DBA 团队成员,负责项目日常问题处理及公司平台问题排查。热爱 IT,喜欢在互联网里畅游,擅长摄影、厨艺,不会厨艺的 DBA 不是好司机,didi~ 本文来源:原创投稿 *爱可…

    2023-02-18
    141
  • 如何搭建数据库自动化运维体系框架_大数据平台搭建与运维

    如何搭建数据库自动化运维体系框架_大数据平台搭建与运维
    需求背景: 随着业务的增长、对运维效率和质量的要求不断提高,对自动化运维体系的需求也不断增强。 目前笔者服务的很多中大型企业客户,运维其实还停留在“刀耕火种…

    2023-04-06
    164
  • 【转】 一条 SQL 的执行过程详解[亲测有效]

    【转】 一条 SQL 的执行过程详解[亲测有效]MySQL 体系架构 – 连接池组件 1、负责与客户端的通信,是半双工模式,这就意味着某一固定时刻只能由客户端向服务器请求或者服务器向客户端发送数据,而不能同时进行。 2、验证用户名和密码是否正确(数

    2023-05-04
    135
  • Python工程师的向上取整实践

    Python工程师的向上取整实践Python是一种高级编程语言,由于其简单易学,自由开源,易于维护等特点,成为数据科学、机器学习、人工智能等领域的首选语言。在实际应用中,Python精度舍入算法由于其内置函数round()的精度问题,可能存在向下取整误差,这个问题在金融、精密仪器、计量、科学研究等领域甚至可能引发巨大的损失。因此,Python工程师的向上取整实践显得尤为重要。

    2024-06-02
    51
  • pip安装的包的默认安装路径

    pip安装的包的默认安装路径pip是Python语言中最受欢迎的软件包安装工具之一,它可以帮助用户管理依赖关系和升级软件包。在使用pip安装软件包时,Python会按照不同的操作系统采用不同的默认路径进行安装。

    2024-09-22
    11
  • springboot~redis-cluster动态感应的配置[亲测有效]

    springboot~redis-cluster动态感应的配置[亲测有效]redis-cluster是一个高可用,可分片的分布式redis集群解决方案,建议使用springboot2.3及以上版本的脚手架,如果是<2.3版本,你需要手动添加LettuceConnect

    2023-06-12
    135
  • TDSQL(MySQL版)之DB组件升级

    TDSQL(MySQL版)之DB组件升级随着数据库产品的更新迭代,修复bug等等,产品避免不了会出现升级的需求。TDSQL(MysqL版)也会有这方面的需求。接下来我就说说如何对现有TDSQL(MySQL版)集群组件进行升级,而不影响业务。

    2023-04-22
    153

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注