【机器学习 Azure Machine Learning】Azure Machine Learning 访问SQL Server 无法写入问题 (使用微软Python AML Core SDK)[通俗易懂]

【机器学习 Azure Machine Learning】Azure Machine Learning 访问SQL Server 无法写入问题 (使用微软Python AML Core SDK)[通俗易懂]
问题情形 使用Python SDK在连接到数据库后,连接数据库获取数据成功,但是在Pandas中用 to_sql 反写会数据库时候报错。错误信息为:Prog…

	【机器学习 Azure Machine Learning】Azure Machine Learning 访问SQL Server 无法写入问题 (使用微软Python AML Core SDK)[数据库教程]

问题情形

 使用Python SDK在连接到数据库后,连接数据库获取数据成功,但是在Pandas中用 to_sql 反写会数据库时候报错。错误信息为:ProgrammingError: (‘42000‘, “[42000] [Microsoft][SQL Server Native Client 11.0][SQL Server]Invalid object name ‘sqlite_master‘. (104014) (SQLExecDirectW)”)。

出错代码片段:

import pyodbc
import itertools
import sys
from sqlalchemy import create_engine 
import urllib
import scipy.stats as stats

conn = pyodbc.connect(rDRIVER={SQL Server Native Client 11.0};SERVER=database.database.chinacloudapi.cn;DATABASE=db;UID=user;PWD=pwd)

rmdf[[‘]].to_sql(xxxx_base,con = conn,index=False, if_exists=append, schema=ai)

错误截图:

 技术图片

详细日志

ActivityCompleted: Activity=to_pandas_dataframe, HowEnded=Failure, Duration=672.71 [ms], Info = 
{activity_id: e850f767-0c12-4864-8d01-d11dc5817ec9, activity_name: to_pandas_dataframe, activity_type: PublicApi, app_name: TabularDataset,
source: azureml.dataset, version: 1.0.76, completionStatus: Success, durationMs: 6.05},
Exception=DatasetExecutionError; Could not connect to specified database.|session_id=f648402f-f619-469d-a6f4-aee7031bd438
---------------------------------------------------------------------------
ExecutionError Traceback (most recent call last) /anaconda/envs/azureml_py36/lib/python3.6/site-packages/azureml/data/dataset_error_handling.py in _try_execute(action, **kwargs) 82 else:
---> 83 return action() 84 except Exception as e: /anaconda/envs/azureml_py36/lib/python3.6/site-packages/azureml/dataprep/api/_loggerfactory.py in wrapper(*args, **kwargs) 130 try:
--> 131 return func(*args, **kwargs) 132 except Exception as e: /anaconda/envs/azureml_py36/lib/python3.6/site-packages/azureml/dataprep/api/dataflow.py
in to_pandas_dataframe(self, extended_types, nulls_as_nan) 676 self._engine_api.execute_anonymous_activity(
--> 677 ExecuteAnonymousActivityMessageArguments(anonymous_activity=Dataflow._dataflow_to_anonymous_activity_data(dataflow_to_execute)))
678 /anaconda/envs/azureml_py36/lib/python3.6/site-packages/azureml/dataprep/api/_aml_helper.py in wrapper(op_code, message, cancellation_token)
37 engine_api_func().update_environment_variable(changed)
---> 38 return send_message_func(op_code, message, cancellation_token) 39 /anaconda/envs/azureml_py36/lib/python3.6/site-packages/azureml/dataprep/api/engineapi/api.py
in execute_anonymous_activity(self, message_args, cancellation_token) 93
def execute_anonymous_activity(self, message_args: typedefinitions.ExecuteAnonymousActivityMessageArguments, cancellation_token: CancellationToken = None) -> None:
---> 94 response = self._message_channel.send_message(Engine.ExecuteActivity, message_args, cancellation_token)
95 return response /anaconda/envs/azureml_py36/lib/python3.6/site-packages/azureml/dataprep/api/engineapi/engine.py
in send_message(self, op_code, message, cancellation_token) 118 if error in response:
--> 119 raise_engine_error(response[error]) 120 elif response.get(id) == message_id: /anaconda/envs/azureml_py36/lib/python3.6/site-packages/azureml/dataprep/api/errorhandlers.py
in raise_engine_error(error_response) 21 if ActivityExecutionFailed in error_code:
---> 22 raise ExecutionError(error_response) 23 elif UnableToPreviewDataSource in error_code: ExecutionError: Could not connect to specified database.
|session_id=f648402f-f619-469d-a6f4-aee7031bd438 During handling of the above exception, another exception occurred:
DatasetExecutionError Traceback (most recent call last) <ipython-input-7-7f54b930998f> in <module>
----> 1 dataset.to_pandas_dataframe() /anaconda/envs/azureml_py36/lib/python3.6/site-packages/azureml/data/_loggerfactory.py in wrapper(*args, **kwargs) 76
with _LoggerFactory.track_activity(logger, func.__name__, activity_type, custom_dimensions) as al: 77 try:
---> 78 return func(*args, **kwargs) 79 except Exception as e: 80 if hasattr(al, activity_info)
and hasattr(e, error_code): /anaconda/envs/azureml_py36/lib/python3.6/site-packages/azureml/data/tabular_dataset.py
in to_pandas_dataframe(self) 138 """ 139 dataflow = get_dataflow_for_execution(self._dataflow, ‘to_pandas_dataframe‘, ‘TabularDataset‘)
--> 140 df = _try_execute(dataflow.to_pandas_dataframe) 141 return df
142 /anaconda/envs/azureml_py36/lib/python3.6/site-packages/azureml/data/dataset_error_handling.py in _try_execute(action, **kwargs)
83 return action() 84 except Exception as e:
---> 85 raise DatasetExecutionError(str(e)) DatasetExecutionError: Could not connect to specified database.|session_id=f648402f-f619-469d-a6f4-aee7031bd438

 

问题原因

根据代码判断,问题是在to_sql方法中使用的con对象的问题,此处需要使用的是由 sqlalchemy所创建的 create_engine对象,而不能使用 pyodbc的conn对象。 同时也必须根据环境选择正确的DB驱动。如Windows环境中,则可以使用‘Driver={SQL Server};‘,而在Linux中,则可以使用DRIVER={SQL Server Native Client 11.0};

错误的连接对象:

import pyodbc

conn = pyodbc.connect(rDRIVER={SQL Server Native Client 11.0};SERVER=xxxx.database.chinacloudapi.cn;DATABASE=xx;UID=xx;PWD=)

 正确的SQL连接对象:

from sqlalchemy import create_engine
 
engine = create_engine(mssql+pyodbc://%s:%s@%s/%s?driver=SQL Server % (
user name,                      
pwd,                             
<service name>.database.chinacloudapi.cn,                             
#cf.ju_db_post,                             
DB Name                                                         
),connect_args={charset:utf8})

 

解决方案

使用Create_engine创建engine并且使用在to_sql方法中,具体代码如下图:

技术图片

 

注意:如出现类似错误消息是“Error: (‘01000‘, “[01000] [unixODBC][Driver Manager]Can‘t open lib ‘SQL Server‘ : file not found (0) (SQLDriverConnect)”)”,则需要检查当前VM中的ODBC Driver。

参考资料:

 pandas.DataFrame.to_sql:https://pandas.pydata.org/pandas-docs/version/0.23.4/generated/pandas.DataFrame.to_sql.html

【机器学习 Azure Machine Learning】Azure Machine Learning 访问SQL Server 无法写入问题 (使用微软Python AML Core SDK)

原文地址:https://www.cnblogs.com/lulight/p/13556004.html

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/6715.html

(0)
上一篇 2023-04-05
下一篇 2023-04-05

相关推荐

  • JAVA开发ORACLE的规范

    JAVA开发ORACLE的规范JAVA开发ORACLE的规范祖仙教小凡仙海鲨数据库架构师小仙从事多年的DBA,也会数据库PL/SQL开发。遇到很多性能问题,各种隐患和雷坑。一禁止使用long字段因为该LONG字段类型BUG多,甲…

    2023-04-09
    143
  • connect和attach区别_connect…to

    connect和attach区别_connect…to本文主要记录了连接到MySQL数据库时出现的问题以及解决办法。

    问题重现

    2022-12-18
    164
  • Vmvare扩展虚拟机磁盘大小

    Vmvare扩展虚拟机磁盘大小Vmvare设置好虚拟机的磁盘大小之后,发现磁盘空间不够了,这个时候怎么扩展磁盘的大小呢? 首先,在确保虚拟机关闭的情况下,右键设置,选择硬盘,扩展,这样就可以增加磁盘的大小。 但是由于未进行分区和磁

    2022-12-28
    145
  • Python Bytes函数:将字符串转换为字节类型

    Python Bytes函数:将字符串转换为字节类型在Python中,Bytes类型是一种不可变的序列类型,表示字节序列。它与字符串类型很相似,支持索引、切片操作等,但是字符串是Unicode字符的序列类型,而Bytes类型是字节的序列类型。因为计算机中所有的信息最终都会转换成二进制存储,所以Bytes类型可以用来处理在计算机中实际存储的数据。

    2023-12-05
    110
  • 20200619 学习笔记[通俗易懂]

    20200619 学习笔记[通俗易懂]主键和唯一的区别 主键:唯一、不为空、只能有一个、可以组合但不推荐 唯一:唯一、可为空、可以多个、可以组合但不推荐 外键 要求在从表设置外键关系 从表的外键列的类型和主表的关联列的类型要求一致或兼容…

    2023-03-14
    152
  • Python代码获取UTC-4时区当前时间

    Python代码获取UTC-4时区当前时间时区是世界时间在地球上的区域上按照一定的规则划分成的标准时间。由于地球自转的角度是360度,一天的时间是固定的24小时,但因为地球的不同位置,同一时间,不同地方看到的太阳时角角度是不一样的。

    2024-01-07
    120
  • pgsql单表数据量_查询数据库中所有表数据量

    pgsql单表数据量_查询数据库中所有表数据量问题背景 描述 某省系统界面需要展示业务指标,该指标来自一张表如下图所示,数据量巨大。旧方案的统计逻辑是:java cron定时任务执行sql汇总插入汇总表,汇总频率一小时一次。 在进行定时汇总的时候

    2023-04-20
    155
  • redis主从哨兵模式搭建_阿里云 hadoop集群

    redis主从哨兵模式搭建_阿里云 hadoop集群1、bind公网IP地址时,会出现异常:【Cannot assign requested address】
    2、SpringBoot配置Redis主备哨兵集群后,无法连接

    2022-12-28
    165

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注