大家好,我是考100分的小小码 ,祝大家学习进步,加薪顺利呀。今天说一说分库数据如何查询统计,希望您对编程的造诣更进一步.
分库后的计算不能直接使用SQL;异构库 SQL 函数不尽相同;JAVA 硬编码实施难度大;即使借助透明网关访问远程数据库,分库性能优化也是头疼问题。
一般常规办法:
方法1:java硬编码
简单的跨库count运算,Java部分代码大概要写成这样:
… public Connection getConnection(String drivername,String url, String username, String password) { try { Class.forName(drivername); conn = DriverManager.getConnection(url, username, password); } catch (Exception e) { System.out.println(“DBUtils.getConnection_FAILED!”); e.printStackTrace(); } return conn; } … … Connection conn1 = DBUtils.getConnection(URL1, USER1, PASSWORD1); Connection conn2 = DBUtils.getConnection(URL2, USER2, PASSWORD2); … String sql = “select count(*) c from sales”;
PreparedStatement ptmt1 = conn1.prepareStatement(sql); PreparedStatement ptmt2 = conn1.prepareStatement(sql); … ResultSet rs1 = ptmt1.executeQuery(); ResultSet rs2 = ptmt2.executeQuery(); … return rs1.getInt(“c”) + rs2.getInt(“c”); … |
方法2:透明网关
例如oracle的dblink
带有DBLINK的SQL,优化起来很复杂。可以通过分析执行计划,利用collocated inline view,driving_site hint 等手段,来优化这些带有DBLINK的SQL。但这即使对于一名经验丰富的DBA来说,也是件很头疼、很费劲的事。
这种情况下,如果有集算器就简单很多,看下面这个例子:
n个库的count运算。该运算需要在各分库中分别进行 count,对各分库的结果,在汇总阶段要用sum求和,集算器(SPL)仅4行就可以搞定了。
A | B | |
1 | =n.(connect(“mysql”+string(~))) | //获取n个分库的连接 |
2 | =SQL=”select count(*) c from sales” | //需要在分库中执行的SQL |
3 | =A1.(~.cursor(SQL)) | //在n个分库中执行 SQL |
4 | =A3.conjx().total(sum(c)) | //将各分库算出的count值进行汇总 |
即使分库数据库为异构的情况,集算器也可以通过SQL翻译功能方便地进行SQL转化,为不同数据库提供可执行的SQL。
利用集算器还可根据数据特征,轻松写出具有针对性的高性能代码,无需大量硬编码,即可实现高效的算法 。诸如排序、top、分组、去重、连接等各类分库运算,都可以轻松实现,感兴趣可以参考:分库后的查询统计
集算器还很容易嵌入到Java应用程序中,Java如何调用SPL脚本有使用和获得它的方法。
关于集算器安装使用、获得免费授权和相关技术资料,可以参见如何使用集算器。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
转载请注明出处: https://daima100.com/7815.html