代码基础
-
Redis集群模式「终于解决」
Redis集群模式「终于解决」1、常见的三种数据的集群存储模式 1. full mirror:全量镜像模式,单纯备份模式,各个节点数据相同,都包含了全量数据,仅主节点可写,保证了数据冗余和读的负载均衡。数据安全性高,横向扩展能力差
-
redis持久化机制和如何实现持久化_redis持久化机制是什么
redis持久化机制和如何实现持久化_redis持久化机制是什么1、Redis数据持久化的必要性 由于redis是基于内存的数据库,面临数据掉电易失的风险,要避免数据丢失,最好将内存数据持久化到磁盘等永久存储介质上。服务重启时,会先加载磁盘文件内的数据到内存,完成
-
Spark内存管理[通俗易懂]
Spark内存管理[通俗易懂]1、spark的一大特性就是基于内存计算,Driver只保存任务的宏观性的元数据,数据量较小,且在执行过程中基本不变,不做重点分析,而真正的计算任务Task分布在各个Executor中,其中的内存数据
-
docker容器与容器之间通信_多进程间通信
docker容器与容器之间通信_多进程间通信1、Spark组件之间使用RPC机制进行通信。RPC的客户端在本地编写并调用业务接口,接口在本地通过RPC框架的动态代理机制生成一个对应的实现类,在这个实现类中完成soket通信、远程调用等功能的逻辑
-
SparkShuffle机制[通俗易懂]
SparkShuffle机制[通俗易懂]在早期版本的Spark中,shuffle过程没有磁盘读写操作,是纯内存操作,后来发现效率较低,且极易引发OOME,较新版本的Shuffle操作都加入了磁盘读写进行了改进。 1、未经优化的HashShu
-
flink工作原理_逻辑概念
flink工作原理_逻辑概念逻辑计划 1. logicGraph或者jobGraph,其端点为operator,edge为数据流向。 2. operator往往代表一个函数。 3. 同一个分区内的具有连续上下游关系的函数组成op
-
Flink知识散点[通俗易懂]
Flink知识散点[通俗易懂]1、KeyBy 操作后,只有当 Key 的数量大于算子的并发实例数才能获得较好的计算性能。 A.而若Key 的数量比实例数量少,就会导致部分实例收不到数据,这些实例就得不到执行,这些实例的计算能力得不
-
mysql导出数据时提示文件损坏怎么办_黑屏手机坏了导出数据
mysql导出数据时提示文件损坏怎么办_黑屏手机坏了导出数据1. 使用Navicat工具,优先将整个数据库的表和数据导出。 2. 如果遇到 文件损坏 错误可以在 表实例界面 选中所有表,然后将表转储为SQL文件(结构和数据)。 3. 在目标数据库执行导出的SQ
-
Zookeeper分布式协调即分布式锁机制[通俗易懂]
Zookeeper分布式协调即分布式锁机制[通俗易懂]主要用到的Zookeeper机制: 临时+有序节点,节点watch机制 过程: 1. 每个客户端服务都到zookeeper的同一父节点下建立自己的临时+有序子节点,子节点名返回,各客户端保存在本地。
-
oracle存储过程异常怎么捕捉_查询oracle数据库状态
oracle存储过程异常怎么捕捉_查询oracle数据库状态监控相关 数据库空间占用 SELECT pg_database.datname, pg_size_pretty ( pg_database_size ( pg_database.datname ) …
-
技术分享 | 从库 MTS 多线程并行回放(一)[通俗易懂]
技术分享 | 从库 MTS 多线程并行回放(一)[通俗易懂]作者:高鹏(八怪) 本节包含分发调用流程请参考链接: https://www.jianshu.com/p/8706d7422d89 一、综述 与单 SQL 线程的回放不同,MTS 包含多个工作线程,…
-
mysql 8.0.23_dns list
mysql 8.0.23_dns list本文转载自mysqlplayer,作者洪斌 MySQL Router是InnoDB Cluster架构的访问入口,在架构部署上,官方给出的建议是router与应用端绑定部署,避免router单点问题…
-
MySQL保存微信昵称中的特殊符号造成:(Incorrect string value: “xxxx’for column ‘name’ at row 1)异常「建议收藏」
MySQL保存微信昵称中的特殊符号造成:(Incorrect string value: “xxxx’for column ‘name’ at row 1)异常「建议收藏」今天有业务员反应,编辑某个用户的信息的时候出现了异常,异常信息如下: Incorrect string value: ‘xFOx9Fx92x9D vxE6..’f or column ‘name’ a
-
获取数据表最后最后访问,修改,更新,扫描时间不变_oracle查看表更新记录
获取数据表最后最后访问,修改,更新,扫描时间不变_oracle查看表更新记录数据分析,需要获取数据每一张表的最后访问,修改,更新,扫描时间等: SELECT [Table Name] = [name],[Create Date] = create_date,[Modify D
-
PostgreSQL将日期转为当前年、月、日的函数date_trunc[通俗易懂]
PostgreSQL将日期转为当前年、月、日的函数date_trunc[通俗易懂]PostgreSQL将日期转为年、月、日的函数date_trunc: 当前年: select date_trunc('year',now()) 当前月: select date_tru
-
mysql 的root 用户无法授权,navicat 远程授权提示1044解决方案
mysql 的root 用户无法授权,navicat 远程授权提示1044解决方案先看解决方案 # mysql root 用户无法赋权问题解决 1,登录 mysql -u root -p 2,use mysql; 选择mysql数据库 3,执行以下操作(查询用户的赋权权限,更改赋权