大家好，我是考100分的小小码 ，祝大家学习进步，加薪顺利呀。今天说一说接口调用异常怎么解决_sap webservice,希望您对编程的造诣更进一步.
背景
- 公司的一个项目，需要记录某个接口的访问pv、uv，并且不能丢失明细数据，需要记录【用户，调用接口，调用详情，调用时间，调用次数】
- 之前使用MySQL记录，每来一条记录一条，例如: insert into log (id, user_id, resource_id, stat_date, view_count) values (default, user_id, view_id, “2022-06-11”, 1)
- 存在的问题是
- 没过多久MySQL中数据量级就到达千万，没法在毫秒的时间内返回结果
- 使用MySQL中的明细数据进行聚合分析也非常的慢
Doris聚合模型
- 首先简单介绍下Doris，它是一个MPP数据库，一般是数据仓库进行多维分析使用，导入明细数据，通过创建物化视图的方式可以实现亚秒级别多维查询
- 发现Doris的Aggregate模型非常符合需求，聚合模型中存在聚合键，聚合类型，表中所有的字段必须是两者其一，聚合键顾名思义，用来判断唯一性，可以理解为关系型数据库中的主键，聚合类型存在多种，SUM(求和)，REPLACE(替换，保留最新)，MAX(最大)，MIN(最小)
- 详细介绍可以查看Doris官方文档: https://doris.apache.org/branch-0.13/zh-CN/
- 演示聚合模型
- 创建聚合表
CREATE TABLE IF NOT EXISTS online_test.aggregate_table_name
(
user_id INT DEFAULT "0" COMMENT "用户唯一标识"
,event_id INT DEFAULT "0" COMMENT "事件唯一标识"
,real_name VARCHAR(20) REPLACE DEFAULT "" COMMENT "用户真实名称，可能发生变化，每次记录最新"
,view_count INT SUM DEFAULT "0" COMMENT "统计用户查看某个事件的总次数"
,start_time DATE MIN DEFAULT "1970-01-01" COMMENT "第一条记录的时间、开始时间"
,end_time DATE MAX DEFAULT "1970-01-01" COMMENT "最后一条记录的时间、结束时间"
)
AGGREGATE KEY(user_id, event_id)
DISTRIBUTED BY HASH(event_id) BUCKETS 10
PROPERTIES("replication_num" = "1");
- 插入测试数据
insert into aggregate_table_name values
(1, 10, "张三", 1, "2022-06-12", "2022-06-12");
- 查询结果
- 再次插入测试数据
insert into aggregate_table_name values
(1, 10, "张三丰", 1, "2022-06-13", "2022-06-13");
- 再次查询结果
- 解释: 真实名从张三->张三丰是用户进行了修改名称操作，只保留最新的名字，查询次数1->2是进行了求和计算，end_time从2022-06-12 -> 2022-06-13是每次记录最大的日期，相当于是保留最新的
使用Doris统计服务质量
- 项目需要统计调用者，调用明细，调用时间，于是设计一个服务指标维度表，这样通用性更高
CREATE TABLE IF NOT EXISTS online_test.metrics_dim_table_name
(
`metrics_id` INT NOT NULL COMMENT "指标维度表唯一id标识",
`metrics_type` VARCHAR(50) NOT NULL COMMENT "指标类型",
`metrics_name` VARCHAR(50) NOT NULL COMMENT "指标名称",
`metrics_detail` VARCHAR(500) COMMENT "指标详情"
)
UNIQUE KEY(`metrics_id`, `metrics_type`, `metrics_name`)
DISTRIBUTED BY HASH(metrics_id) BUCKETS 10
PROPERTIES("replication_num" = "1");
CREATE TABLE IF NOT EXISTS online_test.metrics_calculate_table_name
(
metrics_id INT DEFAULT "0" COMMENT "所属指标id"
,unique_id VARCHAR(50) DEFAULT "" COMMENT "指标唯一标识、可以是id或者name"
,momo_id VARCHAR(20) DEFAULT "" COMMENT "查看者momoid"
,inspect_date VARCHAR(10) DEFAULT "" COMMENT "查看时间、格式为YYYY-MM-DD、按天聚合"
,inspect_num INT SUM DEFAULT "0" COMMENT "查看次数、聚合模式、记录每个人每天查看某个指标多少次"
)
AGGREGATE KEY(metrics_id, unique_id, momo_id, inspect_date)
DISTRIBUTED BY HASH(unique_id) BUCKETS 10
PROPERTIES("replication_num" = "1");
- 例如我需要记录信息查询接口调用情况，我需要先在维度表中手动插入一条数据，记录这个指标的详细信息
insert into metrics_dim_table_name values
(1, "api", "/tableau/query_view", "用户查询tableau中视图接口");
- 之后我在接口中埋点，每调用一次往doris中插入一条数据
insert into metrics_calculate_table_name values
(1, "1", "861893252", "2022-05-01", 1),
(1, "2", "861893252", "2022-05-01", 1),
(1, "2", "861893252", "2022-05-01", 1),
(1, "1", "861893252", "2022-05-02", 1);
- 聚合结果如下
使用Doris作为元数据
- 之后把doris当做关系型数据来使用，可以在毫秒内返回查询结果，因为数据按天聚合过，数据量与MySQL相比也少了很多，针对这类需要都可以考虑使用doris聚合模型实现
原文地址：https://www.cnblogs.com/bring-data/archive/2022/06/12/16367472.html
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
转载请注明出处: https://daima100.com/5122.html
