-
MySQL每秒57万的写入,带你飞~
所属栏目:[MySql教程] 日期:2018-12-31 热度:103
一、需求 一个朋友接到一个需求,从大数据平台收到一个数据写入在20亿+,需要快速地加载到MySQL中,供第二天业务展示使用。 二、实现再分析 对于单表20亿, 在MySQL运维,说真的这块目前涉及得比较少,也基本没什么经验,但对于InnoDB单表Insert 如果内存[详细]
-
MySQL分布式架构扩缩容的初步设计
所属栏目:[MySql教程] 日期:2018-12-31 热度:62
MySQL分布式架构的扩缩容是一个很有意思的话题。严格的说,我们所说的这种架构方案是一种伪分布式架构,我们就做下统称。重点是扩缩容的思路上。 如果一套环境的主从完整,分为多个逻辑分片的情况下,大体是这样的架构。 这个架构采用了4个物理分片,每个[详细]
-
免费电子书|MongoDB入门到实践
所属栏目:[MySql教程] 日期:2018-12-31 热度:68
都说技术在飞速发展,新技术也在不断涌现,但我认为,其实程序员所用的基础技术的发展是相对缓慢的,你可以好几年不学习但还能混得下去。令人惊讶的其实是成熟技术的被替换速度。就像在一夜之间,那些长期稳定成熟的技术发现它们不再被开发者关注。 最好的[详细]
-
记一次生产数据库意外重启的经历
所属栏目:[MySql教程] 日期:2018-12-31 热度:157
副标题#e# 前言 在一个阳光明媚的下午,电脑右下角传来一片片邮件提醒,同时伴随着微信钉钉的震动,打开一看,应用各种出错,天兔告警,数据库服务器内存爆红,MySql 数据库实例挂掉了。 排查 先交代一下数据库版本: mysqlstatus -------------- mysqlVer1[详细]
-
携程一次Redis迁移容器后Slowlog“异常”分析
所属栏目:[MySql教程] 日期:2018-12-31 热度:123
副标题#e# 容器化对于Redis自动化运维效率、资源利用率方面都有巨大提升,携程在对Redis在容器上性能和稳定性进行充分验证后,启动了生产Redis迁移容器化的项目。其中第一批次两台宿主机,第二批次五台宿主机。 本次异常是第二批次迁移过程中发现的,排查过[详细]
-
携程一次Redis迁移容器后的Slowlog“异常”分析
所属栏目:[MySql教程] 日期:2018-12-24 热度:172
副标题#e# 容器化对于Redis自动化运维效率、资源利用率方面都有巨大提升,携程在对Redis在容器上性能和稳定性进行充分验证后,启动了生产Redis迁移容器化的项目。其中第一批次两台宿主机,第二批次五台宿主机。 本次异常是第二批次迁移过程中发现的,排查过[详细]
-
百亿数据量下,掌握这些Redis技巧你大概就稳住了全场
所属栏目:[MySql教程] 日期:2018-12-24 热度:91
副标题#e# 今天将会跟大家讨论一些Redis在大数据中的使用,包括一些Redis的使用技巧和其他的一些内容。 首先给大家个地址: https://github.com/NewLifeX/NewLife.Redis 源码以及实例都在里面,当然今天的内容也是按照里面的实例来进行的,大家可以先进行下[详细]
-
现金贷现在还能不能搞?
所属栏目:[MySql教程] 日期:2018-12-24 热度:51
东莞站长网(http://www.0769zz.com)分享现金贷用户画像用户规模:约1500万,整体属于低学历、低收入群体,无固定职业,使用安卓手机,尤其oppo,vivo为主(额,这个。。)共债情况普遍;细分下来可分为3类人群:第一类:三四线城市的年轻白领和一二线城市的蓝[详细]
-
8Manage 企业管理系统“节流”非结构化数据和无用信息
所属栏目:[MySql教程] 日期:2018-12-16 热度:173
广州网(http://www.guangzhouwang.cn)通过在系统管理企业业务的过程中,采用数据化(数字化策略与监控、全面自动化、大数据报表)、智能化(业务分析、消费行为统计、前因后果关系、深入学习与AI)、灵活性(部署方式灵活、丰富的自定义工具、点选式自定义报表[详细]
-
超实用的Oracle数据库自动备份脚本
所属栏目:[MySql教程] 日期:2018-12-16 热度:151
概述 数据是应用的核心部分,程序坏了换台机器重新发布就可以,但数据一旦丢失,造成的损失将不可挽回,程序发布到生产后,数据的备份便显得尤为重要,由于不一定所有的服务均有资金完成高级的备份如RAC和DG,在我们只有一台数据库服务器的,暂时采取最简[详细]
-
这场MongDB事故暴露的潜在危机,你是否也正在忽视?
所属栏目:[MySql教程] 日期:2018-12-16 热度:108
副标题#e# 一、MongoDB特性 MongoDB是一个可扩展的高性能基于文档的NoSQL数据库,具备但不限于以下特性: 无数据结构限制和高性能 MongoDB以文档结构的存储方式,能够更便捷的获取数据; MongoDB没有表结构的概念,每条记录可以有完全不同的结构,业务开发[详细]
-
dba+工具:MongoDB热备份工具,解决官方版备份缺陷
所属栏目:[MySql教程] 日期:2018-12-16 热度:134
前言 目前官方MongoDB社区版是不支持Hot Backup热备份的,我们只能通过mongodump等逻辑备份工具导出bson文件,再mongorestore导入,类似MySQL的mysqldump工具。 在备份副本集时,我们需指定--oplog选项记录备份间产生的增量数据,类似mysqldump --single-t[详细]
-
如履薄冰:Redis懒惰删除的巨大牺牲
所属栏目:[MySql教程] 日期:2018-12-16 热度:112
副标题#e# 大家都知道 Redis 是单线程的,但是 Redis 4.0 增加了懒惰删除功能,懒惰删除需要使用异步线程对已删除的节点进行内存回收,,这意味着 Redis 底层其实并不是单线程,它内部还有几个额外的鲜为人知的辅助线程。 这几个辅助线程在 Redis 内部有一[详细]
-
阿里数据库的极致弹性之路
所属栏目:[MySql教程] 日期:2018-12-16 热度:95
副标题#e# 数据库从IOE(IBM小机、Oracle商业DB、EMC存储)一路走来,大家都知道数据库是资源重依赖的软件,对服务器的三大件CPU、内存、磁盘几乎都有要求。数据库作为广泛使用的数据存储系统,其SQL请求背后涉及的物理读、逻辑读、排序过滤等消耗了IO和CPU资[详细]
-
数据库智能运维探索与实践
所属栏目:[MySql教程] 日期:2018-12-16 热度:61
副标题#e# 从自动化到智能化运维过渡时,美团DBA团队进行了哪些思考、探索与实践?本文根据赵应钢在第九届中国数据库技术大会上的演讲内容整理而成,部分内容有更新。 背景 近些年,传统的数据库运维方式已经越来越难于满足业务方对数据库的稳定性、可用性、[详细]
-
2018年阿里巴巴重要开源项目汇总
所属栏目:[MySql教程] 日期:2018-12-16 热度:185
副标题#e# 开源展示了人类共同协作,成果分享的魅力,每一次技术发展都是站在巨人的肩膀上,技术诸多创新和发展往往就是基于开源发展起来的,没有任何一家网络公司可以不使用开源技术,仅靠自身技术而发展起来。阿里巴巴各个团队都是发自内心地将踩过的坑和[详细]
-
MySQL自增id超大问题查询
所属栏目:[MySql教程] 日期:2018-12-16 热度:103
副标题#e# 引言 小A正在balabala写代码呢,DBA小B突然发来了一条消息,快看看你的用户特定信息表T,里面的主键,也就是自增id,都到16亿了,这才多久,在这样下去过不了多久主键就要超出范围了,插入就会失败,balabala...... 我记得没有这么多,最多1k多万[详细]
-
5G巨大商机 商业化是根本
所属栏目:[MySql教程] 日期:2018-12-16 热度:148
佛山站长网(http://www.0757zz.com)了解到现在手机市场的现状是手机终端马太效应凸显,新型终端品类多规模[详细]
-
实现故障恢复自动化:详解Redis哨兵技术
所属栏目:[MySql教程] 日期:2018-11-30 热度:50
副标题#e# 在前面分享的《读完这篇文章,就基本搞定了Redis主从复制》中我们曾提到,Redis主从复制的作用有数据热备、负载均衡、故障恢复等;但主从复制存在的一个问题是故障恢复无法自动化。本文将要介绍的哨兵,它基于Redis主从复制,主要作用便是解决主[详细]
-
Redis不懂,面试担心不过,一次性解决面试Redis题目(含答案)?
所属栏目:[MySql教程] 日期:2018-11-24 热度:83
副标题#e# Redis是一个非常火的非关系型数据库,火到什么程度呢?只要是一个互联网公司都会使用到。Redis相关的问题可以说是面试必问的,下面我从个人当面试官的经验,总结几个必须要掌握的知识点。 介绍:Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD[详细]
-
Spring Boot集成Redis实战操作
所属栏目:[MySql教程] 日期:2018-11-24 热度:190
最近在使用Spring Boot,发现其功能真是强大,可以快速的集成很多的组件功能,非常方便: 今天就来介绍下,如何集成Redis。 定义 Redis 是一个高性能的key-value数据库。它支持存储的value类型很多,包括string(字符串)、list(链表)、set(集合)、zset(sort[详细]
-
为什么我们做分布式要使用Redis?
所属栏目:[MySql教程] 日期:2018-11-24 热度:170
副标题#e# 绝大部分写业务的程序员,在实际开发中使用 Redis 的时候,只会 Set Value 和 Get Value 两个操作,对 Redis 整体缺乏一个认知。这里对 Redis 常见问题做一个总结,解决大家的知识盲点。 1、为什么使用 Redis 在项目中使用 Redis,主要考虑两个角[详细]
-
MySQL数据库命令窗口中文乱码或插入中文数据失败
所属栏目:[MySql教程] 日期:2018-11-24 热度:110
副标题#e# 在Windwos上使用命令窗口操作MySQL数据库时,如果命令窗口的字符编码与数据库不一致时,就会出现中文乱码的情况 比如查询会出现中文乱码,或者插入数据会出现错误ERROR 1366 (HY000): Incorrect string value: 'xD5xC5xC8xFD' for column 'na[详细]
-
MySQL的内存和相关问题排查
所属栏目:[MySql教程] 日期:2018-11-19 热度:148
副标题#e# 我们都知道数据库是IO密集型一类应用,为了提高其性能大量使用内存代替文件(交换分区)的IO操作是保证数据库稳定、高效的基本原则。那么数据库是如何使用内存的,我们如何查看数据库内存的占用,如何通过通过数据库内存配置设置提高其性能?本文[详细]
-
MySQL数据库之存储过程的创建和调用
所属栏目:[MySql教程] 日期:2018-11-19 热度:161
副标题#e# MySQL 5.0 版本开始支持存储过程。 存储过程(Stored Procedure)是一种在数据库中存储复杂程序,以便外部程序调用的一种数据库对象。 存储过程是为了完成特定功能的SQL语句集,经编译创建并保存在数据库中,用户可通过指定存储过程的名字并给定[详细]