拓扑园

  • O&M
    • Universal部署
    • PHP+VUE+Laravel相关
  • Oracle性能优化
  • Oracle项目案例
    • Oracle近期项目案例(目录)
    • Oracle实战问题解析(目录)
    • Oracle数据库名变更流程(2种方式)
    • Oracle数据库目录更换流程(使用Oracle的clone工具)
    • Oracle数据库迁移方案(目录)
    • 标准化文档系列
  • Oracle基础知识
    • LLL的Oracle培训(分类)
    • LLL的docker培训(分类)
    • 标准化文档系列--(分类)
    • Oracle核心经典分析(分类)
    • 图灵小队----(分类并包含以下文章)
    • --MySQL8.0/Oracle/Memcached/Redis等安装配置于RHEL/OL6/7/8.X系列-运行环境最优配置
    • --PG安装配置于RHEL/9X系列-运行环境最优配置
    • --自动维护任务详解-开启、关闭信息统计收集(统计信息)
    • --图灵小队—Oracle/PostgreSQL下创建一个用户测试表(自行定义数据行)
    • --图灵小队-Oracle存储过程导出表的明细_UTL_FILE(文章)
    • --图灵小队-Oracle数据库删除/卸载操作指南(文章)
    • --图灵小队-Oracle常用性能查询SQL语句(文章)
    • --图灵小队-Oracle数据库上线前检查(文章)
    • --图灵小队-Oracle常用SQL语句(文章)
    • --图灵小队—Linux/Oracle脚本/MySQL合集(持续更新)
    • --图灵小队-Oracle技巧记录(文章)
    • ADG
    • RAC
    • ASM
    • OGG
    • RMAN
    • EXPDP/IMPDP
    • 工厂数据导入导出系列
  • MySQL
    • MySQL数据库规范
    • MySQL项目案例
    • MySQL安装配置
    • MYSQL集群项目
    • MySQL常见处理
    • MySQL-Sysbench专题
    • MySQL-Percona Toolkit专题
  • Linux
    • Shell编程
    • kubernetes
    • docker
    • Linux
    • PHP
    • Nginx
    • haproxy
    • mail
    • 网站
    • 域名
    • 网址收藏
  • 数据中心
    • 新框架系统集合
    • 工作文档
    • EBS数据文件扩容
    • VMware虚拟化
    • EBS系列
    • 大数据
    • SVN
    • zabbix
    • SAP
    • 备份相关
    • FC交换机
    • SVN
  • K-Studing
    • D8-Python学习
    • Oracle/MySQl等面试题
    • LG-MySQL
    • LG-Docker/K8S
    • LG-PostgreSQL
    • LG-ORACLE_BBED
    • LG-ORACLE
    • LG-Elasticsearch(ES)+ELK
    • Oracle-19C-OCP
    • WERN_ORACLE培训
    • redis数据库
    • Nginx培训学习系列
  • 其他
    • 外研英语4年级下册-听力
    • 影视系列
    • 如何使用iTunes软件通过抓包下载旧版本的ios的app
天高任鸟飞
Oracle/MySQL数据库恢复/数据迁移/生产规范报告技术交流:TEL:18562510581(微信同号);加微信入群
  1. 首页
  2. O&M(Operations and Maintenance)
  3. Universal部署
  4. 正文

在 MySQL 中,对于一张超过 1 亿条数据的大表,在添加主键时,通常会经历以下步骤:

2024年5月31日 1304点热度 0人点赞 0条评论

一、

在 MySQL 中,对于一张超过 1 亿条数据的大表,在添加主键时,通常会经历以下步骤:

  1. 创建临时表:MySQL 可能会创建一个临时表来存储原始数据,并在该临时表上进行主键的添加操作。这样可以确保在添加主键的过程中不会丢失原始数据。

  2. 分批处理:由于表的数据量很大,MySQL 可能会将数据分成多个批次处理,以减轻单个事务的负担。每个批次处理一部分数据,并在临时表上执行添加主键的操作。

  3. 排序数据:添加主键通常需要对数据进行排序,以确保主键的唯一性。MySQL 可能会对每个批次的数据进行排序,并将排序后的数据写入临时文件或内存中。

  4. 更新元数据:一旦所有数据都已排序并且主键已添加到临时表中,MySQL 将更新表的元数据,将临时表重命名为原始表,并将原始表备份。这样就完成了主键的添加操作。

在这个过程中,由于涉及大量数据的排序和更新操作,可能会产生大量的临时文件,并且整个过程可能需要一定的时间来完成,尤其是在面对如此庞大的数据集时。因此,在执行这样的操作时,最好在非高峰时段进行,并且确保有足够的系统资源来支持这个过程。

二、如何保持数据一致性。

在 MySQL 中,保持数据一致性是通过事务来实现的。当在一张超过 1 亿条数据的大表上添加主键时,MySQL 会在一个事务内执行该操作,确保在添加主键的过程中数据的完整性和一致性。

具体来说,MySQL 在执行添加主键的过程中会采取以下措施来保持数据一致性:

  1. 事务性操作:整个添加主键的过程被视为一个事务,MySQL 会使用事务的 ACID 特性(原子性、一致性、隔离性、持久性)来确保数据的一致性。这意味着要么所有的修改操作都成功执行,要么全部失败,从而保证数据不会处于不一致的状态。

  2. 锁机制:MySQL 可能会在执行添加主键的过程中对表进行锁定,以防止其他事务对表进行并发修改,从而避免数据的混乱和不一致。这可以通过排他锁或其他适当的锁机制来实现。

  3. 回滚机制:如果在添加主键的过程中发生了错误或者异常情况,MySQL 可能会自动回滚该事务,恢复到操作前的状态,从而确保数据的完整性。

  4. 日志记录:MySQL 可能会记录添加主键操作的日志,以便在需要时进行回滚或者恢复操作,从而保证数据的一致性和完整性。

总的来说,MySQL 在处理添加主键的过程中会采取一系列的措施来确保数据的一致性,包括事务性操作、锁机制、回滚机制和日志记录等。

三、在 MySQL 中,当在一张超过 1 亿条数据的大表上添加主键过程中使用大量的临时文件(temp file),如果创建或使用临时文件失败,系统通常会根据事务的 ACID 特性来执行回滚流程,确保数据的一致性和完整性。

回滚流程如下:

  1. 识别失败:当发现创建或使用临时文件失败时,MySQL 将意识到事务无法继续进行并完成。这可能是由于空间不足、权限问题、IO 错误等原因导致创建或使用临时文件失败。

  2. 触发回滚:MySQL 将立即触发事务的回滚操作,将已经进行的操作全部撤销,以恢复表的状态到添加主键之前的状态。

  3. 日志回放:MySQL 回放事务日志中的逆向操作,逐步撤销已经进行的修改,恢复原始数据。

  4. 释放资源:系统释放已经占用的资源,包括临时文件、锁定的资源等,以确保数据库可以正常操作。

  5. 返回错误信息:最后,系统通常会生成错误日志或者返回相应的错误信息,告知用户添加主键操作失败,并可能需要修复问题后重新执行操作。

总的来说,如果在添加主键过程中使用了大量的临时文件导致创建失败,MySQL 会自动触发回滚流程,确保数据的一致性和完整性。在回滚过程中,系统将尽可能恢复到添加主键之前的状态。

本作品采用 知识共享署名 4.0 国际许可协议 进行许可
标签: 暂无
最后更新:2024年5月31日

admin

这个人很懒,什么都没留下

打赏 点赞
< 上一篇
下一篇 >

COPYRIGHT © 2022 拓扑园. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

鲁ICP备2021020523号

鲁ICP备2021020523号