sqltype.go 22 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507
  1. package migrate
  2. import (
  3. "git.ycl.pub/yl32940/TsDB2/DB/core/types"
  4. "fmt"
  5. "strconv"
  6. "strings"
  7. )
  8. // SQL ↔ VRTX 类型映射。两个方言共用一个"就近取档"规则:
  9. //
  10. // SQL VRTX
  11. // TINYINT Int8 (有符号, -128..127)
  12. // SMALLINT Int16
  13. // INT / MEDIUMINT Int32
  14. // BIGINT / INTEGER Int64 (SQLite 只有 INTEGER, 一律按 8 字节收)
  15. // 上面四者的 UNSIGNED 变体 Uint8 / Uint16 / Uint32 / Uint64 (只有显式写了 UNSIGNED 才走无符号档)
  16. // FLOAT (MySQL) Float32 (4 字节; SQLite 的 FLOAT 是 8 字节, 见 inferSQLType)
  17. // DOUBLE / REAL Float64
  18. // DECIMAL(p,s) / NUMERIC(p,s) Decimal(s) (p,s ≤ 38 才能精确表示, 否则退回 Float64)
  19. // BOOLEAN / BOOL Bool
  20. // YEAR Year (2 字节年份, 0..32767)
  21. // UUID UUID (16 字节 RFC4122)
  22. // CHAR(n) / VARCHAR(n) 按字节容量取最近的宽度档 (16..2048, 超过则 dynamic;
  23. // SQLite 不强制声明长度, 建表前采样发现实际数据超档时
  24. // 按三态升档, 见 textwidth.go 的 declaredCharWidth 一路)
  25. // TEXT 家族 (TEXT/TINYTEXT/MEDIUMTEXT/LONGTEXT/CLOB/NCLOB)
  26. // 采样三态分流 (默认, 见 Options.TextWidthScan): 建表前采样
  27. // 实际最大长度, ≤2048 向上取 2 的幂 (32..2048) 落 VARCHAR 档
  28. // (列因此可索引); ≤16360 (单值上限) 保持动态列; 超单值上限
  29. // 落 Blob 链式列 (否则写入时整表失败)
  30. // JSON / 其它无 VRTX 等价物 dynamic (字节原样存, 不解释内容)
  31. // BLOB / BINARY blob (同为动态列, 但语义是"文件/二进制大对象")
  32. // DATE / DATETIME / TIMESTAMP datetime (引擎专用时间类型, Unix 毫秒, 见 inferSQLType 的说明)
  33. //
  34. // 有符号与无符号落在不同档位不是洁癖: 无符号档 (Uint8..Uint64) 盘上存的就是补码原样,
  35. // 有符号档 (Int8..Int64) 存的是保序编码 —— 同一个值在两种档位下盘上字节不同, 混用会让
  36. // 索引区间扫描与 ORDER BY 出错。SQL 的整数默认有符号, 因此这里默认收编到 Int8..Int64。
  37. //
  38. // 这里的 n 是【字节容量】不是字符数 —— VRTX 的定长档按字节算容量, 而 SQL 的长度单位是
  39. // 字符, 两者只有在单字节字符集下才重合。MySQL 侧直接读 CHARACTER_OCTET_LENGTH
  40. // (varchar(50) 在 utf8mb4 下就是 200 字节 → 224 字节档); SQLite 的长度声明本就不强制,
  41. // 仍按声明里的 n 算 (见 inferSQLType)。按字符数取档会把列开窄: 一个 25 字的中文别名
  42. // 就有 75 字节, 塞进 72 字节档只能报错。
  43. //
  44. // 档位由 types.WidthCodeFor 算出 (向上取, 最坏多占 25%), 并写进列的 Flag 低 5 位:
  45. // 于是"这一列多宽"随 schema 落盘, 不再依赖类型枚举。varchar(1000) 这种旧设计里表达
  46. // 不出的列 (256 档会截断, dynamic 又不能建索引) 现在能原样落成 1024 字节的定长档。
  47. //
  48. // 反过来 (VRTX → SQL) 用 sqlTypeName, 定长档声明成 VARCHAR(该列的真实字节宽度)。因为
  49. // 目标方言按字符计数 (utf8mb4 下 VARCHAR(64) 实际能装 256 字节), 再读回来会宽一档
  50. // —— 也就是【不带 __vrtx_meta 时定长字符列会逐轮变宽】(数据不丢, 只是档位漂移)。
  51. // 要原样往返就带 meta, 而 meta 是默认开着的。
  52. //
  53. // 【声明容量的上界】落动态列 (超过 MaxInlineColumnWidth) 不等于"声明多大都行": 动态列的
  54. // 内容整体落在一个堆页里, 单值上限是 types.MaxStringSize。源库里 varchar(60000) 这种
  55. // 声明在这里【兑现不了】, 而丢掉声明值换成 dynamic 是"悄悄把容量改小"—— 所以读端会把
  56. // 它记进迁移报告 (见 capacityNote)。这条闸门只对"声明了长度的字符/二进制列"生效:
  57. // TEXT / BLOB 家族的长度是类型自身的上界而非用户声明, 不该按它报警。
  58. // bucketColumn 按字节容量取定长档位, 返回 (类型, 列级宽度码)。
  59. //
  60. // 宽度码写进 types.FieldInfo.Flag 低 5 位, 是这一列行内宽度的唯一依据 (见 types.FieldSize);
  61. // 返回的 FieldType 只决定回显名与"没有宽度码时"的默认宽度。
  62. //
  63. // 超过 types.MaxInlineColumnWidth (2048) 的列只能落变长档: 定长档的存在意义是"可索引、
  64. // 可定长比较", 变长列两者都没有 (引擎建索引时会明确拒绝)。
  65. func bucketColumn(size int) (types.FieldType, byte) {
  66. code := types.WidthCodeFor(size)
  67. if code == 0 {
  68. return types.FieldType_Dynamicbyte, 0
  69. }
  70. return types.FieldType_String, code
  71. }
  72. // inferSQLTypeWithNote 与 inferSQLType 同源, 额外报告"这一列声明的容量兑现不了"。
  73. //
  74. // 为什么另立一个入口而不是给它加第三个返回值: 类型推断有二十来个分支, 每个分支都得写一个
  75. // 恒为空的第三个返回值, 噪声比信息多; 而"容量能不能兑现"只有读源结构 (拿得到声明原文) 时
  76. // 才关心, 于是把它挂在入口上, 由读端显式选用 —— 想要这句话的人用这个函数, 只关心类型的
  77. // 人继续用 inferSQLType。
  78. func inferSQLTypeWithNote(decl string, mysql bool) (types.FieldType, byte, string) {
  79. ft, param := inferSQLType(decl, mysql)
  80. return ft, param, capacityNote(decl)
  81. }
  82. // capacityNote 报告这一列的声明容量被引擎单值上限 (types.MaxStringSize) 封顶; 未超限返回 ""。
  83. //
  84. // 只对【声明了长度的字符列】报, 刻意不含两类:
  85. // - TEXT / BLOB 家族: decl 里那个长度不是用户的声明 —— MySQL 的 information_schema 会把
  86. // "text" 报成 CHARACTER_OCTET_LENGTH = 65535 (mysqlColumnDecl 于是写成 "text(65535)"),
  87. // 拿它去报"声明兑现不了"是误报。那类列本来就没有容量声明, 引擎的单值上限是已知限制,
  88. // 由写入侧兜底 (写入超限会明确拒绝并报出列名), 不在这里重复报。
  89. // - BINARY / VARBINARY: 它们在本包里落 types.FieldType_Blob (见 inferSQLType), 而 v10 起
  90. // blob 列的行内是 8 字节链引用、内容落在可跨页的链上 (上限约 4GB), 声明多大的容量都
  91. // 兑现得了, 报"封顶"就是假消息。字符列 (CHAR / VARCHAR) 没有这一层, 超限只能落变长
  92. // 列 (Dynamicbyte), 单值上限仍是 types.MaxStringSize, 这才需要报。
  93. func capacityNote(decl string) string {
  94. base, args := splitTypeArgs(strings.ToUpper(strings.TrimSpace(decl)))
  95. switch base {
  96. case "CHAR", "CHARACTER", "VARCHAR", "NCHAR", "NVARCHAR", "VARCHAR2":
  97. default:
  98. return ""
  99. }
  100. if len(args) == 0 {
  101. return ""
  102. }
  103. // 错误文本复用 types 里那一份: 两个方向 (ORM 的 maxlen / 迁移的 SQL 长度) 的容量闸门
  104. // 是同一个约束, 提示语也该是同一句, 否则用户会以为是两回事。
  105. if err := types.CheckDeclaredStringSize(args[0]); err != nil {
  106. return err.Error()
  107. }
  108. return ""
  109. }
  110. // degradeNote 报告这一列的类型在 VRTX 端只能【降级收编】—— 与 capacityNote 是两回事:
  111. // - capacityNote: 类型不变, 只是上限比声明的小 (装不下那么多);
  112. // - degradeNote: 类型变了, 语义跟着变 (存的东西是另一回事)。
  113. //
  114. // 目前只有一种: DECIMAL(p,s) 超出定点列的表达范围时 inferSQLType 退回 float64。退回本身
  115. // 是对的 (总比假装精确好), 但它【有损】, 必须报出来 —— 用户以为迁过来的是定点数, 实际拿到
  116. // 的是浮点数: 0.1+0.2 不再等于 0.3, 大额值丢有效位, 聚合结果对不上账。
  117. //
  118. // 与容量报告同一条原则: 报出来只影响提示, 不改变类型 (类型由 inferSQLType 单独决定,
  119. // 两边必须逐字节一致, 否则"报了一句"就悄悄改了列的类型, 比不报更糟)。
  120. func degradeNote(decl string) string {
  121. base, args := splitTypeArgs(strings.ToUpper(strings.TrimSpace(decl)))
  122. if base != "DECIMAL" && base != "NUMERIC" {
  123. return ""
  124. }
  125. if len(args) == 0 {
  126. return ""
  127. }
  128. prec, scale := 38, 0
  129. if len(args) >= 1 {
  130. prec = args[0]
  131. }
  132. if len(args) >= 2 {
  133. scale = args[1]
  134. }
  135. // 与 inferSQLType 的判定条件必须一致 —— 这里说"降级了"而那边其实没降 (或反过来),
  136. // 报告就成了假消息。
  137. if prec <= types.MaxDecimalPrecision && scale >= 0 && scale <= types.MaxDecimalScale {
  138. return ""
  139. }
  140. // 指名是哪一条超了: 精度与小数位是两个上限 (38 / 31), 只报"超限"用户不知道该改哪个。
  141. which := fmt.Sprintf("精度 %d 超过上限 %d", prec, types.MaxDecimalPrecision)
  142. if scale > types.MaxDecimalScale {
  143. which = fmt.Sprintf("小数位 %d 超过上限 %d", scale, types.MaxDecimalScale)
  144. }
  145. return fmt.Sprintf("DECIMAL(%d,%d) 无法精确表达 (%s), 已退化成 float64: "+
  146. "需要精确比较/聚合的列会丢精度", prec, scale, which)
  147. }
  148. // inferSQLType 由 SQL 列类型 (含长度) 推断 VRTX 类型, 返回 (类型, 列参数)。
  149. // decl 可以是 "varchar(32)", "BIGINT UNSIGNED", "DECIMAL(18,2)" 这类原文。
  150. //
  151. // mysql 用于区分同名类型在不同方言下的宽度: MySQL 的 FLOAT 是 4 字节, 而 SQLite
  152. // 只有 REAL 亲和性 (8 字节), 声明成 FLOAT 也是双精度 —— 同一个 decl 不能按同一档收。
  153. func inferSQLType(decl string, mysql bool) (types.FieldType, byte) {
  154. u := strings.ToUpper(strings.TrimSpace(decl))
  155. base, args := splitTypeArgs(u)
  156. size := 0
  157. if len(args) > 0 {
  158. size = args[0]
  159. }
  160. // SQL 的整数默认是有符号的, 只有显式写了 UNSIGNED 才收编到无符号档。
  161. // 这里看原文 u 而不是 base: splitTypeAndSize 会把 "BIGINT UNSIGNED" 的后缀丢掉。
  162. signed := !strings.Contains(u, "UNSIGNED")
  163. switch base {
  164. case "TINYINT":
  165. if signed {
  166. return types.FieldType_Int8, 0
  167. }
  168. return types.FieldType_Uint8, 0
  169. case "SMALLINT":
  170. if signed {
  171. return types.FieldType_Int16, 0
  172. }
  173. return types.FieldType_Uint16, 0
  174. case "MEDIUMINT", "INT", "INTEGER", "INT2", "INT4", "INT8", "BIGINT", "SERIAL", "BIGSERIAL":
  175. // SQLite 的 INTEGER 能装整个 int64, 按 8 字节收最稳; MySQL 的 INT 就是 4 字节。
  176. if base == "INT" || base == "INT4" || base == "MEDIUMINT" {
  177. if signed {
  178. return types.FieldType_Int32, 0
  179. }
  180. return types.FieldType_Uint32, 0
  181. }
  182. if signed {
  183. return types.FieldType_Int64, 0
  184. }
  185. return types.FieldType_Uint64, 0
  186. case "FLOAT":
  187. // MySQL 的 FLOAT 是 IEEE754 单精度 (4 字节), 按 4 字节收; SQLite 只有 REAL
  188. // 亲和性, 声明成 FLOAT 也是双精度, 折进 Float64 不丢东西。
  189. if mysql {
  190. return types.FieldType_Float32, 0
  191. }
  192. return types.FieldType_Float64, 0
  193. case "DOUBLE", "DOUBLE PRECISION", "REAL":
  194. return types.FieldType_Float64, 0
  195. case "DECIMAL":
  196. // DECIMAL(p,s) 收成定点 Decimal(s) —— 不像以前折成 float 那样丢精度。
  197. // p 的上界是 38 (128 位系数的十进制容量, types.MaxDecimalPrecision),
  198. // s 的上界是 31 (Flag 低 5 位, types.MaxDecimalScale), 两个是【不同】的约束 ——
  199. // 以前拿 MaxDecimalScale(31) 去卡 p, 于是 DECIMAL(38,2) 这种完全表达得了的列
  200. // 被误判成"表达不了"而退成 float64: 精度不是被能力限制, 是被写错的上限限制的。
  201. prec, scale := 38, 0
  202. if len(args) >= 1 {
  203. prec = args[0]
  204. }
  205. if len(args) >= 2 {
  206. scale = args[1]
  207. }
  208. if prec <= types.MaxDecimalPrecision && scale >= 0 && scale <= types.MaxDecimalScale {
  209. return types.FieldType_Decimal, byte(scale)
  210. }
  211. // 超出定点表达范围: 退 float64 (有损, 由 degradeNote 报出)。
  212. return types.FieldType_Float64, 0
  213. case "NUMERIC":
  214. if mysql {
  215. // MySQL 里 NUMERIC 就是 DECIMAL 的别名, 裸 NUMERIC 也是定点语义 —— 维持定点。
  216. prec, scale := 38, 0
  217. if len(args) >= 1 {
  218. prec = args[0]
  219. }
  220. if len(args) >= 2 {
  221. scale = args[1]
  222. }
  223. if prec <= types.MaxDecimalPrecision && scale >= 0 && scale <= types.MaxDecimalScale {
  224. return types.FieldType_Decimal, byte(scale)
  225. }
  226. return types.FieldType_Float64, 0
  227. }
  228. // SQLite: NUMERIC 是"亲和性"而非真类型 —— GORM 系的 sqlite 方言里
  229. // 整数声明 INTEGER、浮点声明 REAL, 只有 bool 字段声明裸 NUMERIC
  230. // (gorm sqlite DriverName 的 Bool 字段 DDL = NUMERIC)。裸 NUMERIC 来自
  231. // bool 是极高概率事件, 先按 Bool 收; 带 (p,s) 的 NUMERIC(p,s) 是真定点
  232. // 声明, 仍走 Decimal 不误伤。bool 判定会被数据探测兜底: 采样发现域外值
  233. // (非 0/1/NULL) 时在建表前改回 Decimal (见 textwidth.go 的 NUMERIC 探测)。
  234. if len(args) == 0 {
  235. return types.FieldType_Bool, 0
  236. }
  237. prec, scale := 38, 0
  238. if len(args) >= 1 {
  239. prec = args[0]
  240. }
  241. if len(args) >= 2 {
  242. scale = args[1]
  243. }
  244. if prec <= types.MaxDecimalPrecision && scale >= 0 && scale <= types.MaxDecimalScale {
  245. return types.FieldType_Decimal, byte(scale)
  246. }
  247. return types.FieldType_Float64, 0
  248. case "BOOLEAN", "BOOL":
  249. // 独立出 Bool 类型: 以前借用 uint8, "写 2 也算真" 让等值/索引给出多套答案。
  250. return types.FieldType_Bool, 0
  251. case "YEAR":
  252. // 2 字节年份, 与 MySQL YEAR 的取值区间一致。
  253. return types.FieldType_Year, 0
  254. case "UUID":
  255. return types.FieldType_UUID, 0
  256. case "CHAR", "CHARACTER", "VARCHAR", "NCHAR", "NVARCHAR", "VARCHAR2":
  257. if size > 0 {
  258. return bucketColumn(size)
  259. }
  260. // 没声明长度: 用 32 字节的宽度码 (与旧的 32 字节 档位逐字节一致)。
  261. return types.FieldType_String, types.WidthCodeFor(32)
  262. case "TEXT", "TINYTEXT", "MEDIUMTEXT", "LONGTEXT", "CLOB", "NCLOB":
  263. // 默认落动态列; 迁去 VRTX 且 Options.TextWidthScan 打开时, 管线会在建表前
  264. // 采样实际最大长度, 够窄的列改落定长档 (见 textwidth.go)。
  265. return types.FieldType_Dynamicbyte, 0
  266. case "BLOB", "TINYBLOB", "MEDIUMBLOB", "LONGBLOB", "BINARY", "VARBINARY", "BYTE":
  267. // 二进制大对象收成 Blob: 语义上明确"这是二进制大对象" (导回 SQL 时还原成
  268. // BLOB/LONGBLOB, 而不是 TEXT)。
  269. //
  270. // 盘上: v10 起 Blob 列的行内是 8 字节 BlobRef, 内容落在可跨页的链上 (单值约 4GB),
  271. // 所以声明了长度的 BINARY / VARBINARY 也能原样兑现 —— 它们不再受单堆页上限约束。
  272. return types.FieldType_Blob, 0
  273. case "DATE", "DATETIME", "TIMESTAMP":
  274. // 落引擎的专用时间类型 FieldType_DateTime: 行内 8 字节 Unix 毫秒 (物理编码
  275. // 与 uint64 相同, 字节序即时间序), 与 gormvrtx / SQL driver 的约定一致 ——
  276. // 迁过来的表经 ORM 读 created_at 时, 列类型 (datetime → time.Time) 才不会
  277. // 与取值语义打架。时间比较、范围查询、建索引照常可用。
  278. //
  279. // 这里以前落在 dynamic, 后果是时间列在 VRTX 里成了"一堆字节": 不能建索引
  280. // (引擎直接拒: 动态列不能作为索引键), 也不能做时间范围查询 —— 在一个
  281. // 时序数据库里, 这等于把时间列废掉。列名再叫 ctime 也救不回来。
  282. //
  283. // 中间还有一版落 uint64 存 Unix【纳秒】: 与引擎 DateTime 的毫秒语义矛盾,
  284. // 已废弃。存量那些 Uint64+纳秒的表 (meta 里带 TimeKind 标记的 Uint64 列)
  285. // 由读路径按列的 FieldType 分岔兼容 (DateTime → 毫秒, Uint64+TimeKind → 纳秒,
  286. // 见 value.go), 两条路都在。
  287. return types.FieldType_DateTime, 0
  288. case "TIME", "INTERVAL", "JSON", "JSONB", "XML", "ENUM", "SET",
  289. "BIT", "GEOMETRY", "POINT":
  290. // 这些在 VRTX 里没有等价物, 按字节原样存 (读出来就是它本来的文本/编码),
  291. // 好处是往返不丢内容, 坏处是没法用 VRTX 的类型语义去查它。
  292. // TIME 是"当日时刻/时长"不是时间点, 不换成时间戳。
  293. return types.FieldType_Dynamicbyte, 0
  294. }
  295. return types.FieldType_Dynamicbyte, 0
  296. }
  297. // splitTypeArgs 拆出类型名与括号内全部整数参数:
  298. //
  299. // "decimal(18,2)" → ("DECIMAL", [18 2])
  300. // "varchar(32)" → ("VARCHAR", [32])
  301. // "bigint unsigned" → ("BIGINT", nil)
  302. func splitTypeArgs(u string) (string, []int) {
  303. base := u
  304. var args []int
  305. if i := strings.IndexByte(base, '('); i >= 0 {
  306. if j := strings.LastIndexByte(base, ')'); j > i {
  307. for _, part := range strings.Split(base[i+1:j], ",") {
  308. if n, err := strconv.Atoi(strings.TrimSpace(part)); err == nil {
  309. args = append(args, n)
  310. }
  311. }
  312. }
  313. base = strings.TrimSpace(base[:i])
  314. }
  315. if f := strings.Fields(base); len(f) > 0 {
  316. // "DOUBLE PRECISION" / "BIGINT UNSIGNED" 这类: 前缀就是主类型
  317. if f[0] == "DOUBLE" && len(f) > 1 && f[1] == "PRECISION" {
  318. return "DOUBLE", args
  319. }
  320. base = f[0]
  321. }
  322. return base, args
  323. }
  324. // splitTypeAndSize 拆出 "varchar(32)" → ("VARCHAR", 32); "bigint unsigned" → ("BIGINT", 0)。
  325. // 只关心第一个参数; DECIMAL(p,s) 这类多参数场景用 splitTypeArgs。
  326. func splitTypeAndSize(u string) (string, int) {
  327. base, args := splitTypeArgs(u)
  328. if len(args) > 0 {
  329. return base, args[0]
  330. }
  331. return base, 0
  332. }
  333. // sqlTypeName VRTX 类型 → SQL 声明。
  334. //
  335. // param: 列级类型参数 —— Decimal 是 scale, FieldType_String 是行内宽度码, 其余类型忽略
  336. // mysql: false 用 VARCHAR(n)/BLOB 这套 (SQLite), true 用 MySQL 的写法
  337. func sqlTypeName(t types.FieldType, param byte, mysql bool) string {
  338. switch t {
  339. case types.FieldType_Uint8:
  340. if mysql {
  341. return "TINYINT UNSIGNED"
  342. }
  343. return "INTEGER"
  344. case types.FieldType_Uint16:
  345. if mysql {
  346. return "SMALLINT UNSIGNED"
  347. }
  348. return "INTEGER"
  349. case types.FieldType_Uint32:
  350. if mysql {
  351. return "INT UNSIGNED"
  352. }
  353. return "INTEGER"
  354. case types.FieldType_Uint64:
  355. if mysql {
  356. return "BIGINT UNSIGNED"
  357. }
  358. return "INTEGER"
  359. case types.FieldType_DateTime:
  360. // 引擎 DateTime 列还原成 SQL 时间列。走到这里说明没带 TimeKind (VRTX 直出,
  361. // schema 里没有它的存放位置): DATE / TIMESTAMP 当初的细分已不可考, 一律按
  362. // DATETIME 声明 —— 比在 INTEGER/BLOB 上退化成普通列保守。带 TimeKind 的列
  363. // 由 columnTypeName 先一步拐进 sqlTimeName, 到不了这里。
  364. if mysql {
  365. return "DATETIME(6)"
  366. }
  367. return "DATETIME"
  368. case types.FieldType_Int8, types.FieldType_Int16, types.FieldType_Int32, types.FieldType_Int64:
  369. // MySQL 侧要落到有符号列, 才与 VRTX 的有符号档语义对齐。
  370. // SQLite 只有 INTEGER (有符号 64 位), 窄档声明回去会被读成 Int64 ——
  371. // 与改动前 Uint8/16/32 一并声明成 INTEGER 的损失是同一类, 精确档位靠 __vrtx_meta 保。
  372. if !mysql {
  373. return "INTEGER"
  374. }
  375. switch t {
  376. case types.FieldType_Int8:
  377. return "TINYINT"
  378. case types.FieldType_Int16:
  379. return "SMALLINT"
  380. case types.FieldType_Int32:
  381. return "INT"
  382. }
  383. return "BIGINT"
  384. case types.FieldType_Float64:
  385. if mysql {
  386. return "DOUBLE"
  387. }
  388. return "REAL"
  389. case types.FieldType_Float32:
  390. // MySQL 的 FLOAT 就是 4 字节, 能原样读回 Float32; SQLite 没有单精度列,
  391. // 落 REAL (8 字节), 精确档位靠 __vrtx_meta 还原。
  392. if mysql {
  393. return "FLOAT"
  394. }
  395. return "REAL"
  396. case types.FieldType_Decimal:
  397. // p 取 MaxDecimalPrecision(38), 不是 MaxDecimalScale(31): 声明必须能装下 VRTX 里
  398. // 任何一个 Decimal 值。若按 (31,s) 声明, scale=30 的列就只剩 1 位整数位, 而 VRTX
  399. // 的系数上限是 10^38-1 —— 导出 8 位整数的值时会被 MySQL 判成超范围而拒绝。
  400. // 声明宽了不会丢东西 (迁移是"引擎能给多宽就声明多宽"), 声明窄了才丢。
  401. if mysql {
  402. return "DECIMAL(" + strconv.Itoa(types.MaxDecimalPrecision) + "," + strconv.Itoa(int(param)) + ")"
  403. }
  404. // SQLite 的 NUMERIC 亲和性会把 "1.50" 转成 REAL 1.5, 丢掉 scale 与高位精度;
  405. // 用 TEXT 原样存定点文本, 回来再按列 scale 解析。
  406. return "TEXT"
  407. case types.FieldType_Bool:
  408. // SQLite 接受 BOOLEAN 声明 (NUMERIC 亲和性, 存 0/1), 声明回去也能被认成 Bool。
  409. return "BOOLEAN"
  410. case types.FieldType_Year:
  411. return "YEAR"
  412. case types.FieldType_UUID:
  413. // 16 字节二进制, 紧凑且无损; 人类可读的 8-4-4-4-12 形式由 UUID.String() 给。
  414. if mysql {
  415. return "BINARY(16)"
  416. }
  417. return "BLOB"
  418. case types.FieldType_Int128:
  419. // 128 位整数没有 SQL 原生类型: 存十进制文本, 往返靠 String/Parse。
  420. if mysql {
  421. return "VARCHAR(40)"
  422. }
  423. return "TEXT"
  424. case types.FieldType_Blob:
  425. // MySQL 侧用 LONGBLOB: 迁移是"源库有多宽就声明多宽", 宽声明不会丢内容;
  426. // SQLite 只有 BLOB 一种写法。
  427. if mysql {
  428. return "LONGBLOB"
  429. }
  430. return "BLOB"
  431. case types.FieldType_String:
  432. // 声明该列的【真实】字节宽度: 宽度码 (maxlen:1000 → 1024) 与类型默认宽度
  433. // (无宽度码 → 256) 是两回事, 只按类型声明会把宽度码声明出来的列开窄。
  434. return "VARCHAR(" + strconv.Itoa(int(types.FieldSize(t, param))) + ")"
  435. default:
  436. // Dynamicbyte (变长文本/二进制) 落到 BLOB/LONGBLOB 而不是 TEXT:
  437. // - 它本来就可能是任意二进制 (绑 []byte 出去), 声明成 TEXT 在 MySQL 下
  438. // 会按列字符集解释 —— 非法 UTF-8 直接报错或被改坏;
  439. // - SQLite 的 TEXT 亲和性还会把看起来像数字的字符串转成数值 ("123" → 123),
  440. // 而 BLOB 亲和性不做任何转换。
  441. //
  442. // 代价: 没有 __vrtx_meta 时, 声明出去的 BLOB 再读回来会被认成 FieldType_Blob
  443. // 而不是 Dynamicbyte。两者盘上布局与行为完全一致 (都是动态列), 数据不受影响,
  444. // 只是"名字"变了; 需要精确类型就靠 meta (默认开启)。
  445. if mysql {
  446. return "LONGBLOB"
  447. }
  448. return "BLOB"
  449. }
  450. }
  451. // sqlTimeKind SQL 列声明的时间语义 ("datetime" / "date" / "timestamp"), 空即不是时间列。
  452. func sqlTimeKind(decl string) string {
  453. base, _ := splitTypeAndSize(strings.ToUpper(strings.TrimSpace(decl)))
  454. switch base {
  455. case "DATETIME":
  456. return "datetime"
  457. case "TIMESTAMP":
  458. return "timestamp"
  459. case "DATE":
  460. return "date"
  461. }
  462. return ""
  463. }
  464. // sqlTimeName 时间语义 → SQL 列声明。
  465. //
  466. // MySQL 侧带上 (6): 原列若不是 DATETIME(0) 而是带小数秒的, 声明成 DATETIME(0)
  467. // 会把毫秒截掉 —— DateTime 列的值是毫秒精度, 声明不能比它窄 (DATETIME(6) 只宽不损,
  468. // 毫秒原样装得下)。
  469. func sqlTimeName(kind string, mysql bool) string {
  470. switch kind {
  471. case "date":
  472. return "DATE"
  473. case "timestamp":
  474. if mysql {
  475. return "TIMESTAMP(6)"
  476. }
  477. return "TIMESTAMP"
  478. case "datetime":
  479. if mysql {
  480. return "DATETIME(6)"
  481. }
  482. return "DATETIME"
  483. }
  484. return "DATETIME"
  485. }
  486. // columnTypeName 一列的 SQL 声明: 时间列按当初的时间语义还原 (DATETIME / DATE /
  487. // TIMESTAMP), 其余按 VRTX 档位就近取 (sqlTypeName)。
  488. func columnTypeName(c Column, mysql bool) string {
  489. if c.IsTime() {
  490. return sqlTimeName(c.TimeKind, mysql)
  491. }
  492. return sqlTypeName(c.Type, c.Param, mysql)
  493. }