sqltype.go 22 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504
  1. package migrate
  2. import (
  3. "git.ycl.pub/yl32940/TsDB2/DB/core/types"
  4. "fmt"
  5. "strconv"
  6. "strings"
  7. )
  8. // SQL ↔ VRTX 类型映射。两个方言共用一个"就近取档"规则:
  9. //
  10. // SQL VRTX
  11. // TINYINT Int8 (有符号, -128..127)
  12. // SMALLINT Int16
  13. // INT / MEDIUMINT Int32
  14. // BIGINT / INTEGER Int64 (SQLite 只有 INTEGER, 一律按 8 字节收)
  15. // 上面四者的 UNSIGNED 变体 Uint8 / Uint16 / Uint32 / Uint64 (只有显式写了 UNSIGNED 才走无符号档)
  16. // FLOAT (MySQL) Float32 (4 字节; SQLite 的 FLOAT 是 8 字节, 见 inferSQLType)
  17. // DOUBLE / REAL Float64
  18. // DECIMAL(p,s) / NUMERIC(p,s) Decimal(s) (p,s ≤ 38 才能精确表示, 否则退回 Float64)
  19. // BOOLEAN / BOOL Bool
  20. // YEAR Year (2 字节年份, 0..32767)
  21. // UUID UUID (16 字节 RFC4122)
  22. // CHAR(n) / VARCHAR(n) 按字节容量取最近的宽度档 (16..2048, 超过则 dynamic)
  23. // TEXT 家族 (TEXT/TINYTEXT/MEDIUMTEXT/LONGTEXT/CLOB/NCLOB)
  24. // 采样定宽 (默认, 见 Options.TextWidthScan): 建表前采样
  25. // 实际最大长度, 向上取 2 的幂 (32..2048) 落 VARCHAR 档,
  26. // 列因此可索引; 关掉开关或采样超 2048 才落 dynamic
  27. // JSON / 其它无 VRTX 等价物 dynamic (字节原样存, 不解释内容)
  28. // BLOB / BINARY blob (同为动态列, 但语义是"文件/二进制大对象")
  29. // DATE / DATETIME / TIMESTAMP datetime (引擎专用时间类型, Unix 毫秒, 见 inferSQLType 的说明)
  30. //
  31. // 有符号与无符号落在不同档位不是洁癖: 无符号档 (Uint8..Uint64) 盘上存的就是补码原样,
  32. // 有符号档 (Int8..Int64) 存的是保序编码 —— 同一个值在两种档位下盘上字节不同, 混用会让
  33. // 索引区间扫描与 ORDER BY 出错。SQL 的整数默认有符号, 因此这里默认收编到 Int8..Int64。
  34. //
  35. // 这里的 n 是【字节容量】不是字符数 —— VRTX 的定长档按字节算容量, 而 SQL 的长度单位是
  36. // 字符, 两者只有在单字节字符集下才重合。MySQL 侧直接读 CHARACTER_OCTET_LENGTH
  37. // (varchar(50) 在 utf8mb4 下就是 200 字节 → 224 字节档); SQLite 的长度声明本就不强制,
  38. // 仍按声明里的 n 算 (见 inferSQLType)。按字符数取档会把列开窄: 一个 25 字的中文别名
  39. // 就有 75 字节, 塞进 72 字节档只能报错。
  40. //
  41. // 档位由 types.WidthCodeFor 算出 (向上取, 最坏多占 25%), 并写进列的 Flag 低 5 位:
  42. // 于是"这一列多宽"随 schema 落盘, 不再依赖类型枚举。varchar(1000) 这种旧设计里表达
  43. // 不出的列 (256 档会截断, dynamic 又不能建索引) 现在能原样落成 1024 字节的定长档。
  44. //
  45. // 反过来 (VRTX → SQL) 用 sqlTypeName, 定长档声明成 VARCHAR(该列的真实字节宽度)。因为
  46. // 目标方言按字符计数 (utf8mb4 下 VARCHAR(64) 实际能装 256 字节), 再读回来会宽一档
  47. // —— 也就是【不带 __vrtx_meta 时定长字符列会逐轮变宽】(数据不丢, 只是档位漂移)。
  48. // 要原样往返就带 meta, 而 meta 是默认开着的。
  49. //
  50. // 【声明容量的上界】落动态列 (超过 MaxInlineColumnWidth) 不等于"声明多大都行": 动态列的
  51. // 内容整体落在一个堆页里, 单值上限是 types.MaxStringSize。源库里 varchar(60000) 这种
  52. // 声明在这里【兑现不了】, 而丢掉声明值换成 dynamic 是"悄悄把容量改小"—— 所以读端会把
  53. // 它记进迁移报告 (见 capacityNote)。这条闸门只对"声明了长度的字符/二进制列"生效:
  54. // TEXT / BLOB 家族的长度是类型自身的上界而非用户声明, 不该按它报警。
  55. // bucketColumn 按字节容量取定长档位, 返回 (类型, 列级宽度码)。
  56. //
  57. // 宽度码写进 types.FieldInfo.Flag 低 5 位, 是这一列行内宽度的唯一依据 (见 types.FieldSize);
  58. // 返回的 FieldType 只决定回显名与"没有宽度码时"的默认宽度。
  59. //
  60. // 超过 types.MaxInlineColumnWidth (2048) 的列只能落变长档: 定长档的存在意义是"可索引、
  61. // 可定长比较", 变长列两者都没有 (引擎建索引时会明确拒绝)。
  62. func bucketColumn(size int) (types.FieldType, byte) {
  63. code := types.WidthCodeFor(size)
  64. if code == 0 {
  65. return types.FieldType_Dynamicbyte, 0
  66. }
  67. return types.FieldType_String, code
  68. }
  69. // inferSQLTypeWithNote 与 inferSQLType 同源, 额外报告"这一列声明的容量兑现不了"。
  70. //
  71. // 为什么另立一个入口而不是给它加第三个返回值: 类型推断有二十来个分支, 每个分支都得写一个
  72. // 恒为空的第三个返回值, 噪声比信息多; 而"容量能不能兑现"只有读源结构 (拿得到声明原文) 时
  73. // 才关心, 于是把它挂在入口上, 由读端显式选用 —— 想要这句话的人用这个函数, 只关心类型的
  74. // 人继续用 inferSQLType。
  75. func inferSQLTypeWithNote(decl string, mysql bool) (types.FieldType, byte, string) {
  76. ft, param := inferSQLType(decl, mysql)
  77. return ft, param, capacityNote(decl)
  78. }
  79. // capacityNote 报告这一列的声明容量被引擎单值上限 (types.MaxStringSize) 封顶; 未超限返回 ""。
  80. //
  81. // 只对【声明了长度的字符列】报, 刻意不含两类:
  82. // - TEXT / BLOB 家族: decl 里那个长度不是用户的声明 —— MySQL 的 information_schema 会把
  83. // "text" 报成 CHARACTER_OCTET_LENGTH = 65535 (mysqlColumnDecl 于是写成 "text(65535)"),
  84. // 拿它去报"声明兑现不了"是误报。那类列本来就没有容量声明, 引擎的单值上限是已知限制,
  85. // 由写入侧兜底 (写入超限会明确拒绝并报出列名), 不在这里重复报。
  86. // - BINARY / VARBINARY: 它们在本包里落 types.FieldType_Blob (见 inferSQLType), 而 v10 起
  87. // blob 列的行内是 8 字节链引用、内容落在可跨页的链上 (上限约 4GB), 声明多大的容量都
  88. // 兑现得了, 报"封顶"就是假消息。字符列 (CHAR / VARCHAR) 没有这一层, 超限只能落变长
  89. // 列 (Dynamicbyte), 单值上限仍是 types.MaxStringSize, 这才需要报。
  90. func capacityNote(decl string) string {
  91. base, args := splitTypeArgs(strings.ToUpper(strings.TrimSpace(decl)))
  92. switch base {
  93. case "CHAR", "CHARACTER", "VARCHAR", "NCHAR", "NVARCHAR", "VARCHAR2":
  94. default:
  95. return ""
  96. }
  97. if len(args) == 0 {
  98. return ""
  99. }
  100. // 错误文本复用 types 里那一份: 两个方向 (ORM 的 maxlen / 迁移的 SQL 长度) 的容量闸门
  101. // 是同一个约束, 提示语也该是同一句, 否则用户会以为是两回事。
  102. if err := types.CheckDeclaredStringSize(args[0]); err != nil {
  103. return err.Error()
  104. }
  105. return ""
  106. }
  107. // degradeNote 报告这一列的类型在 VRTX 端只能【降级收编】—— 与 capacityNote 是两回事:
  108. // - capacityNote: 类型不变, 只是上限比声明的小 (装不下那么多);
  109. // - degradeNote: 类型变了, 语义跟着变 (存的东西是另一回事)。
  110. //
  111. // 目前只有一种: DECIMAL(p,s) 超出定点列的表达范围时 inferSQLType 退回 float64。退回本身
  112. // 是对的 (总比假装精确好), 但它【有损】, 必须报出来 —— 用户以为迁过来的是定点数, 实际拿到
  113. // 的是浮点数: 0.1+0.2 不再等于 0.3, 大额值丢有效位, 聚合结果对不上账。
  114. //
  115. // 与容量报告同一条原则: 报出来只影响提示, 不改变类型 (类型由 inferSQLType 单独决定,
  116. // 两边必须逐字节一致, 否则"报了一句"就悄悄改了列的类型, 比不报更糟)。
  117. func degradeNote(decl string) string {
  118. base, args := splitTypeArgs(strings.ToUpper(strings.TrimSpace(decl)))
  119. if base != "DECIMAL" && base != "NUMERIC" {
  120. return ""
  121. }
  122. if len(args) == 0 {
  123. return ""
  124. }
  125. prec, scale := 38, 0
  126. if len(args) >= 1 {
  127. prec = args[0]
  128. }
  129. if len(args) >= 2 {
  130. scale = args[1]
  131. }
  132. // 与 inferSQLType 的判定条件必须一致 —— 这里说"降级了"而那边其实没降 (或反过来),
  133. // 报告就成了假消息。
  134. if prec <= types.MaxDecimalPrecision && scale >= 0 && scale <= types.MaxDecimalScale {
  135. return ""
  136. }
  137. // 指名是哪一条超了: 精度与小数位是两个上限 (38 / 31), 只报"超限"用户不知道该改哪个。
  138. which := fmt.Sprintf("精度 %d 超过上限 %d", prec, types.MaxDecimalPrecision)
  139. if scale > types.MaxDecimalScale {
  140. which = fmt.Sprintf("小数位 %d 超过上限 %d", scale, types.MaxDecimalScale)
  141. }
  142. return fmt.Sprintf("DECIMAL(%d,%d) 无法精确表达 (%s), 已退化成 float64: "+
  143. "需要精确比较/聚合的列会丢精度", prec, scale, which)
  144. }
  145. // inferSQLType 由 SQL 列类型 (含长度) 推断 VRTX 类型, 返回 (类型, 列参数)。
  146. // decl 可以是 "varchar(32)", "BIGINT UNSIGNED", "DECIMAL(18,2)" 这类原文。
  147. //
  148. // mysql 用于区分同名类型在不同方言下的宽度: MySQL 的 FLOAT 是 4 字节, 而 SQLite
  149. // 只有 REAL 亲和性 (8 字节), 声明成 FLOAT 也是双精度 —— 同一个 decl 不能按同一档收。
  150. func inferSQLType(decl string, mysql bool) (types.FieldType, byte) {
  151. u := strings.ToUpper(strings.TrimSpace(decl))
  152. base, args := splitTypeArgs(u)
  153. size := 0
  154. if len(args) > 0 {
  155. size = args[0]
  156. }
  157. // SQL 的整数默认是有符号的, 只有显式写了 UNSIGNED 才收编到无符号档。
  158. // 这里看原文 u 而不是 base: splitTypeAndSize 会把 "BIGINT UNSIGNED" 的后缀丢掉。
  159. signed := !strings.Contains(u, "UNSIGNED")
  160. switch base {
  161. case "TINYINT":
  162. if signed {
  163. return types.FieldType_Int8, 0
  164. }
  165. return types.FieldType_Uint8, 0
  166. case "SMALLINT":
  167. if signed {
  168. return types.FieldType_Int16, 0
  169. }
  170. return types.FieldType_Uint16, 0
  171. case "MEDIUMINT", "INT", "INTEGER", "INT2", "INT4", "INT8", "BIGINT", "SERIAL", "BIGSERIAL":
  172. // SQLite 的 INTEGER 能装整个 int64, 按 8 字节收最稳; MySQL 的 INT 就是 4 字节。
  173. if base == "INT" || base == "INT4" || base == "MEDIUMINT" {
  174. if signed {
  175. return types.FieldType_Int32, 0
  176. }
  177. return types.FieldType_Uint32, 0
  178. }
  179. if signed {
  180. return types.FieldType_Int64, 0
  181. }
  182. return types.FieldType_Uint64, 0
  183. case "FLOAT":
  184. // MySQL 的 FLOAT 是 IEEE754 单精度 (4 字节), 按 4 字节收; SQLite 只有 REAL
  185. // 亲和性, 声明成 FLOAT 也是双精度, 折进 Float64 不丢东西。
  186. if mysql {
  187. return types.FieldType_Float32, 0
  188. }
  189. return types.FieldType_Float64, 0
  190. case "DOUBLE", "DOUBLE PRECISION", "REAL":
  191. return types.FieldType_Float64, 0
  192. case "DECIMAL":
  193. // DECIMAL(p,s) 收成定点 Decimal(s) —— 不像以前折成 float 那样丢精度。
  194. // p 的上界是 38 (128 位系数的十进制容量, types.MaxDecimalPrecision),
  195. // s 的上界是 31 (Flag 低 5 位, types.MaxDecimalScale), 两个是【不同】的约束 ——
  196. // 以前拿 MaxDecimalScale(31) 去卡 p, 于是 DECIMAL(38,2) 这种完全表达得了的列
  197. // 被误判成"表达不了"而退成 float64: 精度不是被能力限制, 是被写错的上限限制的。
  198. prec, scale := 38, 0
  199. if len(args) >= 1 {
  200. prec = args[0]
  201. }
  202. if len(args) >= 2 {
  203. scale = args[1]
  204. }
  205. if prec <= types.MaxDecimalPrecision && scale >= 0 && scale <= types.MaxDecimalScale {
  206. return types.FieldType_Decimal, byte(scale)
  207. }
  208. // 超出定点表达范围: 退 float64 (有损, 由 degradeNote 报出)。
  209. return types.FieldType_Float64, 0
  210. case "NUMERIC":
  211. if mysql {
  212. // MySQL 里 NUMERIC 就是 DECIMAL 的别名, 裸 NUMERIC 也是定点语义 —— 维持定点。
  213. prec, scale := 38, 0
  214. if len(args) >= 1 {
  215. prec = args[0]
  216. }
  217. if len(args) >= 2 {
  218. scale = args[1]
  219. }
  220. if prec <= types.MaxDecimalPrecision && scale >= 0 && scale <= types.MaxDecimalScale {
  221. return types.FieldType_Decimal, byte(scale)
  222. }
  223. return types.FieldType_Float64, 0
  224. }
  225. // SQLite: NUMERIC 是"亲和性"而非真类型 —— GORM 系的 sqlite 方言里
  226. // 整数声明 INTEGER、浮点声明 REAL, 只有 bool 字段声明裸 NUMERIC
  227. // (gorm sqlite DriverName 的 Bool 字段 DDL = NUMERIC)。裸 NUMERIC 来自
  228. // bool 是极高概率事件, 先按 Bool 收; 带 (p,s) 的 NUMERIC(p,s) 是真定点
  229. // 声明, 仍走 Decimal 不误伤。bool 判定会被数据探测兜底: 采样发现域外值
  230. // (非 0/1/NULL) 时在建表前改回 Decimal (见 textwidth.go 的 NUMERIC 探测)。
  231. if len(args) == 0 {
  232. return types.FieldType_Bool, 0
  233. }
  234. prec, scale := 38, 0
  235. if len(args) >= 1 {
  236. prec = args[0]
  237. }
  238. if len(args) >= 2 {
  239. scale = args[1]
  240. }
  241. if prec <= types.MaxDecimalPrecision && scale >= 0 && scale <= types.MaxDecimalScale {
  242. return types.FieldType_Decimal, byte(scale)
  243. }
  244. return types.FieldType_Float64, 0
  245. case "BOOLEAN", "BOOL":
  246. // 独立出 Bool 类型: 以前借用 uint8, "写 2 也算真" 让等值/索引给出多套答案。
  247. return types.FieldType_Bool, 0
  248. case "YEAR":
  249. // 2 字节年份, 与 MySQL YEAR 的取值区间一致。
  250. return types.FieldType_Year, 0
  251. case "UUID":
  252. return types.FieldType_UUID, 0
  253. case "CHAR", "CHARACTER", "VARCHAR", "NCHAR", "NVARCHAR", "VARCHAR2":
  254. if size > 0 {
  255. return bucketColumn(size)
  256. }
  257. // 没声明长度: 用 32 字节的宽度码 (与旧的 32 字节 档位逐字节一致)。
  258. return types.FieldType_String, types.WidthCodeFor(32)
  259. case "TEXT", "TINYTEXT", "MEDIUMTEXT", "LONGTEXT", "CLOB", "NCLOB":
  260. // 默认落动态列; 迁去 VRTX 且 Options.TextWidthScan 打开时, 管线会在建表前
  261. // 采样实际最大长度, 够窄的列改落定长档 (见 textwidth.go)。
  262. return types.FieldType_Dynamicbyte, 0
  263. case "BLOB", "TINYBLOB", "MEDIUMBLOB", "LONGBLOB", "BINARY", "VARBINARY", "BYTE":
  264. // 二进制大对象收成 Blob: 语义上明确"这是二进制大对象" (导回 SQL 时还原成
  265. // BLOB/LONGBLOB, 而不是 TEXT)。
  266. //
  267. // 盘上: v10 起 Blob 列的行内是 8 字节 BlobRef, 内容落在可跨页的链上 (单值约 4GB),
  268. // 所以声明了长度的 BINARY / VARBINARY 也能原样兑现 —— 它们不再受单堆页上限约束。
  269. return types.FieldType_Blob, 0
  270. case "DATE", "DATETIME", "TIMESTAMP":
  271. // 落引擎的专用时间类型 FieldType_DateTime: 行内 8 字节 Unix 毫秒 (物理编码
  272. // 与 uint64 相同, 字节序即时间序), 与 gormvrtx / SQL driver 的约定一致 ——
  273. // 迁过来的表经 ORM 读 created_at 时, 列类型 (datetime → time.Time) 才不会
  274. // 与取值语义打架。时间比较、范围查询、建索引照常可用。
  275. //
  276. // 这里以前落在 dynamic, 后果是时间列在 VRTX 里成了"一堆字节": 不能建索引
  277. // (引擎直接拒: 动态列不能作为索引键), 也不能做时间范围查询 —— 在一个
  278. // 时序数据库里, 这等于把时间列废掉。列名再叫 ctime 也救不回来。
  279. //
  280. // 中间还有一版落 uint64 存 Unix【纳秒】: 与引擎 DateTime 的毫秒语义矛盾,
  281. // 已废弃。存量那些 Uint64+纳秒的表 (meta 里带 TimeKind 标记的 Uint64 列)
  282. // 由读路径按列的 FieldType 分岔兼容 (DateTime → 毫秒, Uint64+TimeKind → 纳秒,
  283. // 见 value.go), 两条路都在。
  284. return types.FieldType_DateTime, 0
  285. case "TIME", "INTERVAL", "JSON", "JSONB", "XML", "ENUM", "SET",
  286. "BIT", "GEOMETRY", "POINT":
  287. // 这些在 VRTX 里没有等价物, 按字节原样存 (读出来就是它本来的文本/编码),
  288. // 好处是往返不丢内容, 坏处是没法用 VRTX 的类型语义去查它。
  289. // TIME 是"当日时刻/时长"不是时间点, 不换成时间戳。
  290. return types.FieldType_Dynamicbyte, 0
  291. }
  292. return types.FieldType_Dynamicbyte, 0
  293. }
  294. // splitTypeArgs 拆出类型名与括号内全部整数参数:
  295. //
  296. // "decimal(18,2)" → ("DECIMAL", [18 2])
  297. // "varchar(32)" → ("VARCHAR", [32])
  298. // "bigint unsigned" → ("BIGINT", nil)
  299. func splitTypeArgs(u string) (string, []int) {
  300. base := u
  301. var args []int
  302. if i := strings.IndexByte(base, '('); i >= 0 {
  303. if j := strings.LastIndexByte(base, ')'); j > i {
  304. for _, part := range strings.Split(base[i+1:j], ",") {
  305. if n, err := strconv.Atoi(strings.TrimSpace(part)); err == nil {
  306. args = append(args, n)
  307. }
  308. }
  309. }
  310. base = strings.TrimSpace(base[:i])
  311. }
  312. if f := strings.Fields(base); len(f) > 0 {
  313. // "DOUBLE PRECISION" / "BIGINT UNSIGNED" 这类: 前缀就是主类型
  314. if f[0] == "DOUBLE" && len(f) > 1 && f[1] == "PRECISION" {
  315. return "DOUBLE", args
  316. }
  317. base = f[0]
  318. }
  319. return base, args
  320. }
  321. // splitTypeAndSize 拆出 "varchar(32)" → ("VARCHAR", 32); "bigint unsigned" → ("BIGINT", 0)。
  322. // 只关心第一个参数; DECIMAL(p,s) 这类多参数场景用 splitTypeArgs。
  323. func splitTypeAndSize(u string) (string, int) {
  324. base, args := splitTypeArgs(u)
  325. if len(args) > 0 {
  326. return base, args[0]
  327. }
  328. return base, 0
  329. }
  330. // sqlTypeName VRTX 类型 → SQL 声明。
  331. //
  332. // param: 列级类型参数 —— Decimal 是 scale, FieldType_String 是行内宽度码, 其余类型忽略
  333. // mysql: false 用 VARCHAR(n)/BLOB 这套 (SQLite), true 用 MySQL 的写法
  334. func sqlTypeName(t types.FieldType, param byte, mysql bool) string {
  335. switch t {
  336. case types.FieldType_Uint8:
  337. if mysql {
  338. return "TINYINT UNSIGNED"
  339. }
  340. return "INTEGER"
  341. case types.FieldType_Uint16:
  342. if mysql {
  343. return "SMALLINT UNSIGNED"
  344. }
  345. return "INTEGER"
  346. case types.FieldType_Uint32:
  347. if mysql {
  348. return "INT UNSIGNED"
  349. }
  350. return "INTEGER"
  351. case types.FieldType_Uint64:
  352. if mysql {
  353. return "BIGINT UNSIGNED"
  354. }
  355. return "INTEGER"
  356. case types.FieldType_DateTime:
  357. // 引擎 DateTime 列还原成 SQL 时间列。走到这里说明没带 TimeKind (VRTX 直出,
  358. // schema 里没有它的存放位置): DATE / TIMESTAMP 当初的细分已不可考, 一律按
  359. // DATETIME 声明 —— 比在 INTEGER/BLOB 上退化成普通列保守。带 TimeKind 的列
  360. // 由 columnTypeName 先一步拐进 sqlTimeName, 到不了这里。
  361. if mysql {
  362. return "DATETIME(6)"
  363. }
  364. return "DATETIME"
  365. case types.FieldType_Int8, types.FieldType_Int16, types.FieldType_Int32, types.FieldType_Int64:
  366. // MySQL 侧要落到有符号列, 才与 VRTX 的有符号档语义对齐。
  367. // SQLite 只有 INTEGER (有符号 64 位), 窄档声明回去会被读成 Int64 ——
  368. // 与改动前 Uint8/16/32 一并声明成 INTEGER 的损失是同一类, 精确档位靠 __vrtx_meta 保。
  369. if !mysql {
  370. return "INTEGER"
  371. }
  372. switch t {
  373. case types.FieldType_Int8:
  374. return "TINYINT"
  375. case types.FieldType_Int16:
  376. return "SMALLINT"
  377. case types.FieldType_Int32:
  378. return "INT"
  379. }
  380. return "BIGINT"
  381. case types.FieldType_Float64:
  382. if mysql {
  383. return "DOUBLE"
  384. }
  385. return "REAL"
  386. case types.FieldType_Float32:
  387. // MySQL 的 FLOAT 就是 4 字节, 能原样读回 Float32; SQLite 没有单精度列,
  388. // 落 REAL (8 字节), 精确档位靠 __vrtx_meta 还原。
  389. if mysql {
  390. return "FLOAT"
  391. }
  392. return "REAL"
  393. case types.FieldType_Decimal:
  394. // p 取 MaxDecimalPrecision(38), 不是 MaxDecimalScale(31): 声明必须能装下 VRTX 里
  395. // 任何一个 Decimal 值。若按 (31,s) 声明, scale=30 的列就只剩 1 位整数位, 而 VRTX
  396. // 的系数上限是 10^38-1 —— 导出 8 位整数的值时会被 MySQL 判成超范围而拒绝。
  397. // 声明宽了不会丢东西 (迁移是"引擎能给多宽就声明多宽"), 声明窄了才丢。
  398. if mysql {
  399. return "DECIMAL(" + strconv.Itoa(types.MaxDecimalPrecision) + "," + strconv.Itoa(int(param)) + ")"
  400. }
  401. // SQLite 的 NUMERIC 亲和性会把 "1.50" 转成 REAL 1.5, 丢掉 scale 与高位精度;
  402. // 用 TEXT 原样存定点文本, 回来再按列 scale 解析。
  403. return "TEXT"
  404. case types.FieldType_Bool:
  405. // SQLite 接受 BOOLEAN 声明 (NUMERIC 亲和性, 存 0/1), 声明回去也能被认成 Bool。
  406. return "BOOLEAN"
  407. case types.FieldType_Year:
  408. return "YEAR"
  409. case types.FieldType_UUID:
  410. // 16 字节二进制, 紧凑且无损; 人类可读的 8-4-4-4-12 形式由 UUID.String() 给。
  411. if mysql {
  412. return "BINARY(16)"
  413. }
  414. return "BLOB"
  415. case types.FieldType_Int128:
  416. // 128 位整数没有 SQL 原生类型: 存十进制文本, 往返靠 String/Parse。
  417. if mysql {
  418. return "VARCHAR(40)"
  419. }
  420. return "TEXT"
  421. case types.FieldType_Blob:
  422. // MySQL 侧用 LONGBLOB: 迁移是"源库有多宽就声明多宽", 宽声明不会丢内容;
  423. // SQLite 只有 BLOB 一种写法。
  424. if mysql {
  425. return "LONGBLOB"
  426. }
  427. return "BLOB"
  428. case types.FieldType_String:
  429. // 声明该列的【真实】字节宽度: 宽度码 (maxlen:1000 → 1024) 与类型默认宽度
  430. // (无宽度码 → 256) 是两回事, 只按类型声明会把宽度码声明出来的列开窄。
  431. return "VARCHAR(" + strconv.Itoa(int(types.FieldSize(t, param))) + ")"
  432. default:
  433. // Dynamicbyte (变长文本/二进制) 落到 BLOB/LONGBLOB 而不是 TEXT:
  434. // - 它本来就可能是任意二进制 (绑 []byte 出去), 声明成 TEXT 在 MySQL 下
  435. // 会按列字符集解释 —— 非法 UTF-8 直接报错或被改坏;
  436. // - SQLite 的 TEXT 亲和性还会把看起来像数字的字符串转成数值 ("123" → 123),
  437. // 而 BLOB 亲和性不做任何转换。
  438. //
  439. // 代价: 没有 __vrtx_meta 时, 声明出去的 BLOB 再读回来会被认成 FieldType_Blob
  440. // 而不是 Dynamicbyte。两者盘上布局与行为完全一致 (都是动态列), 数据不受影响,
  441. // 只是"名字"变了; 需要精确类型就靠 meta (默认开启)。
  442. if mysql {
  443. return "LONGBLOB"
  444. }
  445. return "BLOB"
  446. }
  447. }
  448. // sqlTimeKind SQL 列声明的时间语义 ("datetime" / "date" / "timestamp"), 空即不是时间列。
  449. func sqlTimeKind(decl string) string {
  450. base, _ := splitTypeAndSize(strings.ToUpper(strings.TrimSpace(decl)))
  451. switch base {
  452. case "DATETIME":
  453. return "datetime"
  454. case "TIMESTAMP":
  455. return "timestamp"
  456. case "DATE":
  457. return "date"
  458. }
  459. return ""
  460. }
  461. // sqlTimeName 时间语义 → SQL 列声明。
  462. //
  463. // MySQL 侧带上 (6): 原列若不是 DATETIME(0) 而是带小数秒的, 声明成 DATETIME(0)
  464. // 会把毫秒截掉 —— DateTime 列的值是毫秒精度, 声明不能比它窄 (DATETIME(6) 只宽不损,
  465. // 毫秒原样装得下)。
  466. func sqlTimeName(kind string, mysql bool) string {
  467. switch kind {
  468. case "date":
  469. return "DATE"
  470. case "timestamp":
  471. if mysql {
  472. return "TIMESTAMP(6)"
  473. }
  474. return "TIMESTAMP"
  475. case "datetime":
  476. if mysql {
  477. return "DATETIME(6)"
  478. }
  479. return "DATETIME"
  480. }
  481. return "DATETIME"
  482. }
  483. // columnTypeName 一列的 SQL 声明: 时间列按当初的时间语义还原 (DATETIME / DATE /
  484. // TIMESTAMP), 其余按 VRTX 档位就近取 (sqlTypeName)。
  485. func columnTypeName(c Column, mysql bool) string {
  486. if c.IsTime() {
  487. return sqlTimeName(c.TimeKind, mysql)
  488. }
  489. return sqlTypeName(c.Type, c.Param, mysql)
  490. }